(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210885422.6 (22)申请日 2022.07.26 (71)申请人 南京理工大 学 地址 210094 江苏省南京市玄武区孝陵卫 200号 (72)发明人 代龙泉　李晓寒　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 朱沉雁 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/74(2022.01) G06V 10/44(2022.01) G06V 10/771(2022.01) (54)发明名称 一种基于局部特征筛选的小样本细粒度图 像分类的方法 (57)摘要 本发明公开了一种基于局部特征筛选的小 样本细粒度图像 分类的方法， 在元学习和度量学 习的基础上， 本发明更适用于类间差异较小和类 内差异较大的细粒度图像。 在经过嵌入网络后的 特征图像， 利用查询集和支持集的相似性关系， 利用相互选择后的关系矩阵对齐支持集图像， 筛 选出具有分类价值的局部特征。 本发 明有效地解 决了小样本图像分类的过拟合和细粒度图像局 部特征差异较大的问题， 实现简单， 具有较高的 分类性能， 并且方法具有可移植 性。 权利要求书4页 说明书5页 附图2页 CN 115049883 A 2022.09.13 CN 115049883 A 1.一种基于局部特征筛选的小样本细粒度图像分类的方法， 其特征在于， 包括以下步 骤： 步骤1、 构建支持集S和查询集 Q： 随机抽取C个不同类别的图像， 每个类别均包含K+M 张图像， 其中K张图像构成支持集S， M张图像作为查询集Q， C∈[1 ‑5]， K∈[1 ‑15]， M∈[1 ‑5]； 支持集 (xj,yj)表 示支持集S中的第j张图像xj及图像xj对应的类别标签yj； 查询集 (xi,yi) 表示查询集Q中第i张图像xi及图像xi对应的类别标签 yi； j＝1,2,3 ……C×K， i＝1,2,3 …… C×K， 转入步骤2； 步骤2、 定义嵌入网络fθ(x)： 将支持集S中的每一张图像xj和查询集Q 中的每一张图像xi传入嵌入网络fθ(x)内， 分别 对应生成支持集的特 征图像 和查询集的特 征图像 转入步骤3； 步骤3、 计算查询集中的特征图像 到支持集中属于类别c的图像的余弦距离， 得到类别 c的关系矩阵Rc， c∈[0,1,2 …,C‑1]， 转入步骤4； 步骤4、 重复步骤3， 遍历全部类别， 获得C个关系矩阵Rc； 将这C个类别的关系矩阵Rc连接 起来得到相似性矩阵R， R表示查询集中 的特征图像 到整个支持集S的语义相似性； 转入步 骤5； 步骤5、 引入相互选择模块， 根据相似性矩阵R， 得到一个与特定任务相关的查询图像描 述符序列q*； 转入步骤6； 步骤6、 引入对齐模块， 将支持集的特征图像 向查询集的特征图像 对齐， 得到由支持 图像构成的对齐支持集 根据查询图像描 述符序列q*和类别c的关系矩阵Rc， 得到注意力图Ac； 利用Ac来对齐支持 集类别c的每一张图像， 直至遍历支持集所有的类别， 进而对齐支持集所有类别的所有图 像， 转入步骤7； 步骤7、 引入TOP ‑k筛选模块， 对于查询集的特征图像 和由支持图像构成的对齐支持集 通过TOP‑k筛选模块分别得到查询集特征图像 的局部特征 和对齐支持集的局部特征 转入步骤8； 步骤8、 根据查询集特征图像的局部特征 和对齐支持集 的局部特征 计算每个类别 的相似得分， 根据最高得分， 得到该查询集图像的最终分类 类别， 实现分类。 2.根据权利要求1所述的基于局部特征筛选的小样本细粒度图像分类的方法， 其特征 在于， 步骤2中， 定义 嵌入网络fθ(x)， 支持集的每一张图像xj和查询集中的每一张图像xi， 传 入嵌入网络fθ(x)内， 分别生成支持集的特征图像 和查询集的特征图像 每一张特征图 像的空间大小均为h ×w×d， 具体如下： 将特征图像中的每个像素点上的d维向量称为深度描述符， 每个特征图像含有h ×w个 深度描述符， 每个描述符的长度为d； 对于支持集中类别c的K张图像， 其深度描述符 的集合 sc为：权　利　要　求　书 1/4 页 2 CN 115049883 A 2对于查询集中每一张图像， 其深度描述符的集 合q为： 其中， 表示属于c类别的所有支持集 特征图像中第u 个深度描述符； qv表示查询集 特征 图像中第v个深度描述符。 3.根据权利要求2所述的基于局部特征筛选的小样本细粒度图像分类的方法， 其特征 在于， 在步骤3中， 计算查询集中的特征图像 到支持集中属于类别c的特征图像 的余弦 距离， 得到类别c的关系矩阵Rc； 关系矩阵Rc和其对应 每个位置上 计算结果如下： 4.根据权利要求3所述的基于局部特征筛选的小样本细粒度图像分类的方法， 其特征 在于， 在步骤4中， 重复步骤3， 遍历全部类别， 获得C个关系矩阵Rc； 将这C个类别的关系矩阵 Rc连接起来得到相似性矩阵R， R表示查询集 中的特征图像 到整个支 持集S的语义相似性， 其中相似性矩阵R包 含hw行， CKhw列； 转入步骤5 。 5.根据权利要求4所述的基于局部特征筛选的小样本细粒度图像分类的方法， 其特征 在于， 在步骤5中， 引入相互选择模块， 根据相似性矩阵R， 得到一个与特定任务相关的查询 图像特征序列q*， 相互选择的操作具体如下： 搜索相似性矩阵R中的第v行， 也就是查询集特征图像 中第v个深度描述符， 找到最大值 所在列的索引col_index， 同时， 搜索该列的最大值所在行的索引row_index； 若索引row_ index＝v， 说明查询集图像第v行所代表的深度描述符qv是一个任务相关的深度描述符， 需 要保留； 否则， 说明没有意 义需要消除； 具体公式如下： col_index＝argmaxuR row_index＝argmaxvR 其中， argmaxu和argmaxv分别表示搜索最大值所在列和行的索引； 遍历相似性矩阵R的所有行， 即v∈[1,2, …,hw]， 得到一个与特定任务相关的查询图像 特征序列q*。 6.根据权利要求5所述的基于局部特征筛选的小样本细粒度图像分类的方法， 其特征 在于， 在步骤6中， 将支持集的特征 图像 向查询集的特征 图像 对齐， 得到 由支持图像构 成的对齐支持集 具体步骤如下： 步骤6‑1、 根据步骤5中的相互选 择模块获得与特定任务相关的查询图像 特征序列q*， 通 过0、 1筛选获得mask序列m＝[m1,...,mhw]： 步骤6‑2、 通过mask序列m和类别c的关系矩阵Rc， 得到注意力图Ac： Ac＝m×Rc权　利　要　求　书 2/4 页 3 CN 115049883 A 3