(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211002102.8 (22)申请日 2022.08.20 (71)申请人 南京理工大 学 地址 210094 江苏省南京市孝陵卫20 0号 (72)发明人 孙运莲　查子灿　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 陈鹏 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/40(2022.01) G06V 10/22(2022.01) G06T 7/194(2017.01)G06T 3/40(2006.01) (54)发明名称 基于背景抑制和前景对齐的细粒度小样本 图像分类系统及方法 (57)摘要 本发明公开了一种基于背景抑制和前景对 齐的细粒度小样本图像分类系统及方法， 分类方 法包括： 通过特征提取器获得图像的特征图； 将 图像特征图放入背景抑制模块获得裁剪后的图 像， 然后通过特征提取器获得裁剪图像的特征 图； 将支持图像的特征图以查询图像的特征图为 模板进行对齐来消除图像对之间的错位问题； 使 用局部相似性度量的方法来计算支持图像和查 询图像之间的相似性。 本发明简单且高效， 既解 决了样本缺少导致模型容易过拟合的问题， 又解 决了细粒度图像识别困难的问题。 权利要求书2页 说明书6页 附图2页 CN 115359290 A 2022.11.18 CN 115359290 A 1.一种基于背景抑制和前景对齐的细粒度小样本图像分类系统， 其特征在于， 包括特 征提取器、 背景抑制模块、 前 景目标对齐模块和 局部相似性度量模块； 通过特征提取器获得图像的特征图； 将图像特征图放入背景抑制模块获得裁剪后的图 像， 然后通过特征提取器获得裁剪图像的特征图； 将支持图像的特征图以查询图像的特征 图为模板进行对齐来消除图像对之 间的错位问题； 使用局部相似性度量模块计算支持图像 和查询图像之间的相似性。 2.根据权利要求1所述的基于背景抑制和前景对齐的细粒度小样本图像分类系统， 其 特征在于， 采用元学习的训练方式， 将数据集划分成许多个子任务； 小任务由两个数据集组 成： 支持集和查询集， 然后将任务中的所有图像放入特 征提取器中提取 特征。 3.根据权利要求1所述的基于背景抑制和前景对齐的细粒度小样本图像分类系统， 其 特征在于， 所述背景抑制模块用于实现： 将特征图沿着通道的维度聚合得到 激活图； 计算一个阈值， 激活图上高于阈值的置为1， 相反低于阈值的置为0， 得到一个前景掩 膜； 计算前景掩膜中的最大 连通分量， 得到前 景物体的最小边界框的坐标； 根据得到的边界框坐标对原 始图像进行裁 剪并放大至原 始尺寸； 将裁剪后的图像重新放入特征提取器中提取特征， 得到两种特征图： 一种是原始图像 的， 一种是裁 剪后的图像的。 4.根据权利要求1所述的基于背景抑制和前景对齐的细粒度小样本图像分类系统， 其 特征在于， 所述特征对齐模块用于实现： 计算支持 图像和查询图像每个局部特征之间的相 似性， 得到关系矩阵； 根据关系矩阵的值作为权 重重新构造支持图像的特 征图。 5.根据权利要求1所述的基于背景抑制和前景对齐的细粒度小样本图像分类系统， 其 特征在于， 所述局部特征相似性度量模块用于实现： 去除最大池化、 均值池化操作， 保留特 征图原始维度； 将 每个类中的所有支持图像的特征图求均值， 作为该类原型； 基于最近邻思 想， 计算查询图像的特征图与每个类原型的相似度， 求均值； 查询图像与哪个类原型的相似 度最高即识别为该类别。 6.一种基于背景抑制和前景对齐的细粒度小样本图像分类方法， 其特征在于， 包括以 下步骤： 步骤1、 采用元 学习的训练方式， 将数据集划分成许多个子任务； 步骤2、 将提取的图像特征图放入背景抑制模块， 将图像中杂乱 的背景去除， 获得裁剪 后的图像并放入特 征提取器中提取 特征； 步骤3、 采用特 征对齐模块， 以查询图像的特 征图为模板， 重新构造支持图像的特 征图； 步骤4、 使用局部特 征相似性度量模块进行相似性的度量。 7.根据权利要求6所述的基于背景抑制和前景对齐的细粒度小样本图像分类方法， 其 特征在于， 步骤1中小任务由两个数据集组成： 支持集 和 查询集Q＝{(xi， yi)|i＝1…|Q|}， 然后将任务中的所有图像 放入特征提取器Θ中提取特征， 即 其中xi∈S∪Q； 其中， c是通道数， h、 w表示特征图的尺寸， N表示小任 务中的类别数， K表示每 个类别有多少张带 标签的支持图像。权　利　要　求　书 1/2 页 2 CN 115359290 A 28.根据权利要求7所述的基于背景抑制和前景对齐的细粒度小样本图像分类方法， 其 特征在于， 步骤2具体步骤如下： 步骤201： 将特 征图沿着通道的维度聚合得到 激活图 步骤202： 计算一个阈值 激活图上高于阈值的置为1， 相反低于阈值 的置为0， 得到一个前 景掩膜 步骤203： 计算 中的最大 连通分量， 得到前 景物体的最小边界框的坐标； 步骤204： 根据得到的边界框坐标对原 始图像进行裁 剪并放大至原 始尺寸； 步骤205： 将裁剪后的图像重新放入特征提取器中提取特征， 得到两种特征图： 一种是 原始图像的， 一种是裁 剪后的图像的。 9.根据权利要求8所述的基于背景抑制和前景对齐的细粒度小样本图像分类方法， 其 特征在于， 步骤3具体步骤如下： 步骤301： 计算支持图像和查询图像每个局部特征之间的相似性， 得到关系矩阵 步骤302： 根据关系矩阵as|q的值作为权 重重新构造支持图像的特 征图。 10.根据权利要求6所述的基于背景抑制和前景对齐的细粒度小样本图像分类方法， 其 特征在于， 步骤4具体步骤如下： 步骤401： 去除最大池化、 均值池化操作， 保留特 征图原始维度； 步骤402： 将每个类中的所有支持图像的特征图求均值， 作为该类原型； 基于最近邻思 想， 计算查询图像的特 征图与每 个类原型的相似度； 步骤403： 步骤402计算的是每个位置， 即局部特征向量的相似度， 然后求均值； 查询图 像与哪个 类原型的相似度最高即识别为该类别。权　利　要　求　书 2/2 页 3 CN 115359290 A 3