(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210936433.2 (22)申请日 2022.08.05 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路2号 (72)发明人 叶昕辰　刘可　李豪杰　王智慧　 孙铮　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 专利代理师 许明章　王海波 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度神经网络的小样本红外图像 分类方法 (57)摘要 本发明公开了一种基于深度神经网络的小 样本红外图像 分类方法， 属于计算机视觉和图像 分类领域。 该方法能使在可见光数据上(源域上) 事先训练的深层网络模型， 迁移 应用到红外图像 上(目标域上)识别上。 在目标域图片数量很少的 前提下， 利用图像的视觉特征和其属性特征相结 合， 并运用对比学习的方法， 对深层网络模型中 的特征提取器部分进行微调， 使目标域上的红外 图像识别保持较高的性能。 此方法不仅能节省开 发的人力和时间成本， 而且易于实现并具有较高 的实用性。 权利要求书2页 说明书6页 附图3页 CN 115205664 A 2022.10.18 CN 115205664 A 1.一种基于深度神经网络的小样本红外图像分类方法， 其特 征在于， 包括下列步骤： 1)训练和测试数据准备： 需要三组数据， 分别是 ①可见光图像数据集， 作为源域数据； ②用于小样本任务的红外图像， 作为目标域数据； ③非目标域的图像数据集， 作为对比学习 微调时负样本数据的补充； 每一轮的训练和测试都需对 ②中的图像进行划分， 从每一个类 别中随机挑选n张作为小样 本的训练数据， 其余图片用于测试本发明所提技术方案的结果， ①和③中的数据集都在训练阶段使用； 三组数据中仅有 ②中的训练数据需要同时标注类别 标签和属性标签， 其 余数据集都只需标注类别标签； 2)源域上识别网络的构建和监督训练： 使用残差网络构建深层网络模型， 其结构包括 特征提取器和分类器两部分； 特征提取器提取输入的可见光图像特征表示， 分类器使用特 征表示生成识别结果； 使用源域中的带 标签可见光图像， 采用监 督方式训练该深层网络； 3)目标域上的特征提取模型微调： 针对步骤2)中获得的源域深层网络模型特征提取 器， 使用目标域的有标签训练数据以及非目标域的无标签数据进行微调； 目标域的有标签 训练数据用视觉特征结合属性特征作为最终特征， 非目标域的无标签数据仅用视觉特征作 为最终特征， 利用基于对比学习机制的损失函数进行域适应， 对源域的深层 网络模型中的 特征提取器进行微调， 最终使特 征提取器能从源域迁移到目标域。 2.根据权利要求1所述的基于深度神经网络的小样本红外图像分类方法， 其特征在于， 步骤3)中的目标域上的特 征提取模型微调， 具体包括以下步骤： 3‑1)模型参数载入： 为目标域数据构建一个与源域的特征提取器结构相同的特征提取 网络， 并使这两个特征提取器共享同样的参数权重， 以在步骤2)中在源域数据中训练得到 的特征提取器的参数权 重为初始值， 进行目标域上的网络模型微调； 3‑2)构建对比学习微调中的训练样本： 对于目标域上的训练图像， 以一张图像为锚点， 正样本从目标域上 的训练数据中与此锚点类别相同的图像中选取； 负样本由两部分组成， 一部分从目标域上的训练数据中与此锚点类别不同的图像中选取， 另一部 分从非目标域的 无标签数据中选取； 3‑3)构建微调时训练样本的特征： 将目标域上训练样本的视觉特征与属性特征结合， 作为微调阶段使用对比学习的最终特征， 非目标域上 的样本仅用视觉特征作为最终特征； 视觉特征通过步骤3 ‑1)中的特征提取器提取获得， 属性特征首先由人工标注得到一个属性 标签， 再让属 性标签通过一个全连接层使其变成与视觉特征维数相同的属 性特征； 将视觉 特征与属 性特征以一定比例相加， 作为训练样本微调阶段 的最终特征； 最终特征 的计算公 式如下： zi＝ λvisf(xi)+λattAi 式中， z表示目标域上训练样本的最终特征， f表示特征提取器， A表示属性特征， λvis表 示视觉特征系数， λatt表示属性特 征系数， (·)i表示索引为 i的样本信息； 3‑4)计算训练的对比损失： 使用对比学习机制， 通过优化对比损失函数进行域适应， 缩 小源域和目标域特征提取器特征表示域偏差； 对比学习的目标是让正样本对的特征相似度 更高， 让负 样本对的特 征差异性更 大； 对比损失函数公式如下： 权　利　要　求　书 1/2 页 2 CN 115205664 A 2式中， Lcon(·)表示对比损失函数值， f表示特征提取器， i表示锚点， I表示参与微调的 目标域图像数 目， P(·)表示锚点的正样本， A( ·)表示锚点的正样本和负样本， z表示最终 的特征向量， τ表 示温度系数， exp( ·)表示指数运算， log( ·)表示对数运算， ∑表 示求和运 算符， |·|表示数据集 合的样本数量， (z1·z2)表示向量的内积运 算； 3‑5)优化损失函数： 通过梯度下降算法对步骤3 ‑4)中的对比损失函数进行优化， 得到 最终针对目标域 微调的特 征提取器。权　利　要　求　书 2/2 页 3 CN 115205664 A 3