(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210527181.8 (22)申请日 2022.05.16 (71)申请人 南京大学 地址 210046 江苏省南京市栖霞区仙林大 道163号 (72)发明人 周庆博　周嵩　李武军　 (74)专利代理 机构 南京乐羽知行专利代理事务 所(普通合伙) 32326 专利代理师 李玉平 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种结合梯度解耦与对比学习的小样本瑕 疵检测方法 (57)摘要 本发明公开一种结合梯度解耦与对比学习 的小样本瑕疵检测方法， 本发明方法主要包括目 标检测数据集的预训练、 生 成符合瑕疵数据特征 的锚点、 调整目标检测模型并输入生成的锚点训 练和瑕疵的检测四个阶段。 预训练阶段使用大规 模目标检测数据集训练目标检测模 型， 可以大幅 度减少模型的训练时间， 使模型具有目标定位能 力， 其中梯度解耦模块用于解耦候选框提取网络 和候选框 预测网络， 可在训练时获取更符合网络 特征的信息， 加强模型学习能力。 使用瑕疵数据 集和锚点对调整后的目标检测模型进行训练生 成瑕疵检测模 型， 训练冻结骨干网络权重并在候 选框预测网络中添加对比分支， 对比分支可以使 不同类别的候选框特征差距更大， 加强模型的分 辨能力， 精确度更高。 权利要求书3页 说明书10页 附图10页 CN 114943698 A 2022.08.26 CN 114943698 A 1.一种结合梯度解耦与对比学习的小样本瑕疵检测方法， 其特征在于， 主要包括如下 步骤： 步骤1， 使用大规模的目标检测数据集经过预训练得到目标检测模型， 所述目标瑕疵检 测模型包括骨干网络、 特征金字塔网络、 候选框提取网络、 候选框预测网络和梯度解耦模 块； 步骤2， 通过自适应锚点 算法为瑕疵数据集对应生成多个锚点； 步骤3， 调 整所述目标检测模型中的所述候选框预测网络， 将所述候选框预测网络的候 选框分类分支输出的数量设置为瑕疵类别的数量， 并在所述候选框预测网络中添加对比分 支； 步骤4， 将所述瑕疵数据集和生成的所述锚点输入至调整后的所述目标检测模型中进 行训练得到 瑕疵检测模型； 步骤5， 对于待检测的瑕疵图像输入至所述瑕疵检测模型中， 对应输出瑕疵目标的位置 及其类别。 2.根据权利要求1所述的一种结合梯度解耦与对比学习的小样本瑕疵检测方法， 其特 征在于， 步骤1中所述大规模的目标检测数据集经过预训练得到目标检测模型， 具体包括如 下步骤： 步骤1.1， 初始化目标检测模型使用的数据加载器， 提取图像和真实标注； 步骤1.2， 通过 所述骨干网络提取 所述图像的多层特 征图； 步骤1.3， 使用所述特 征金字塔网络融合所述多层特 征图的信息得到金字塔特 征图； 步骤1.4， 利用所述梯度解耦模块对所述金字塔特征图进行两次仿射变换得到的两组 仿射特征图； 步骤1.5， 将两组所述仿射特征图分别输入至所述候选框提取网络和候选框预测网络 中， 所述候选框提取网络提取出含有目标的候选框， 使用所述候选框预测网络计算出候选 框类别和候选 框回归参数； 步骤1.6， 根据 所述候选框类别和候选框回归参数计算网络的分类损失、 回归损失和梯 度； 步骤1.7， 使用所述梯度解耦模块对所述候选框提取网络和候选框预测网络进行梯度 解耦操作； 步骤1.8， 判断达 到最大训练轮次后结束输出 所述目标检测模型。 3.根据权利要求2所述的一种结合梯度解耦与对比学习的小样本瑕疵检测方法， 其特 征在于， 步骤2中所述通过自适应锚点算法为瑕疵数据集对应生成多个锚点， 其具体包括如 下步骤： 步骤2.1， 从瑕疵数据集中所有样本的瑕疵标注中随机取k个作为当前聚类中心； 步骤2.2， 判断是否有没计算过的所述瑕疵标注， 若有则计算与当前所述瑕疵标注距离 最近的聚类中心， 并将当前 所述瑕疵标注添加到所属聚类中心的列表中； 步骤2.3， 判断是否计算完所有的所述瑕疵标注， 若已完成则计算所有列表中所述瑕疵 标注的均值作为 新聚类中心； 步骤2.4， 将所述当前聚类 中心与新聚类 中心进行比较， 若一致则输出当前聚类 中心对 应瑕疵数据集的锚点， 若不 一致则返回步骤2.2继续执 行。权　利　要　求　书 1/3 页 2 CN 114943698 A 24.根据权利要求3所述的一种结合梯度解耦与对比学习的小样本瑕疵检测方法， 其特 征在于， 步骤4中所述瑕疵数据集和所述多个锚点经过训练得到瑕疵检测模型， 其训练的具 体步骤如下： 步骤4.1， 初始化瑕疵检测模型使用的数据加载器， 提取图像和真实标注； 步骤4.2， 通过 所述骨干网络提取 所述瑕疵图像的多层特 征图； 步骤4.3， 使用所述特征金字塔网络融合所述多层瑕疵特征图的信息得到瑕疵金字塔 特征图； 步骤4.4， 利用所述梯度解耦模块对所述瑕疵金字塔特征图进行两次仿射变换得到的 两组瑕疵仿射特 征图； 步骤4.5， 将两组所述瑕疵仿射特征图分别输入至所述候选框提取网络和候选框预测 网络中， 所述候选框提取网络提取出含有瑕疵的候选框， 使用所述候选框预测网络计算出 候选框类别和候选 框回归参数； 步骤4.6， 根据所述候选框类别和候选框回归参数计算网络的分类损失、 回归损失、 对 比损失和梯度； 步骤4.7， 使用所述梯度解耦模块对所述候选框提取网络和候选框预测网络进行梯度 解耦操作； 步骤4.8， 判断达 到最大训练轮次后结束输出 所述瑕疵检测模型。 5.根据权利要求4所述的一种结合梯度解耦与对比学习的小样本瑕疵检测方法， 其特 征在于， 步骤5中对于待检测的瑕疵图像输入至所述瑕疵训练模型中， 其检测的具体步骤如 下： 步骤5.1， 输入待检测的图像， 使用所述骨干网络提取出多层图像特征， 并使用特征金 字塔网络融合所述多层图像特 征得到图像特 征图； 步骤5.2， 将所述图像特征图使用梯度解耦模块进行两次仿射变换后输出仿射图像特 征图， 分别输入到候选 框提取网络和候选 框预测网络中； 步骤5.3， 使用所述候选框提取网络提取出含有瑕疵的目标候选框， 使用所述候选框预 测网络结合目标候选框和仿射图像特征图， 计算出每个目标候选框的类别和目标候选框回 归参数； 步骤5.4， 最后使用所述目标候选框回归参数调整目标候选框的位置及宽高， 然后输出 目标候选 框位置以及对应的类别。 6.根据权利要求5所述的一种结合梯度解耦与对比学习的小样本瑕疵检测方法， 其特 征在于， 所述候选框预测网络中添加的对比分支的输入为 目标候选框的特征向量， 通过全 连接层将所述目标候选框的特征向量转化为对比特征向量， 接着使用ReLU激活函数对所述 对比特征向量进行处 理得到对比特 征， 再针对所述对比特 征计算模型的对比损失。 7.根据权利要求6所述的一种结合梯度解耦与对比学习的小样本瑕疵检测方法， 其特 征在于， 所述分类损失和回归损失的计算公式如下 所示： 权　利　要　求　书 2/3 页 3 CN 114943698 A 3