(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211018245.8 (22)申请日 2022.08.24 (71)申请人 安徽工程大学 地址 241000 安徽省芜湖市鸠江区北京中 路 申请人 芜湖安普机 器人产业 技术研究院有 限公司 (72)发明人 程军　朱煜龙　刘莉　刘蒙蒙　 汪步云　许德章　 (74)专利代理 机构 北京汇信合知识产权代理有 限公司 1 1335 专利代理师 戴凤仪 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/774(2022.01)G06V 10/74(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于迁移学习的复合材料缺陷检测方 法 (57)摘要 本发明涉及计算机视觉和人工智能技术领 域， 具体为一种基于迁移学习的复合材料缺陷检 测方法， 包 括以下步骤： 步骤101、 利用C扫描对复 合材料进行检测成像， 获取图像进行预处理； 步 骤102、 建立数据集并进行标注； 步骤103、 数据增 强并按照VOC数据集格式划分为训练集、 测试集 和验证集； 步骤104、 源域进行预训练， 得到复合 材料缺陷模型的初始 权重参数； 步骤105、 获得优 化后的复合材料缺陷模型； 步骤106、 进行检测识 别。 本发明以FasterR ‑CNN模型作为基础网络， 通 过迁移学习共享预训练网络中的权值参数， 训练 出来的模型表现出较好的检测效果， 其中mAP值 达到了91.36％， 实现了复合材料缺陷图像的检 测识别， 并为CF RP的缺陷检测提供了一种新的途 径。 权利要求书2页 说明书7页 附图7页 CN 115471727 A 2022.12.13 CN 115471727 A 1.一种基于 迁移学习的复合材 料缺陷检测方法， 其特 征在于： 包括以下步骤： 步骤(101)利用涡流成像技术中的C扫描对复合材料进行检测成像， 获取图像进行预处 理； 步骤(102)建立数据集并进行 标注： 将预处理后得到的复合材料图像按类别分为三类： 裂纹、 分层、 褶皱， 各类别数量分别 为14、 10、 21张， 制作成数据集， 采用Labeling标注工具对数据集中的三类缺陷进行标注， 生 成与图像相对应的xml标签文件； 步骤(103)数据增强并按照VOC数据集格式划分为训练集、 测试集和验证集： 将标注完成的数据集进行数据增强， 将增强后的数据集按照VOC数据集格式8： 2的比例 划分为训练集、 测试集； 步骤(104)源域进行 预训练， 得到复合材 料缺陷模型的初始权 重参数： 使用在ImageNet数据集上预先训练的Resnet50特征提取网络， 提出相似源域匹配， 特 征匹配出NEU热轧带钢表面缺陷数据集中与复合材料裂纹、 分层、 褶皱缺陷高度相似的夹 杂、 斑、 划痕缺陷的作为源域训练样本， 利用迁移学习， 并将其应用在预先训练的Resnet50 网络模型 上进行预训练， 得到复合材 料缺陷模型的初始权 重参数； 步骤(105)获得优化后的复合材 料缺陷模型： 构建以Faster  R‑CNN为框架的复合材料缺陷检测模型： 将数据增强后的复合材料数据 集作为目标域， 再次利用迁移学习， 将步骤(104)中训练好的模型参数作为目标域模型的初 始化参数在Faster  R‑CNN模型进行训练， 获得优化后的复合材 料缺陷模型； 步骤(106)进行检测识别： 将待检测的复合材料缺陷图像输入到复合材料缺陷模型中， 检测复合材料的缺陷类 别。 2.根据权利要求1所述的一种基于迁移学习的复合材料缺陷检测方法， 其特征在于： 步 骤(101)中预处理具体为： 将伪彩色图转化成灰度图并进行统一缩放到200*200的尺寸， 灰 度图做反色处 理。 3.根据权利要求1所述的一种基于迁移学习的复合材料缺陷检测方法， 其特征在于： 步 骤(102)中采用Labeling标注工具对复合材料图像中的裂纹、 分层、 褶皱缺陷进行标注， 生 成与图像相对应的xml格式的标签文件， 其中xml文件中包 含了缺陷的标注框位置及种类。 4.根据权利要求1所述的一种基于迁移学习的复合材料缺陷检测方法， 其特征在于： 步 骤(103)中利用旋转、 饱和度调节、 亮度调节、 高斯噪声、 水平与垂 直翻转对S 3中数据集进 行 数据增强， 以扩充图像数据集的总样本数量。 5.根据权利要求4所述的一种基于迁移学习的复合材料缺陷检测方法， 其特征在于： 旋 转的计算公式如下： 式中： (x′， y′)为原始图像坐标； (x， y)为旋转后的图像坐标； 旋转角度α ∈[0 °， 360°]。 6.根据权利要求4所述的一种基于迁移学习的复合材料缺陷检测方法， 其特征在于： 饱 和度调节设置为原始图像的1.5倍， 亮度调节分别设置为原始图像的1.1倍与0.8倍， 高斯噪权　利　要　求　书 1/2 页 2 CN 115471727 A 2声随机添加。 7.根据权利要求1所述的一种基于迁移学习的复合材料缺陷检测方法， 其特征在于： 步 骤(104)中所述的相似 源域匹配： 在NEU热轧带钢表面缺陷数据集中通过预训练好的MobileNetV2卷积神经网络降维与 K‑means聚类的方法对与复合材 料三种缺陷相似的图像进行聚类。 8.根据权利要求1所述的一种基于迁移学习的复合材料缺陷检测方法， 其特征在于： 步 骤(105)中所述的微调： 输入图像经过平均池化层(average  pooling)输出为1 ×2048的特征向量， 然后连接全 连接层， 把特征向量的维度降低到1 ×n， n表示数据集中需要识别的类别。 当n＝3时， 代表了 裂纹、 分层、 褶皱缺陷3种类别。 Softmax 回归作为一个学习 算法来优化分类结果， 可以将最 后全连接层的输出变成了一个概 率分布， 其计算公式为： 式中： softmax(y)i表示类别i的分类概率； yi表示全连接层的输出； n表示数据集的类 别。 9.根据权利要求1所述的一种基于迁移学习的复合材料缺陷检测方法， 其特征在于： 步 骤(105)中所述的迁移学习： 源域在预先训练好的Resnet50上训练出的权重作 为复合材料缺陷模型的初始权重， 共 设置200个epoch， 采用冻结训练方式， 在前50个epoch冻结主干网络， 利用模型在源域上训 练得到的参数作为初始参数， 初始学习率设为0.001； 在第51个epoch解冻训练， 同时学习率 为0.0001， 每 次迭代输入样本的batchsize为16， 梯度下降的优化方法用Adam， 权值衰减系 数为0.0005， 动量为0.9， IoU阈值设置为0.5 。权　利　要　求　书 2/2 页 3 CN 115471727 A 3