(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210572504.5 (22)申请日 2022.05.25 (71)申请人 中南大学 地址 410083 湖南省长 沙市岳麓区麓山 南 路932号 (72)发明人 龙军　杨宇西　化刘杰　欧毅奇　 (74)专利代理 机构 长沙市融智专利事务所(普 通合伙) 43114 专利代理师 胡喜舟 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/10(2017.01) G06T 7/73(2017.01) G06V 10/40(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于数据增强策略的自监督弹簧缺陷 检测方法 (57)摘要 本发明公开了一种基于数据增强策略的自 监督弹簧缺陷检测方法， 包括： 获取待检测弹簧 图像； 将待检测弹簧图像输入训练完成的弹簧缺 陷检测模型， 得到弹簧缺陷检测结果。 训练弹簧 缺陷检测模型过程中， 通过随机 “裁剪‑粘贴”原 始图像块的数据增强策略为自监督学习提供监 督信号， 从而使得网络有能力从大量未标注数据 中学习到真实模式的潜在表征， 为后续弹簧缺陷 检测提供有用的视觉表示。 从而实现了能够快速 准确地判断一张TVDS测试图像中的弹簧部位是 否存在缺陷， 可以排除大量车辆弹簧正常运行状 态图像， 筛选出存在异常概率较大的图像并进行 缺陷部位定位与展示， 大大减轻工作人员的负 担， 同时提升异常检测的准确率和及时性。 权利要求书2页 说明书6页 附图2页 CN 114998234 A 2022.09.02 CN 114998234 A 1.一种基于数据增强策略的自监 督弹簧缺陷检测方法， 其特 征在于， 包括： 获取待检测弹簧图像； 将待检测弹簧图像输入训练完成的弹簧 缺陷检测模型， 得到弹簧 缺陷检测结果； 其中， 弹簧 缺陷检测模型通过如下 方法得到： 获取若干正常的弹簧图像； 对于正常的弹簧图像， 将其作为原始图像， 并复制一张原始图像作为底板图像， 制作一 张与原始图像尺寸相同的纯黑图像作为 蒙板图像； 分别将原 始图像、 底板图像、 蒙板图像对应划分为多个片区； 从原始图像的每个片区中随机选取区域并裁剪出一块图像块， 将其依次粘贴到蒙板图 像的任一 不相同片区的随机位置处， 并记录粘贴后每 个图像块的顶点 坐标； 根据记录的每个图像块的顶点坐标在底板图像中的对应位置擦除该区域内的像素值， 然后将处 理后的底板图像与蒙板图像叠加， 得到存在缺陷的弹簧图像； 基于若干正常的弹簧图像及得到的存在缺陷的弹簧图像构建带类别标签的训练样本 集； 基于训练样本集对神经网络模型进行训练， 得到弹簧 缺陷检测模型。 2.根据权利要求1所述的基于数据增强策略的自监督弹簧缺陷检测方法， 其特征在于， 所述分别将原 始图像、 底板图像、 蒙板图像对应划分为多个片区， 包括： 分别在原 始图像、 底板图像、 蒙板图像中建立 直角坐标系， 将图像划分为四个象限； 所述图像块 为多边形不 规则图像块。 3.根据权利要求1所述的基于数据增强策略的自监督弹簧缺陷检测方法， 其特征在于， 获取待检测弹簧图像之前还 包括： 获取拍摄的弹簧图像； 将弹簧图像输入训练完成的弹簧目标检测模型对弹簧存在位置进行检测； 根据检测的弹簧存在位置分割单独的弹簧图像， 裁剪成预设尺寸， 得到待检测弹簧图 像。 4.根据权利要求3所述的基于数据增强策略的自监督弹簧缺陷检测方法， 其特征在于， 所述弹簧目标检测模型通过如下 方法得到： 获取若干拍摄的弹簧图像； 使用标注工具框 选弹簧图像中的弹簧， 并注明标签； 将处理后的弹簧图像作为有标签的样本输入Detection  Transformer模型进行训练， 得到弹簧目标检测模型。 5.根据权利要求1所述的基于数据增强策略的自监督弹簧缺陷检测方法， 其特征在于， 所述基于训练样本集对神经网络模型进行训练， 得到弹簧 缺陷检测模型， 包括： 构建包括第 一特征提取器及二分类器的神经网络模型， 以训练样本集中的每张弹簧图 像为输入， 其对应的类别标签为输出， 对包括第一特征提取器及二分类器的神经网络模型 进行训练， 得到弹簧 缺陷二分类模型； 构建包括第 二特征提取器及单分类器的弹簧缺陷检测模型； 其中第 二特征提取器基于 第一特征提取器迁移得到， 单分类 器输出输入的弹簧图像存在缺陷的概 率； 将得到的概率与预先设置的缺陷阈值进行比较， 当概率不大于缺陷阈值时， 认为不存权　利　要　求　书 1/2 页 2 CN 114998234 A 2在缺陷； 当概 率大于缺陷 阈值时， 认为存在缺陷。 6.根据权利要求5所述的基于数据增强策略的自监督弹簧缺陷检测方法， 其特征在于， 训练得到弹簧 缺陷二分类模型 过程中， 采用如下损失函数： 式中， N表示训练样本集中的弹簧图像数目， CEL表示交叉熵损失函数， xi表示训练样本 集中正常的弹簧图像所 组成的正类样 本， 用标签 “0”代替， A(*)表 示训练样本集中存在缺陷 的弹簧图像所组成的模拟 负类样本， 用标签 “1”代替； c(*)表示构建的二分类 器。 7.根据权利要求5所述的基于数据增强策略的自监督弹簧缺陷检测方法， 其特征在于， 所述单分类 器输出输入的弹簧图像存在缺陷的概 率， 包括： 获取第二特征提取器得到的弹簧图像深度视觉表征， 计算其与 预设的潜在 真实表征之 间的马氏距离DMahalanobis作为弹簧图像存在缺陷的概 率； 式中， f( θ )表示第二特征提取器得到的弹簧图像深度视觉表征； Xm表示预设的潜在真实 表征， 为若干正常的弹簧图像的经第二特征提取器得到的深度视觉表征的均值； Xconv表示 若干正常的弹簧图像的经第二特 征提取器得到的深度视 觉表征的协方差矩阵。 8.根据权利要求1至7任一项所述的基于数据增强策略的自监督弹簧缺陷检测方法， 其 特征在于， 还 包括： 对识别为存在缺陷的弹簧图像， 定位 缺陷位置， 并通过边界框或热力图进行展示。 9.根据权利要求8所述的基于数据增强策略的自监督弹簧缺陷检测方法， 其特征在于， 通过边界框进行展示的方法如下： 截取弹簧 缺陷检测模型中特 征提取网络最后一层的特 征图， 进行归一 化处理； 将归一化处理后的特征图中的每一个像素点位置的值作为该像素点的异常概率估计 与预设阈值进行比较， 当像素点的异常概 率大于预设阈值时， 记录该像素点的横纵坐标； 选择所有异常的像素点中横 纵坐标的最大值和最小值， 作为缺陷区域边界顶点在待检 测弹簧图像中画出 预测的矩形边界框； 通过热力图进行展示的方法如下： 截取弹簧 缺陷检测模型中特 征提取网络最后一层的特 征图， 进行归一 化处理； 根据归一 化处理后的特 征图中每一个 像素点位置的值赋予该像素点对应的颜色； 将处理后的特 征图与原 始待检测弹簧图像进行叠加， 得到热力图。 10.根据权利要求1所述的基于数据增强策略的自监督弹簧缺陷检测方法， 其特征在 于， 待检测弹簧图像根据拍摄机位、 拍摄的车次车厢信息进行命名； 当识别出待检测弹簧图像存在缺陷时， 根据待检测图像的名称逆向定位待检测弹簧对 应的拍摄机位、 车次车厢信息 。权　利　要　求　书 2/2 页 3 CN 114998234 A 3