(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210634714.2 (22)申请日 2022.06.07 (71)申请人 华北电力大 学 地址 102206 北京市昌平区北农路2号 (72)发明人 王素琴　任琪　石敏　朱登明　 杜昊晨　程成　 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/136(2017.01) G06T 7/70(2017.01) G06T 3/00(2006.01) G06T 5/00(2006.01) G06T 11/00(2006.01) G06V 10/40(2022.01) G06V 10/74(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于异常检测的工件表面缺陷检测方 法 (57)摘要 本发明公开了一种基于异常检测的工件产 品表面缺陷检测方法， 其包括： 步骤1： 研究生产 线实际制造的工件表面特征， 确定合格工件标 准， 通过该标准判别工件合格与否； 步骤2： 基于 特定光源和工业相机采集工件表 面图像， 图像经 过裁剪、 滤波等处理后形成数据集； 步骤3： 基于 异常检测技术对步骤2中制作好的数据集构建工 件表面缺陷检测模型， 该模型使用卷积神经网络 提取合格工件表面图像不同大小尺度的特征， 并 结合多尺度区域特征生成器和掩码自编码器， 重 建合格工件的表面图像， 由于模 型并未学习过不 合格工件的表 面图像， 因此不合格工件表面图像 的特征分布与模 型先前学习到的分布差距甚大， 通过比较重建前后图像的差异， 该检测模型能够 检测表面图像中是否存在缺陷以及定位出缺陷 位置。 发明所提出的方法解决了在工业制造中人 工目视检测效率低、 不稳定且成本高、 传统图像处理检测方法泛化性差以及基于深度学习的目 标检测或分割需要大量带标签缺陷数据的问题， 该方法符合工业生产工件中合格样本多而缺陷 样本少的特点， 能够实现高精度的实时表面缺陷 检测。 权利要求书1页 说明书6页 附图4页 CN 115018790 A 2022.09.06 CN 115018790 A 1.一种基于异常检测工件表面 缺陷检测方法， 其特 征在于， 包括： 步骤1： 研究生产线实际制造的工件表面特征， 确定合格工件标准， 通过该标准判别工 件合格与否； 步骤2： 基于特定光源和工业相机采集工件表面图像， 图像经过裁剪、 滤波等处理后形 成数据集； 步骤3： 基于异常检测技术对步骤2中制作好的数据集构建工件表面缺陷检测模型， 该 模型使用卷积神经网络提取合格工件表面图像不同大小尺度的特征， 并结合多尺度区域特 征生成器和掩码自编码器， 重建合格工件的表面图像， 由于模型并未学习 过不合格工件的 表面图像， 因此不合格工件表面图像的特征分布与模型先前学习到的分布差距甚大， 通过 比较重建前后图像的差异， 该检测模型能够检测表面图像中是否存在缺陷以及定位出缺陷 位置。 2.根据权利要求1所述方法， 其特征在于， 所述步骤1包括： 对采集得到的工件表面数据 集使用人工筛选的方式制作工件表面数据集， 通过比较合格工件与不合格工件， 将工件表 面图像分为正常样本和缺陷样本， 其中正常样本用来训练异常检测网络， 而缺陷样本则需 要被检测出缺陷。 3.根据权利要求1所述方法， 其特征在于， 所述工件表面缺陷形式为： 与合格工件表面 不一致的即为 缺陷。 4.根据权利要求1所述方法， 其特征在于， 所述步骤2包括： 使用工业相机， 在特定结构 光打光条件下， 拍摄工件产品表面图像。 5.根据权利要求1所述方法， 其特征在于， 所采集到的数据使用裁剪、 滤波等图像预处 理后构建数据集， 数据集包含训练集和测试集， 其中训练集中只有合格工件的表面图像， 即 正常样本， 而测试集中包 含正常样本与不 合格工件的异常样本 。 6.根据权利要求1所述方法， 其特征在于， 所述工件表面图像的输入尺寸设置为500 × 500， 经区域特 征生成器生成的特 征尺寸为32×32， 掩码自编码器的深度为6层。 7.根据权利要求1所述方法， 其特征在于， 步骤3所述特征提取器为VGG19网络， 该网络 由5个block组成， 共有19个隐藏层， 其中包含16个卷积层和3个全连接层， 整个网络中统一 使用大小为3 ×3的卷积核及大小为2 ×2的最大池化尺寸； 所述多尺度区域特征表示是提取VGG19网络中部分卷积层输出并使用区域特征生成器 生成密集的多尺度区域特 征表示。 8.根据权利要求1所述方法， 其特征在于， 对输入区域特征生成器的不同尺度 大小的特 征图， 将它们调整到输入图像大小以方便对齐， 接下来将对齐后的特征图使用均值滤波以 适当的步幅进行空间卷积， 该卷积可以平滑特征图上 的特征变化， 提高生成的特征图的鲁 棒性， 且可以通过调整步幅大小控制特征图的尺寸， 最后将聚合后的特征图连接成多通道 的特征图。 9.根据权利要求1所述方法， 其特征在于， 使用基于ViT的掩码自编码器， 将要求8所得 到的特征进行分块， 并用随机抽样的策略进行抽样及遮蔽， 掩码自编码器对遮蔽部分块的 特征进行深度特 征重建， 通过比较重建前后特 征的差异， 来检测工件表面中的缺陷区域。权　利　要　求　书 1/1 页 2 CN 115018790 A 2一种基于异常检测的工件表面缺陷检测方 法 技术领域 [0001]本发明属于表面缺陷检测技术领域， 具体涉及一种基于异常检测的工件表面缺陷 检测方法。 背景技术 [0002]随着工业生产技术的发展， 现代制造业对所生产的工件质量要求越来越严格， 工 件质量把控不严不但影响产品的性能而导致无法正常使用， 甚至可能会留下安全隐患以致 造成事故， 因此， 对工件表面质量进 行检测十 分重要。 人工目视检测在表面缺陷检测中应用 广泛， 检测员凭借丰富的经验将工件精确 地判断为正常或异常， 但让人工检测员检测生产 线的每一个产品存在以下3点关键限制： 1)不同人工检测员对工件的检测标准存在差异， 难 以保持一致的检测结果及稳定的检测精度； 2)熟练的检测员需要高昂的人工成本； 3)人工 检测工作强度高， 检测员难以长时间保持注意力高度集中。 针对人工目视检测存在的问题， 基于机器视觉的检测方法效率高， 近些年逐渐成为研究的重点。 [0003]传统机器视觉检测方法使用特制光源对工件进行打光， 然后用工业相机采集工件 表面图像， 再对采集到的图像应用滤波、 灰度变换、 阈值分割或特征匹配等图像处理算法进 行缺陷检测。 由于传统机器视觉检测方法运行速度快、 准确率高， 因此被广泛应用于工业生 产场景中， 但不足的是在实际生产中采集的图像容易受到光照不均、 机器振动等客观因素 影响， 图像质量难以保持一致， 导致这类方法的检测结果可靠性低。 除此之外， 传统机器视 觉缺陷检测方法往往是对某一类型工件而设计， 因此难以复用到其他类型工件检测任务 中， 泛化性差。 基于深度学习的缺陷检测方法学习大量缺陷样本的特征， 并使用缺陷样 本特 征实现分类与定位， 检测精度高且适用性 强， 越来越多地被应用到表面缺陷检测任务中。 有 监督检测方法在训练过程中需要大量缺陷样本， 但实际制 造中缺陷产品极少出现， 难以事 先大量收集， 因此训练集中的缺陷样本数量较少。 同时， 训练集中正负样本数量不均衡， 使 得训练得到的模型性能可能不佳。 在缺陷数据类型多样， 且难以预见缺陷表现形式的情况 下， 有监督缺陷检测方法往往难以满足检测要求。 此外为满足网络训练要求， 对不同缺陷类 型的数据进行采集和人工标注成本高昂。 [0004]近年来， 异常检测技术是表面缺陷检测发展的一个重要方向， 具有广泛的工业应 用前景。 异常检测就是从一组数据中识别不正常数据或挖掘非逻辑数据的技术， 符合工业 生产正常样本多而异常样本少的特点， 且无需标注。 在图像检测问题中， 异常检测首先学习 正常目标图像中的特征信息， 然后再把这些信息进行处理与分布， 在检测中计算检测样本 与先验分布的差距 来实现缺陷检测， 最后应用于实际测量、 检测和控制。 基于异常检测的表 面缺陷检测方法允许使用智能算法， 如卷积神经网络等深度学习算法来快速检测目标并满 足表面缺陷检测的要求， 它能够收集、 分析、 传输数据和评估结果， 并且倾向于与自动化技 术高度融合。 因此， 使用基于异常检测的智能缺陷检测技术来控制 工件表面的质量是非常 有意义的。说　明　书 1/6 页 3 CN 115018790 A 3