(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211452873.7 (22)申请日 2022.11.21 (71)申请人 湖南视比特机 器人有限公司 地址 410000 湖南省长 沙市长沙高新开发 区岳麓西大道588号芯城科技园2栋 1505室 (72)发明人 张文博　邓俊杰　邵舒啸　罗兴锋　 (74)专利代理 机构 长沙大胜专利代理事务所 (普通合伙) 43248 专利代理师 陆僖 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/08(2006.01) (54)发明名称 一种基于多目视觉的工件错漏装检测系统 及方法 (57)摘要 一种基于多目视觉的工件错漏装检测系统 及方法， 包括： 图像采集单元和图像分析单元； 所 述图像采集单元由多台相机布局在工件周围， 拍 摄范围全覆盖工件待检测点； 所述图像 分析单元 包括： 算法模块、 判定模块、 显示模块、 输出模块 和日志模块。 本发明还公开了一种基于多目视觉 的工件错漏装检测方法。 本发明系统无需移动相 机或工件， 算法无需定位后再检测， 极大地降低 人工检测方式或单目相机检测系统的误检率和 漏检率， 还提出了一种等价模型转换， 精度等价， 推理模型速度比训练模型快2.5倍。 本发明方法 在多目视觉 下能全自动、 高速度、 高精度、 高鲁棒 地检测工件。 权利要求书3页 说明书10页 附图6页 CN 115496763 A 2022.12.20 CN 115496763 A 1.一种基于多目视觉的工件错漏装检测系统， 其特征在于， 包括： 图像采集单元和图像 分析单元； 所述图像采集单元由多台相机布局在工件周围， 拍摄范围全覆盖工件待检测点； 所述图像分析 单元包括： 算法模块、 判定模块、 显示模块、 输出模块和日志模块； 所述算法模块的模型架构包括训练阶段和推理阶段； 在所述训练阶段， 通过不同类别 样本以及 对应的标签， 采用多分支结构模型， 自监督学习测点在各相机视野下的成像； 在所 述推理阶段， 通过模型重参化将高精度多分支训练模型等价转换为高速度高精度单分支推 理模型； 所述训练阶段的具体操作是： 将不同类别样本输入模型， 输出该样本为某类别的分数， 采用标签平滑损失计算模型输出与标签的误差， 再通过梯度反向传播优化模型参数， 最终 得到收敛后的模 型参数， 即完成训练阶段， 其中， 模 型输出的分数范围是0至1， 标签的值为0 或1； 所述模型的架构 设计上， 第1+3n层采用标准卷积， 用于提取局部特征， 第2+3n层采用深 度可分离卷积， 用于提取空间和通道维度特征， 第3+3n层采用扩张卷积， 用于扩大感受野， 其中， n为从0开始递增的整数。 2.根据权利要求1所述基于多目视觉的工件错漏装检测系统， 其特征在于： 所述多台相 机与工件位置相对固定， 调整每台相机的焦距以及曝光参数， 以确保成像清晰； 所述工件上 下表面各划分九宫格， 工件的侧面则划分1～3格， 每个格子分配≥3台相机， 实现该格子图 像采集的全覆盖， 且相机与工件的景深为0.5～1.0米； 所述相机拍摄环境为暗室， 光源均匀 照射， 针对特殊测点局部打光； 所述相机为2D工业相机 。 3.根据权利要求1或2所述基于多目视觉的工件错漏装检测系统， 其特征在于： 所述推 理阶段中， 等价转换 的具体操作是： 训练阶段的模型结构跳跃连接分支参数转换为单位矩 阵参数与原1 ×1分支参数合并， 再将合并后的1 ×1分支参数， 通过四周填充0的方式， 转换 为3×3分支参数， 再与原3 ×3分支参数合并， 最终得到一个3 ×3分支的单分支推理模型结 构； 所述推理阶段中， 等 价转换公式为： Y= + + = + + ， ， 其中，X表示输入， Y表示输出， W[3]、W[1]分别表示3 ×3和1×1卷积核参数， μ、σ、γ、β表示 批量归一 化层参数； 所述算法模块的输出结果为： 不同类别或测点样本分别通过训练阶段或推理阶段的模 型提取图像特征后， 输出类别分数列表， 其中， 每一类别的值为0至1， 取最大数值对应的类 别作为模型输出的类别。 4.根据权利要求1或2所述基于多目视觉的工件错漏装检测系统， 其特征在于： 所述判 定模块： 设定一个超参数阈值 θ， 综合判定某测点的正样 本数量与该测点感兴趣区域数量的 比值是否大于等于 θ， 若大于等于则输出 OK， 反之则输出 NG， 公式如下：权　利　要　求　书 1/3 页 2 CN 115496763 A 2， 其中， 将算法模块中模型输出的类别与真实的类别进行比较： TP为真正样本数量， 表示 标签为正样本， 模型预测正确时的次数； FP为假正样本数量， 表示标签为正样本， 模型预测 错误的次数； TN为真负样本数量， 表示标签为负样本， 模型预测正确的次数； FN为假负样本 数量， 表示标签为负样 本， 模型预测错误的次数； OK表示正常测点， NG表示异常测点； 全局超 参数阈值θ为0.5， 针对 特定测点可设置单独的局部超参数阈值， 设置的参数阈值 θ的范围为 0～1， 计算公式为： θ= 1‑1/n， 其中，n为该测点存在的情况 数。 5.根据权利要求1或2所述基于多目视觉的工件错漏装检测系统， 其特征在于： 所述显 示模块： 将判定模块输出的 OK或NG标注于工件相应的测点上， 表示该测点是否异常， OK正 常，NG异常， 并显示在报告中。 6.根据权利要求1或2所述基于多目视觉的工件错漏装检测系统， 其特征在于： 所述输 出模块： 将算法模块中推理模型输出 的结果， 写入至共享内存， 并发送写入完成信号； 将推 理模型认为的负 样本图像保存至磁 盘， 方便开发者 查看是否误判。 7.根据权利要求1或2所述基于多目视觉的工件错漏装检测系统， 其特征在于： 所述日 志模块： 输出模块将程序标准流和错误流写入日志文件， 文件按接收数据的时间命名， 以便 查看日志信息； 日志模块记录算法模块与磁盘和共享内存的交互， 即加载或保存； 日志模块 记录每台相 机视野下测点的反馈结果； 算法模块拥有异常回溯机制， 将异常信息即错误流 写入到日志文件中。 8.一种用于权利要求1～7之一所述系统 的基于多目视觉的工件错漏装检测方法， 其特 征在于， 包括以下步骤： （1） 用图像采集单元的多台相机并行拍摄后， 将多视图图像传入共享内存， 并向图像分 析单元发送处 理信号； （2） 图像分析单元中的算法模块在训练阶段， 通过不同类别样本以及对应的标签， 模型 自监督学习参数， 在推理阶段通过模型重参化将高精度多分支训练模型等价转换为高速度 高精度单分支推理模型， 不同类别或测点样本 分别通过训练阶段或推理阶段的模型提取图 像特征后， 输出类别分数列表， 其中， 每一类别的值为0至1， 取最大数值对应的类别作为模 型输出的类别； （3） 图像分析单元中的判定模块， 将算法模块中模型输出的类别与真实的类别进行比 较， 综合判定某测点的正样 本数量与该测点感兴趣区域数量的比值是否大于等于 θ， 若大于 等于则输出 OK， 反之则输出 NG； （4） 图像分析单元中的显示模块， 将判定模块中的结果标注于工件相应测点上， 在报告 中显示， 供用户查看； （5） 图像分析单元中的输出模块， 将算法模块中推理模型输出的结果， 写入至共享内 存， 并发送写入完成信号； 将 推理模型认为的负样本图像保存至磁盘， 方便开 发者查看是否 误判。 9.根据权利要求8所述基于多目视觉的工件错漏装检测方法， 其特征在于： 步骤 （5） 中，权　利　要　求　书 2/3 页 3 CN 115496763 A 3