(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210677223.6 (22)申请日 2022.06.16 (65)同一申请的已公布的文献号 申请公布号 CN 114782538 A (43)申请公布日 2022.07.22 (73)专利权人 长春融成智能设备制造股份有限 公司 地址 130012 吉林省长 春市北湖科技 开发 区中盛路3 088号 专利权人 长春蓝舟科技有限公司 (72)发明人 霍箭东　王玲　邱天衡　张超　 孟令书　 (51)Int.Cl. G06T 7/73(2017.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (56)对比文件 CN 110163127 A,2019.08.23 US 2020175 053 A1,2020.0 6.04 CN 109919925 A,2019.0 6.21 CN 110020615 A,2019.07.16 CN 111310676 A,2020.0 6.19 CN 113674247 A,2021.1 1.19 US 2021385426 A1,2021.12.09 CN 10980 0770 A,2019.0 5.24 审查员 刘坛首 (54)发明名称 一种应用 于灌装领域兼容不同桶型视觉定 位方法 (57)摘要 本发明公开了一种应用于灌装领域兼容不 同桶型视觉定位方法， 基于YOLOv5， 使用跨层加 权级联的路径聚合网络和并行通道空间注意力 模块来提高网络的回归精度和收敛速度， 并引入 Ghost相关模块降低网络的复杂度， 构建一种具 有更高识别精度的目标检测网络模型YOL O‑G， 通 过非极大值抑制来获取桶口和桶盖位置信息， 利 用图神经网络的推理学习能力， 通过金字塔结构 融合多尺度特征， 实现尺度自适应桶口和桶盖识 别定位。 在YOL O‑G网络模型的搜索模 块中融合空 洞神经网络， 扩大卷积感受野， 增强输出特征多 样性， 实现自然 光下的多桶型， 多尺度桶口、 桶盖 以及桶口、 桶盖和桶面颜色近似的情况下的精准 识别和定位。 权利要求书1页 说明书8页 附图4页 CN 114782538 B 2022.09.16 CN 114782538 B 1.一种应用于灌装领域兼容 不同桶型视 觉定位方法， 其特 征在于， 包括： S10， 使用图像采集软件获取不同光照强度下的各种桶型图像； S20， 使用标注工具对获取的桶图像数据进行 标注， 构建桶图像数据集； S30， 对不同光照强度下的桶图像进行 预处理， 增强桶图像的边 缘特征； S40， 基于YOLOv5网络进行改进得到YOLO ‑G网络： S41， 提高YOLOv5网络的回归精度,   S411， 在PANet结构中加入跨层 级联的加权融合结构， 将细节信息传递到深层网络； S412， 向 上加深金字塔的深度， 并对应增加YOLOv5网络的Head部分 的检测层， 在四种尺度下进行检 测； S413， 使用双线性插值法替换现有YOLOv5采用的最邻近插值法进行上采样； S42， 提高 YOLOv5网络的收敛速度,  在YOLOv5网络Backb one中的每个卷积模块插入改进的轻量级卷 积注意力模块CSAM， 对特征图同时提取空间和通道注意力特征， 赋予通道注意力模块和空 间注意力模块相同的优先级， 根据图像特征， 通过学习的方式赋予通道注意力和空间注意 力权重， 然后进行加 权融合， 提取混合域特征信息， 同时通过shortCut控制残差连接， 使用 简便的归一化除法保证训练的稳定性； 基于得到的YOLO ‑G网络对桶图像进行特征提取， 使 用并行注意力机制加强图像特 征， 提升桶口和桶盖识别定位的鲁棒 性； S50， 使用构建的桶图像数据集训练视 觉定位网络模型； S60， 将灌装设备实时获取的桶图像输入所述S50中得到的视觉定位网络模型中， 识别 桶口和桶盖图像特 征， 实现桶口和桶盖的精准定位。 2.根据权利要求1所述的一种应用于灌装领域兼容不同桶型视觉定位方法， 其特征在 于， 所述S411具体的方法为： 在同一尺寸的输入、 输出节点间加入跨层加权连接； 在特征融 合过程中直接采用concat操作按通道进行特征融合； 对于其它层的节点， 相邻路径上采用 concat操作进行 特征融合、 不相邻路径上采用加权ad d操作进行 特征融合。 3.根据权利要求1所述的一种应用于灌装领域兼容不同桶型视觉定位方法， 其特征在 于， 所述S412具体的方法为： 将YOLOv5网络的FPN结构由3层加深为4层， 为了匹配4层FPN结 构的深度， 并增加Detect部分 的检测层， 依次对所述4层FPN结构输出的特征图进行 目标检 测， 所述跨层加权融合仅用于两个中间层， 对于顶层和底层， 直接将两部 分特征图按通道进 行拼接。 4.根据权利要求1所述的一种应用于灌装领域兼容不同桶型视觉定位方法， 其特征在 于， 所述S40中还包括以GhostConv作为基本卷积模块， 通过廉价的线性变换生成更多的特 征图， 使用GhostBot tleneck替换掉原有的残差块， 对整个网络进行 轻量化处理。权　利　要　求　书 1/1 页 2 CN 114782538 B 2一种应用于灌装领域兼容不同桶型视觉定位方 法 技术领域 [0001]本发明涉及视觉寻址定位技术领域， 特别是涉及 一种应用于灌装领域兼容不同桶 型视觉定位方法。 背景技术 [0002]在灌装领域， 非自然光下视觉寻址定位技术得到广泛应用， 此技术需在非自然光 的特定条件下使用， 设备成本高昂， 应用受限。 因此， 自然光下视觉寻址定位技术成为研究 方向。 但是， 部分生产企业使用二次用桶 （旧桶） ， 桶质量参差不齐， 另外， 由于IBC桶、 镀锌桶 的桶盖和桶顶面颜色一 致， 都给自然光下视 觉定位桶的桶口、 桶盖带来了新的挑战。 [0003]自2016年 Joseph提出You  Only Look Once(YOLOv1)以来， 更轻更快的单阶段目标 检测方法开启了目标检测的新纪元。 经过不断更新迭代， 现已推出了Y OLOv5， 按照模 型大小 递增可分为s、 m、 l、 x， 各模 型仅在网络的深度和宽度上有 所不同。 由于自然光下的图像受光 线强弱的影 响较大， 使用Y OLOv5s图像识别方法无法对桶口和 桶盖进行精 准定位。 特别当灌 装容器桶口和桶盖的颜色和桶面颜色近似或者一样的情况下， YOLOv5s图像识别算法对桶 口和桶盖的边界分割精 准度不高。 使用更深的YOLOv5m、 YOLOv5l等又会受到硬件的制约， 均 难以满足对实时性和目标框回归准确率要求都很高的场景。 [0004]为了更好地提取检测目标的特征， 许多优秀的卷积神经网络被应用 于Backbone 中， 如VGG  、 ResNet等， 但这些网络训练和预测的代价太大， 用于YOLO网络的特征提取会使 其失去实时性， 无法满足工业应用的要求。 发明内容 [0005]本发明的目的是提出一种应用于灌装领域兼容不同桶型视觉定位方法， 基于 YOLOv5， 使用跨层加权级联的路径聚合网络(Weighted  connection s across layers‑Path  Aggregation  Network， 简称WCAL ‑PAN)和并行通道空间注意力模块 （Parallel  Channel  Spatial Attention  Module， 简称PCSA M） 来提高网络的回归精度和收敛速度， 并引入Gho st 相关模块降低网络的复杂度， 构建一种对一般数据集轻量化和具有更高识别精度的目标检 测网络模型YOLO ‑G， 解决上述自然光下桶视 觉定位不精准的技 术问题。 [0006]为实现上述目的， 本发明提供如下技术方案： 一种应用于灌装领域兼容不同桶型 视觉定位方法， 包括： S10， 使用图像采集软件获取不同光照强度下的各种桶型图像； S20， 使 用标注工具对获取的桶图像数据进行标注， 构建自然光下桶图像数据集； S30， 对不同光照 强度下的桶图像进行预处理， 增强桶图像的边缘特征； S40， 基于YOLOv5网络进行改进得到 YOLO‑G网络： S41， 使用跨层加权级联的路径聚合网络WCAL ‑PAN来提高YOL Ov5网络的回归精 度； S42， 使用并行通道空间注意力模块PCSAM来提高YOLOv5网络的收敛速度； 基于得到的 YOLO‑G网络对桶图像进行特征提取， 使用并行注意力机制加强图像特征， 提升桶口和桶盖 识别定位的鲁棒性； S 50， 使用构建的所述自然光下桶图像数据集训练自然光下视觉定位网 络模型； S 60， 将灌装设备实时获取的桶图像输入所述S 50中得到的视觉定位网络模 型中， 识说　明　书 1/8 页 3 CN 114782538 B 3