(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210648073.6 (22)申请日 2022.06.09 (71)申请人 深圳市信润富联数字科技有限公司 地址 518000 广东省深圳市罗湖区桂园街 道老围社区深南东路5016号蔡屋围京 基一百大厦A座20 01-06 (72)发明人 冯建设　花霖　张建宇　 (74)专利代理 机构 深圳市中科创为专利代理有 限公司 4 4384 专利代理师 彭西洋　彭涛 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01)G06V 10/26(2022.01) G06V 10/24(2022.01) G06T 7/00(2017.01) (54)发明名称 一种基于图网络的PCB板元器件图像目标检 测方法 (57)摘要 本发明公开一种基于图网络的PCB板元器件 图像目标检测方法， 包括步骤： 将PCB图片样本 数 据集中五分之四的样本分为训练集， 其余样本分 为验证集， 利用生成式对抗网络对训练集的所有 样本学习生成新样本； 每个新样 本利用超像素构 建一个K最近邻接矩阵； 建立RPN网络， 提取多个 PCB超像素训练集样本图片的边框位置并通过损 失函数不断修正靠近正确的标注数据框的概率； 采用图卷积网络对特征图进行特性细化生成特 征图信息； 利用相似度预测算法对 前一个阶段的 每个特征图进行分类， 再计算每个图对元器件模 板的相似性概率并基于概率归类为相应元器件 模板的类别。 本发明实现快速有效的分类标注出 PCB板上的各个元器件， 极大地节省了人力成本 。 权利要求书1页 说明书4页 附图2页 CN 114926695 A 2022.08.19 CN 114926695 A 1.一种基于图网络的PCB板元器件图像目标检测方法， 其特 征在于， 包括如下步骤： S1， 获取PCB图片样本数据集， 并将该PCB图片样本数据集中五分之四的样本划分为训 练集， 另外五分之一的样本划分为验证集； 利用GANs生成式对抗网络对训练集的所有样本 学习生成新样本； S2， 对于步骤S1生成的每一个新样本利用超像素构建一个K最近邻接矩阵， 权值 为： ； 式中xi和xj分别是超像素i和j的二维坐标， σ x是放缩参数； S3， 建立RPN网络， 提取多个PCB超像素训练集样本图片的边框位置， 并通过函数不断平 移缩放修正靠近正确的标注数据框的概 率， 从而为下一 步骤提供 特征图； S4， 采用图卷积网络并结合元器件模板图对步骤S3提供的特征图进行特性细化， 生成 特征图信息； S5， 针对步骤S4生成的特征图信息利用相似度预测算法对步骤S3产生的每个特征图进 行分类； 再利用相似度预测算法计算每个被步骤S 3和步骤S4处理后的图对元器件模板的相 似性概率， 并基于概 率归类为相应元器件 模板的类别。 2.根据权利要求1所述的基于图网络的PCB板元器件图像目标检测方法， 其特征在于， 所述步骤S4进行 特性细化的具体实现过程如下： 令图卷积网络中的图的实体表示成节点， 节点间的连接表示成边， 系统层面的特征用 全局属性表 示， 节点表示为vi， 边表 示为ek， 全局属性表 示为u， 并且使用sk和r k分别表示边 k的发送节点和接收节点的索引； 图用一个3元组表示  G = (u； V； E) ， u代表的是一个全局属性， 是整个图的一个特征； V 代表图的节点的集 合， 其表示 为： ； E代表边的集 合， 其表示 为： ； 式中Ne和Nv分别代表边和节点的数量， ek是第k个边的特征， sk和rk分别是接收节点和 发送节点的编号； a、 首先用当前的边信息、 节点信息、 以及全局 属性u来生成新的边信息； b、 基于新的边信息， 生成新的节点信息； c、 基于新的节点和边信息， 生成新的全局 属性u， 整个过程完成。 3.根据权利要求1所述的基于图网络的PCB板元器件图像目标检测方法， 其特征在于， 所述GANs生成式对抗网络包括生成模型和判别模型， 所述生 成模型用于学习训练集中样本 的真实图像分布， 使GANs生成式对抗网络生成的新样本更加真实， 所述判别模型用于判断 图像是真实图像还是生成图像。 4.根据权利要求4所述的基于图网络的PCB板元器件图像目标检测方法， 其特征在于， 所述GANs生成式对抗网络采用深度卷积神经网络 。 5.根据权利要求1所述的基于图网络的PCB板元器件图像目标检测方法， 其特征在于， 所述步骤S3是通过损失函数不断平 移缩放修正靠近正确的标注数据框 。权　利　要　求　书 1/1 页 2 CN 114926695 A 2一种基于图 网络的PCB板元器件图像目标 检测方法 技术领域 [0001]本发明涉及图像处理技术领域， 尤其涉及一种基于图网络的PCB板元器件图像目 标检测方法。 背景技术 [0002]PCB板元器件的检测是自动化检测硬件的一个必要步骤， 传统意义上的检测由质 检工程师进行目检手动框定元器件(例如： 电阻、 电容)， 然后识别组件类型， 一片PCB板一般 包含上百个元器件， 质检工程师需要了解各样式的电子元器件才能标注准确， 质检工程师 需要花费大约两天时间标注一片PCB板， 需要耗费大量的时间与精力， 门槛高， 标注成本昂 贵； 因此， 有必 要提供一种快速标注与 识别元器件的方法， 借助于深度学习中条件生成 式对 抗网络消除图像模糊性， 与超像素、 图神经网络的思想构建目标检测模型框架， 能够快速有 效的分类标注出PCB板上的各个元器件， 节省大量人力成本 。 发明内容 [0003]本发明的目的是克服现有技术的不足， 提供一种基于图网络的PCB板元器件图像 目标检测方法。 [0004]本发明的技 术方案如下： [0005]一种基于图网络的PCB板元器件图像目标检测方法， 包括如下步骤： [0006]S1， 获取PCB图片样本数据集， 并将该PCB图片样本数据集中五分之四的样本划分 为训练集， 另外五分之一的样 本划分为验证集； 利用GA Ns 生成式对抗网络对训练集的所有 样本学习生成新样本； [0007]S2， 对于步骤S1生成的每一个新样本利用超像素构建一个K最近邻接矩阵， 权值 为： [0008] [0009]式中xi和xj分别是超像素i和j的二维坐标， σ x是放缩参数； [0010]S3， 建立RPN网络， 提取多个PCB超像素训练集样本图片的边框位置， 并通过函数不 断平移缩放修正靠近正确的标注数据框的概 率， 从而为下一 步骤提供 特征图； [0011]S4， 采用图卷积网络并结合元器件模板图对步骤S3提供的特征图进行特性细化， 生成特征图信息； [0012]S5， 针对步骤S 4生成的特征图信息利用相似度预测算法对步骤S3产生的每个特征 图进行分类； 再利用相似度预测算法计算每个被步骤S 3和步骤S4处理后的图对 元器件模板 的相似性 概率， 并基于概 率归类为相应元器件 模板的类别。 [0013]进一步地， 所述步骤S4进行 特性细化的具体实现过程如下： [0014]令图卷积网络中的图的实体表示成节点， 节点间的连接表示成边， 系统层面的特 征用全局属性表 示， 节点表示为vi， 边表 示为ek， 全局属性表 示为u， 并且使用sk和r k分别表 示边k的发送节点和接收节点的索引；说　明　书 1/4 页 3 CN 114926695 A 3