(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211038083.4 (22)申请日 2022.08.29 (65)同一申请的已公布的文献号 申请公布号 CN 115115631 A (43)申请公布日 2022.09.27 (73)专利权人 深圳市信润富联数字科技有限公 司 地址 518000 广东省深圳市罗湖区桂园街 道老围社区深南东路5016号蔡屋围京 基一百大厦A座20 01-06 (72)发明人 徐佐　于洋　 (74)专利代理 机构 深圳智汇远见知识产权代理 有限公司 4 4481 专利代理师 聂磊 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/33(2017.01) G06T 7/73(2017.01) G06T 7/90(2017.01)G06V 10/74(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 112464709 A,2021.0 3.09 CN 106295936 A,2017.01.04 CN 110554704 A,2019.12.10 CN 10827376 3 A,2018.07.13 EP 1600351 A1,20 05.11.30 CN 2082704 45 U,2018.12.21 DE 102008055163 A1,2010.07.01 高枭禹.摩托车 车轮铸造面磕碰伤视 觉检测 系统研究. 《中国优秀硕士学位 论文全文数据库 工程科技 Ⅱ辑》 .2022,C035-609. 关明宇 等.基 于图像处 理的轮辐角度测量. 《数据采集与处 理》 .2019,189-194. (续) 审查员 安静 (54)发明名称 轮毂缺陷检测方法、 装置、 设备及计算机可 读介质 (57)摘要 本申请涉及一种轮毂缺陷检测方法、 装置、 设备及计算机可读介质。 该方法包括： 在检测到 目标轮毂到达预设位置的情况下， 采集目标轮毂 的二维图像数据和三维点云数据； 基于二维图像 数据和三维点云数据确定目标轮毂的轮型和当 前位姿； 根据目标轮毂的轮型调取与目标轮毂对 应的三维数据模 型， 并利用三维数据模型和当前 位姿生成目标轮毂在当前位姿下的最佳拍摄轨 迹和最佳拍摄参数； 按照最佳拍摄参数对设置在 机械臂末端的相机组和光源组进行配置， 并按照 最佳拍摄轨迹控制机械臂采集目标轮毂的轮毂 表面图像； 将轮毂表面图像输入缺陷识别神经网 络模型， 以确定目标轮毂的缺陷。 本申请解决不同种类轮型适应性差导致轮毂成像质量差、 缺陷 识别效果差的技 术问题。 [转续页] 权利要求书3页 说明书14页 附图6页 CN 115115631 B 2022.12.09 CN 115115631 B (56)对比文件 Xiaohong Sun 等.Surface Defects Recognition of Whe el Hub Based o n Improved Faster R- CNN. 《electro nics》 .2019, 1-16.2/2 页 2[接上页] CN 115115631 B1.一种轮毂缺陷检测方法， 其特 征在于， 包括： 在检测到目标轮毂到达预设位置的情况下， 采集所述目标轮毂的二维图像数据和三维 点云数据， 其中， 所述二 维图像数据用于记录所述目标轮毂表面的颜色和纹理， 所述三 维点 云数据用于记录所述目标轮毂的深度信息； 基于所述 二维图像数据和所述 三维点云数据确定所述目标轮毂的轮型和当前位姿； 根据所述目标轮毂的轮型调取与 所述目标轮毂对应的三维数据模型， 并利用所述三维 数据模型和所述当前位姿生成所述目标轮毂在所述当前位姿下的最佳拍摄轨迹和 最佳拍 摄参数； 按照所述最佳拍摄参数对设置在机械臂末端的相机组和光源组进行配置， 并按照所述 最佳拍摄轨 迹控制所述机 械臂采集所述目标轮毂的轮毂表面图像； 将所述轮毂表面图像输入缺陷识别神经网络模型， 以确定所述目标轮毂存在的缺陷。 2.根据权利要求1所述的方法， 其特征在于， 基于所述二维图像数据和所述三维点云数 据确定所述目标轮毂的轮型包括： 分别在所述二维图像数据和三维点云数据中定位所述目标轮毂的中心冒口位置和气 门孔位置； 利用定位得到的所述中心冒口位置和所述气门孔位置对所述二维图像数据和所述三 维点云数据进行配准， 得到融合所述 目标轮毂表面的颜色、 纹理以及深度信息的深度纹理 数据； 将所述深度纹 理数据输入深度神经网络模型中， 以提取 所述目标轮毂的轮型 特征； 将所述轮型特征输入度量学习 模型， 以利用所述度量学习 模型确定所述目标轮毂与 特 征数据库中的轮毂 的轮型相似度， 其中， 所述特征数据库为动态更新处于生产阶段 的轮型 的数据库； 根据所述度量学习模型输出的相似度判别结果， 确定所述目标轮毂的最终轮型。 3.根据权利要求2所述的方法， 其特征在于， 根据 所述度量学习 模型输出的相似度判别 结果， 确定所述目标轮毂的最终轮型包括： 根据所述相似度判别结果确定与所述目标轮毂的所述轮型特征相似度达到预设阈值 的目标轮型的数量； 在仅有一个所述目标轮型的情况下， 将所述目标轮型确定为所述目标轮毂的所述最终 轮型； 在至少有两个所述目标轮型的情况下， 调取所有所述目标轮型的模板， 并逐一与所述 目标轮毂进行高度匹配和直径匹配； 基于高度匹配结果和直径匹配结果确定所述目标轮毂与各个所述目标轮型的综合匹 配度； 将所述综合匹配度最高的模板对应的所述目标轮型确定为所述目标轮毂的所述最终 轮型。 4.根据权利要求1所述的方法， 其特征在于， 基于所述二维图像数据和所述三维点云数 据确定所述目标轮毂的当前位姿包括按照如下方式使用所述二维图像数据确定所述目标 轮毂的当前位姿： 从所述二维图像数据中提取 出所述目标轮毂的正视图数据；权　利　要　求　书 1/3 页 2 CN 115115631 B 3