(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210751408.7 (22)申请日 2022.06.29 (65)同一申请的已公布的文献号 申请公布号 CN 114820620 A (43)申请公布日 2022.07.29 (73)专利权人 中冶建筑研究总院 （深圳） 有限公 司 地址 518066 广东省深圳市前海深港合作 区前湾一路1号A栋201室 专利权人 中冶建筑研究总院有限公司 (72)发明人 卢佳祁　姚志东　王罡　常正非　 闫贵海　 (74)专利代理 机构 北京融智邦 达知识产权代理 事务所(普通 合伙) 11885 专利代理师 吴强 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/13(2017.01)G06T 7/136(2017.01) G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 5/00(2006.01) (56)对比文件 CN 112419297 A,2021.02.26 CN 106683075 A,2017.0 5.17 CN 112419299 A,2021.02.26 CN 112419298 A,2021.02.26 CN 114511519 A,202 2.05.17 CN 113128400 A,2021.07.16 CN 110853091 A,2020.02.28 CN 111932516 A,2020.1 1.13 CN 113222935 A,2021.08.0 6 CN 103337067 A,2013.10.02 CN 113963051 A,202 2.01.21 CN 112330615 A,2021.02.0 5 (续) 审查员 黄攀 (54)发明名称 一种螺栓松动缺陷检测方法、 系统及装置 (57)摘要 本发明提供了一种螺栓松动缺陷检测方法、 系统及装置， 涉及计算机视觉检测及紧固件 连接 技术领域， 所述方法包括： 通过第一预设模型标 记出目标区域并旋转校正后备份图像， 通过模糊 化处理及第二预设模型标记螺栓和/或螺栓丢失 区域检测框并提取参考点， 对所述备份图像进行 畸变校正， 通过第三预设模型得到螺栓或螺栓丢 失区域掩码图像后提取角点及方向角度， 基于角 点及方向角度筛选正常螺栓， 基于正常螺栓的方 向角度得到螺栓角度， 将螺栓角度与所述基准图 像的螺栓角度进行比较， 判别螺栓松动。 本申请 可快速、 准确地对螺栓松动情况进行机器视觉判 定， 避免了螺栓节点区域倾斜、 螺栓丢失、 非螺栓 信息干扰等因素造成的自动机器视觉判定失效的问题。 [转续页] 权利要求书3页 说明书14页 附图13页 CN 114820620 B 2022.09.13 CN 114820620 B (56)对比文件 US 11069082 B1,2021.07.20 WO 201919040 5 A1,2019.10.0 3 CN 114387268 A,202 2.04.22 Thanh-Canh Huynh.Visi on-based autonomous bo lt-looseness detecti on method for spl ice connections: Design , lab-scale evaluati on , and field application. 《ELSEVIER:Automati on in Construction》 .2021,第124卷全 文. 李洪鲁.基于图像的高速 磁浮长定子轨道异 常状况的检测研究. 《中国优秀硕士学位 论文全 文数据库 工程科技 II辑》 .2022,C033-202. 郭珍珠 等.基 于图像识别的高强度螺 栓松 动检测方法的研究. 《工业建 筑》 .2022,第52卷 (第02期),175 -179. 吕明达.基于图像处 理和深度学习的桥梁连 接螺栓松动检测方法研究. 《中国优秀硕士学位论文全文数据库 工程科技 II辑》 .2022,C034- 339. J.H.Park 等.Ima ge-based Bo lt- loosening Detecti on Technique of Bo lt Joint in Steel Bridges. 《6th I nternati onal Conference o n Advances i n Experimental Structural Engi neering》 .2015,1-8. Yabin Yu 等.Detecti on Method for Bolted Connection Looseness at Smal l Angles of Timber Structures based o n Deep Learning. 《Sensors (Basel)》 .2021,第21卷(第 9期),1-19. Yuhang Sun 等.Visi on-Based Detecti on of Bolt Loosening Using YOLOv5. 《Sensors (Basel)》 .202 2,1-16. 卢佳祁 等.基 于递进式级联卷积神经网络 的混凝土裂缝识别方法. 《工业建筑》 .2021,第51 卷(第05期),30-36.2/2 页 2[接上页] CN 114820620 B1.一种螺 栓松动缺陷检测方法， 其特 征在于， 包括： 采集基准图像与检测区域图像； 基于基准图像， 通过第一预设模型标记出目标区域并旋转校正， 通过第二预设模型标 记螺栓检测框并提取参考点， 截取单个螺栓图像通过第三预设模型得到螺栓掩码图像后提 取方向角度并求均值得到 螺栓角度； 基于检测区域图像， 通过第一预设模型标记出目标区域并旋转校正后备份图像， 通过 模糊化处理及第二预设模型标记螺栓和/或螺栓丢失区域检测框并提取参考点， 所述模糊 化处理是指弱化或消除图像中的边缘特征， 基于所述参考点及所述基准图像中的参考点经 计算得到透视变换矩阵， 基于所述透视变换矩阵及所述备份图像进行畸变校正， 通过第三 预设模型得到螺栓或螺栓丢失区域掩码图像后提取角点及方向角度， 基于角点及方向角度 筛选正常螺栓， 通过对所述正常螺栓的方向角度求均值得到螺栓角度， 将所述螺栓角度与 所述基准图像中对应的螺 栓角度进行比较， 判别螺 栓松动； 筛选正常螺 栓的具体方法包括如下步骤： 步骤11241、 先通过所述角点的数量判定， 若所述数量不大于1时， 则无法识别出螺栓的 正六边形 特征， 直接判定 螺栓丢失； 步骤11242、 再通过 所述方向角度的差异判定， 所述差异采用均方差计算： ； 其中， n为 方向角数量； 为方向角度值， 为所有方向角度的均值， 当σ 大于阈值 时， 则判定为螺 栓丢失， 根据试验统计结果， 所述阈值 设为2。 2.根据权利要求1所述的螺栓松动 缺陷检测方法， 其特征在于， 所述第 一预设模型标记 出目标区域包括： 先对图像进行灰度化处理， 再通过对螺栓节点区域添加旋转矩形框进行 数据标记， 所述旋转矩形框由位置信息定义， 所述位置信息包括所述旋转矩形框的倾斜角 度。 3.根据权利要求2所述的螺栓松动 缺陷检测方法， 其特征在于， 所述旋转校正包括基于 所述旋转矩形框的倾 斜角度， 向倾 斜方向的反方向旋转图像至摆正状态。 4.根据权利要求1所述的螺 栓松动缺陷检测方法， 其特 征在于， 所述 提取参考点包括： 以图像的左上 方顶点为原点， 水平向右为横轴正向， 竖直向下为纵轴正向建立 坐标系； 以每个螺栓或螺栓丢失区域的检测框中心为起点， 沿着横轴及纵轴的正负方向做射 线； 根据所述射线与其它检测框的相交情况判定端点， 所述端点包括左上区域的端点、 左 下区域的端点、 右上区域的端点和右下区域的端点； 若所在区域内的端点唯一 时， 以所述端点作为参考点； 若所在区域内的端点不唯一时， 则通过辅助点方式确定参 考点。 5.根据权利要求4所述的螺栓松动 缺陷检测方法， 其特征在于， 所述根据 所述射线与其 它检测框的相交情况判定端点的方法是： 若某个检测框的横轴负向射线及纵轴负向射线与其它检测框无相交， 则所述检测框的 中心点为左上区域的端点；权　利　要　求　书 1/3 页 2 CN 114820620 B 3