(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210646675.8 (22)申请日 2022.06.09 (65)同一申请的已公布的文献号 申请公布号 CN 114742828 A (43)申请公布日 2022.07.12 (73)专利权人 武汉东方骏 驰精密制造有限公司 地址 430223 湖北省武汉市东湖新 技术开 发区东一产业园二号路1号武汉东方 骏驰精密制造有限公司1号、 4 号厂房 (72)发明人 唐湘辉　陈明凯　申晴晴　 (74)专利代理 机构 北京集智东方知识产权代理 有限公司 1 1578 专利代理师 吴倩　龚建蓉 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/762(2022.01)G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/776(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (56)对比文件 CN 107607554 A,2018.01.19 CN 111598124 A,2020.08.28 CN 112053317 A,2020.12.08 CN 113155851 A,2021.07.23 US 2006204121 A1,20 06.09.14 EP 3623882 A1,2020.0 3.18 审查员 周锦 (54)发明名称 基于机器视觉的工件定损智能分析方法及 装置 (57)摘要 本发明涉及人工智能领域， 揭露了一种基于 机器视觉的工件定损智能分析方法及装置， 包 括： 对工件图片集进行聚类， 得到多个工件图片 簇， 在任意一个所述工件图片簇选择文本构建正 负样本对预构建的第一卷积神经网络模型及第 二卷积神经网络模型进行训练， 得到训练完成的 第一模型及训练完成的第二卷积神经网络模型， 其中， 所述第一卷积神经网络模 型与所述第二卷 积神经网络模 型相同； 在训练完成的两个模型中 选择一个模型对对所述待识别工件图片进行损 伤识别， 得到损伤识别结果。 本发明提高工件定 损分析的准确度。 权利要求书4页 说明书12页 附图3页 CN 114742828 B 2022.10.14 CN 114742828 B 1.一种基于 机器视觉的工件定损智能分析 方法， 其特 征在于， 所述方法包括： 获取工件图片集， 其中， 所述工件图片集中每个工件图片都有标记有对应的损伤类型， 其中， 所述损伤类型包括： 裂缝或划痕或缺失； 将所述工件图片转换为向量， 得到工件向量， 并利用所述工件向量将所述工件图片集 中的所有工件图片进行聚类， 得到预设第一数量的工件图片簇； 在任意一个所述工件图片簇中随机 选取预设第二数量的工件图片， 得到训练图片集； 依次选取所述训练图片集的工件图片为训练图片， 并筛选所述训练图片集中与所述训 练图片损伤类别相同的相似图片， 得到所述训练图片对应的正样本图片； 筛选所述训练图片集中与 所述训练图片损伤类别不同的相似图片， 得到所述训练图片 对应的负 样本图片； 利用每个所述训练图片及该训练图片对应的正样本 图片及负样本图片对预构建的第 一卷积神经网络模型及第二卷积神经网络模型进 行训练， 得到训练完成的第一卷积神经网 络模型及训练完成的第二卷积神经网络模型， 其中， 所述第一卷积神经网络模型与所述第 二卷积神经网络模型相同； 对所述训练完成的第一卷积神经网络模型及所述训练完成的第二卷积神经网络模型 进行模型筛 选， 得到工件损伤 识别模型； 当获取待识别 工件图片时， 利用所述工件损伤识别模型对所述待识别 工件图片进行损 伤识别， 得到损伤 识别结果； 所述利用每个所述训练图片及该训练图片对应的正样本图片及负样本图片对预构建 的模型相同的第一卷积神经网络模型及第二卷积神经网络模型进 行训练， 得到训练完成的 第一卷积神经网络模型及训练完成的第二卷积神经网络模型， 包括： 利用所述第 一卷积神经网络模型对所述训练图片进行特征提取， 得到训练图片特征向 量； 利用所述第 二卷积神经网络模型对所述正样本图片进行特征提取， 得到正样本图片特 征向量； 利用所述第 二卷积神经网络模型对所述负样本图片进行特征提取， 得到负样本图片特 征向量； 分别计算所述训练图片特征向量与所述正样本图片特征向量及所述负样本图片特征 向量的相似度， 得到第一相似度分数及第二相似度分数； 构建损失函数， 并基于所述损失函数利用所述第 一相似度分数及所述第 二相似度分数 进行计算， 得到目标损失值； 当所述目标损失值大于或等于预设损失阈值， 则更新所述第 一卷积神经网络模型及所 述第二卷积神经网络模型的模型参数， 并返回所述在任意一个所述工件图片簇中随机选取 预设第二数量的工件图片步骤； 当所述目标损失值小于预设损失阈值， 则 输出训练完成的第 一卷积神经网络模型及训 练完成的第二卷积神经网络模型。 2.如权利要求1所述的基于机器视觉的工件定损智能分析方法， 其特征在于， 所述将所 述工件图片转换为向量， 得到 工件向量， 包括： 将所述工件图片进行二 值化， 得到二 值化图片；权　利　要　求　书 1/4 页 2 CN 114742828 B 2获取所述二值化图片中每个像素的灰度值， 将所有所述灰度值按照对应像素在二值化 图片中排列的先后顺序进行 连接， 得到所述工件向量。 3.如权利要求1所述的基于机器视觉的工件定损智能分析方法， 其特征在于， 所述利用 所述工件向量将所述工件图片集中的所有工件图片进 行聚类， 得到预设第一数量的工件图 片簇， 包括： 步骤A： 在所有所述工件向量中随机选取预设数量的工件向量， 并将选取的每个工件向 量作为质心； 步骤B： 计算每一个所述工件向量与每个所述质心的距离， 将每条所述工件向量向距离 最近的所述质心凝集汇总， 得到对应初始向量簇； 步骤C： 根据所述初始向量簇及所述质心进行质心波动计算， 得到质心波动值； 步骤D： 判断所述质心波动值是否为0， 步骤E： 当所述质心波动值为0， 将所述初始向量簇确定为所述工件向量簇， 并将每个所 述工件向量簇中所有工件向量对应的工件图片汇总， 得到对应的工件图片簇； 步骤F： 当所述质心波动值 不为0， 将所述簇平均值作为 新的质心， 并返回步骤B。 4.如权利要求1所述的基于机器视觉的工件定损智能分析方法， 其特征在于， 所述选所 述训练图片集中与所述训练图片损伤类别相同的相似图片， 得到所述训练图片对应的正样 本图片， 包括： 筛选所述训练图片集中与所述训练图片损伤类别相同的图片， 得到第一筛 选图片集； 计算所述训练图片与 所述第一筛选图片集中每个图片的相似度， 得到对应的图片相似 度； 将所述第一筛选图片集中最大图片相似度对应的图片确认为所述训练图片对应的正 样本图片。 5.如权利要求4所述的基于机器视觉的工件定损智能分析方法， 其特征在于， 所述计算 所述训练图片与所述第一筛 选图片集中每 个图片的相似度， 得到对应的图片相似度， 包括： 将所述训练图片转 化为向量， 得到训练图片向量； 将所述第一筛 选图片集中每 个图片转 化为向量， 得到对应的工件向量； 计算所述训练图片向量与 所述第一筛选图片集中每个图片的工件向量的向量相似度， 得到对应的图片相似度。 6.如权利要求1所述的基于机器视觉的工件定损智能分析方法， 其特征在于， 所述利用 所述第一卷积神经网络模型对所述训练图片进行 特征提取， 得到训练图片特 征向量， 包括： 将所述训练图片输入所述第 一卷积神经网络模型， 获取所述第 一卷积神经网络模型中 最后一层全连接层每 个节点的输出值； 将所有所述输出值按照对应节点在所述全连接层中的先后 顺序进行连接， 得到所述训 练图片特 征向量。 7.如权利要求1所述的基于机器视觉的工件定损智能分析方法， 其特征在于， 所述构建 损失函数， 并利用所述第一相似度分数及所述第二相似度分数进 行计算， 得到目标损失值， 包括：权　利　要　求　书 2/4 页 3 CN 114742828 B 3