(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211169701.9 (22)申请日 2022.09.26 (65)同一申请的已公布的文献号 申请公布号 CN 115290697 A (43)申请公布日 2022.11.04 (73)专利权人 南通众盈材 料科技有限公司 地址 226000 江苏省南 通市如东县洋口港 经济开发区黄海路8号10 01 (72)发明人 梁杏　 (51)Int.Cl. G01N 25/72(2006.01) G01N 21/88(2006.01) G06V 10/26(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01)G06V 20/40(2022.01) 审查员 李进 (54)发明名称 一种聚氨酯生产异常识别方法 (57)摘要 本发明涉及一种聚氨酯生产 异常识别方法， 属于数据处理技术领域。 方法， 包括： 获取聚氨酯 生产过程中的热红外图像和聚氨酯生产过程中 的视频， 所述视频中包含 连续多帧的RGB图像； 根 据热红外图像上的温度值， 得到热红外图像上的 热红外图结构以及热红外图结构中的各节点； 根 据各RGB图像上各像素点的像素值， 得到非零散 气泡； 根据热红外图结构中的各节 点和非零散气 泡， 得到化学气泡和物理气泡。 本发明能识别产 生的气泡属于化学气泡还是物理气泡， 基于识别 的结果有利于后续对气泡的去除， 即不同类型的 气泡采取不同的处理方式， 使得气泡对成型后的 聚氨酯的质量影 响最小， 可以减少成本和提高聚 氨酯的成型质量。 权利要求书2页 说明书6页 附图1页 CN 115290697 B 2022.12.27 CN 115290697 B 1.一种聚氨酯生产异常识别方法， 其特 征在于， 该 方法包括如下步骤： 获取聚氨酯生产过程中的热红外图像和聚氨酯生产过程中的视频， 所述视频中包含连 续多帧的RGB图像； 根据热红外图像上的温度值， 得到热红外图像上的热红外图结构以及热红外图结构中 的各节点； 根据各RGB图像上 各像素点的像素值， 得到非零散气泡； 根据热红外图结构中的各节点和非零散气泡， 得到化学气泡和物理气泡； 所述得到热红外图像上的热红外图结构以及热红外图结构中的各节点的方法， 包括： 获取热红外图像对应的高温度值 集合s； 根据高温度值 集合， 得到各节点、 各节点的位置信息以及各节点的节点 值； 对于任一节点， 获取除该节点外的各节点中距离该节点最近的三个节点， 所述距离用 欧式距离进行衡量， 将该节点与除该节点外的各节点中距离该节点最近的三个节点进 行相 连， 形成图结构中的边； 根据图结构中的边， 构建得到热 红外图结构以及热 红外图结构对应 的节点和节点数量； 所述根据各RGB图像上 各像素点的像素值， 得到非零散气泡的方法， 包括： 首先通过语义分割网络识别得到每个RGB图像中的气泡， 然后通过相邻帧RGB图像中气 泡的重叠率计算得到连续存在性， 所述重叠率是指相邻帧RGB图像中任意两个气泡的交集 与并集的比值； 连续存在性的计算过程如下： 将聚氨酯生产过程中的视频中第一次出现气泡的RGB图像记为第一帧图像， 将第一帧 图像后面的相邻帧的RGB图像， 记为第二帧图像， 以此类推， 完成对第一 帧图像后面的各帧 图像的标记， 对第一帧图像上 的气泡按照 从左到右、 从上到下的顺序进行标号， 分别赋予1 到m的标号， 其中m是第一针图像上 的气泡总数， 计算第一帧图像中这些不同标号的气泡与 第二帧图像中气泡的重叠率， 同时在计算第二帧和第三帧图像中气泡的重叠率时， 若第二 帧图像中出现除了1到m之外的新的气泡， 按照从左到右、 从上到下的顺序， 计算第二帧图像 中每个气泡与第一帧图像中每个气泡的重叠率， 将第二帧图像中重叠率大于0.7的气泡认 为是第一 帧图像中标号为1到m的气泡， 将第二帧图像中重叠率小于0.7的气泡认为是新增 的气泡， 按照m+1、 m+2的顺序对新增的气泡进 行标号， 以此类推完成第三帧图像后面的新增 气泡的标号； 通过计算得到每个标号气泡的连续帧； 将连续帧数量与最大帧数量的比值大 于0.6的气泡认为是连续存在性较大的气泡， 即非零散气泡； 所述最大帧数量是指从第一帧 图像开始 一直到第a帧图像的帧数， 所述第a帧是指该帧图像中的气泡数量为最大气泡数量 的0.4时的帧图像； 所述最大气泡数量的计算方法为： 统计每帧图像中的气泡数量， 形成数 量序列， 选择 数量序列中的转 折点对应帧图像中的气泡数量作为 最大气泡数量； 所述根据热红外 图结构中的各节点和非零散气泡， 得到化学气泡和物理气泡的方法， 包括： 通过拉普拉斯图聚类方法对气泡进行聚类，  每次聚类可以得到聚类后的类别数量， 进 而得到类别数量序列， 每次聚类后， 计算类别数量与热 红外图结构中节点数量的差值， 得到 差值序列， 选择最小差值对应的聚类结果作为 参考聚类结果； 对参考聚类结果中的每个类别计算得到一个类别中心， 所述类别中心为每个节点坐标 的坐标中心点， 计算节点与类别中心点的KM匹配， 将节点和类别中心点的欧式距离的倒数权　利　要　求　书 1/2 页 2 CN 115290697 B 2作为边值， 计算得到KM匹配， 将KM匹配中的匹配情况作为气泡类别和节点的对应关系； 获得对应关系后， 通过节点值和对应气泡类别 中类别距离的相似性， 对物理气泡和化 学气泡进行区分， 区分过程如下： 首先用节点的节点值r和节点与节点对应气泡类别的类别 中心点的欧式距离t来表示 每个气泡， 即用 （r,t） 二元组表示每个气泡， 然后确 定气泡是否属 于物理气泡： 首先通过计 算不同气泡的 （r,t） 二元组之间的余弦相似度确定每个气泡与其它气泡的相似度， 将余弦 相似度大于0.9的不同气泡认为相似， 对于同一类别的气泡通过统计得到该类别气泡的连 续性直方图， 将频率最大 的连续性值作为该类别气泡的连续性， 将与该频率最大 的连续性 值的比值大于 0.8的气泡认为是化学气泡， 其它气泡的认为是物理气泡； 获取热红外图像对应的高温度值 集合s的方法， 包括： 获取热红外图像中的温度直方图； 对温度直方图进行otsu阈值分割得到阈值k1,将大于阈值k1的温度值记为高温度值， 用集合s表示， s={s1,s2， …， sn }， 其中， n表 示高温度值的数量，  s1为集合s中的第1个温度 值， s2为集合s中的第2个温度值， sn 为集合s中的最后1个温度值； 得到各节点、 各节点的位置信息以及各节点的节点 值的方法， 包括： 将大于k1的像素点的像素值置为1， 将小于等于k1的像素点的像素值置为0， 得到热红 外图像转 化为二值图像； 利用连通 域分析， 得到热红外图像上的各高温连通 域； 获得高温连通域中每个像素点的中心性和温度极值性； 根据高温连通域中每个像素点 的中心性和温度极值 性， 得到高温连通 域中的每 个像素点作为中心点的概 率； 将各高温连通域中每个像素点的中心性和对应温度极值性的乘积记为各高温连通域 中每个像素点的属于中心点的概率， 并将各高温连通域中每个像素点的属于中心点的概率 的最大值对应的像素点作为对应高温连通域的节 点， 最大值对应的像素点的位置记为节点 位置信息， 最大值对应的像素点的值记为节点值， 即得到了热 红外图像上的各节点、 各节 点 的位置信息以及各节点的节点 值； 获得高温连通 域中每个像素点的中心性和温度极值 性的方法， 包括： 计算得到各高温连通域的连通域中心点， 计算高温连通域中每个像素点与对应连通域 中心点的距离， 并将距离的倒数作为对应 像素点的中心性； 计算高温连通域中每个像素点的温度极值性， 将高温连通域中每个像素点的温度值与 该高温连通 域中最大温度值的比值作为对应 像素点的温度极值 性。权　利　要　求　书 2/2 页 3 CN 115290697 B 3