(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210536014.X (22)申请日 2022.05.17 (71)申请人 薇链信息技 术有限公司 地址 350000 福建省福州市仓山区盘屿路5 号奥体正 祥城(AⅠ小镇)10层10 01-1 (72)发明人 陈飞　尤福源　程航　王美清　 刘蓉　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 丘鸿超　蔡学俊 (51)Int.Cl. G06T 5/00(2006.01) G06T 5/50(2006.01) G06T 7/90(2017.01) G06V 10/74(2022.01)G06V 10/77(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 参考图像指导下融合自注意力机制的废钢 图像去尘方法及系统 (57)摘要 本发明提出一种参考图像指导下融合自注 意力机制的废钢图像去尘方法及系统， 首先使用 马氏距离和欧式距离在无尘参考图像及带尘图 像上构建相似块组标签； 随后定义距离度量和对 比损失函数构建全卷积相似块组搜索网络。 利用 带标签的相似块组训练神经网络， 获得与块匹配 相关的特征； 对带尘图像进行分块， 针对每个带 尘图像块， 在学习到的特征指导下寻找相似块。 带尘的相似块构成块组， 融合自注意力机制， 构 建块组协同去尘网络。 经过块组协同去尘得到干 净块组， 通过聚合图像块得到复原后清晰的无尘 图像。 权利要求书2页 说明书8页 附图6页 CN 114913090 A 2022.08.16 CN 114913090 A 1.一种参考图像指导下融合自注意力机制的废钢图像去尘方法， 其特征在于： 首先使 用马氏距离和欧式距离在无尘参考图像及带尘图像上构建相似块组标签； 之后定义距离度 量和对比损失函数构建全卷积相似块组搜索网络； 利用带标签的相似块组训练神经网络， 获得与块匹配相关的特征； 再对带尘图像进 行分块， 针对每个带尘图像块， 在学习到的特征 指导下寻找相似块； 带尘的相似块构成块组， 融合自注意力机制， 构建块组协同去尘网络； 经过块组协同去尘得到 干净块组， 最后通过聚合图像块得到复原后清晰的无尘图像。 2.根据权利要求1所述的参考图像指导下融合自注意力机制的废钢图像去尘方法， 其 特征在于： 具体包括以下步骤： 步骤S21： 对无尘图像{y(1),y(2),...,y(m)}进行分块 每张图像共有N个参考图像 块， 根据参考块构建灰度相似块组训练高斯混合模型， 假设高斯混合模型子空间K， 使用高 斯混合模型对每个无尘图像块进行子空间分类， 得出对应的协方差矩阵， 进而在无尘参考 图像块对应的带尘图像邻域w内分别使用马氏距离及欧式距离计算出相似块的正负样本标 签位置， 表示马氏距离下的正负样本标签， 表示欧式距 离下的正负 样本标签： 其中 表示第i张无尘图像上的第j个参考块向量， 表示对应带尘图像邻域内的 图像块向量， 表示无尘图像块 在高斯混合模型所对应子空间的协方差矩阵， Dm表示马 氏距离， De表示欧式距离； 步骤S22： 将带尘图像输入进全卷积相似块组搜索网络f， 获得输出 特征图 步骤S23： 根据每个带尘参考图像块和正负样本标签的位置 及 从特征图中取 出对应的通道向量， 并使用Adam优化器最小化损失函数： 其中 表示第i张带尘图像上的第j个图像块经过网络f的输出特征向量， 表示 在马氏距离下的正负样本向量， 表示 在马氏距离下的正负 样本向量,N代 表一张图像中参 考块的个数， β 与α 为两种距离度量下正负 样本的间隔距离； 步骤S24： 重复步骤S22 ‑S23， 直至全卷积神经网络训练完成， 获得参考无尘图像的相关 特征； 步骤S25： 将训练完成的全卷积神经网络f用于带尘图像数据集{x(1),x(2),...,x(m)}； 对 带尘图像x(i)上的每个参考块 都寻找出欧式距离相似块组 与马氏距离相似块组 步骤S26： 通过带尘相似块组 的位置在无尘图像上得到无尘相似块组权　利　要　求　书 1/2 页 2 CN 114913090 A 2步骤S27： 通过自注意力机制中的查询函数q计算出带尘相似块组中各个相似块的查询 矩阵Q， 通过关键函数k计算出关键矩阵K， 通过价值函数v计算出价值矩阵V， q、 k、 v三个函数 都对块组矩阵 进行降维； Q＝q(X) K＝k(X) V＝v(X) 其中X,Q,K,V均省略了图像索引i以及参 考块索引j和度量方式索引e、 m； 步骤S28： 通过带尘相似块组的查询矩阵Q与关键矩阵K计算出能够表达带尘相似块组 内部各个带尘图像块相似性的相似度矩阵S： S＝Q·KT 步骤S29： 将参考无尘图像块组特征b叠加至相似度矩阵S； 并通过融合函数w进行动态 学习， 使得新的相似度 矩阵S′能够同时反应带尘相似块组内部的相似性和带尘块组与参考 无尘图像块的相似性： S′＝w(S+b) 步骤S210： 通过softmax归一化相似性矩阵S ′并根据相似性权重与价值矩阵V进行动态 加权恢复无尘块组， 并使用升维函数u将块组向量映射回初始维度： 步骤S211： 使用均方误差与无尘相似块组标签优化自注意力机制去尘网络 步骤S212： 重复步骤S25 ‑S211， 直至自注意力机制去尘网络训练完成。 3.根据权利要求2所述的参考图像指导下融合自注意力机制的废钢图像去尘方法， 其 特征在于： 在步骤S21之前， 通过在同一位置的带尘和无尘场景下拍摄废钢图像， 得到清晰 无尘图像数据集{y(1),y(2),...,y(m)}与带尘图数据像集{x(1),x(2),...,x(m)}。 4.根据权利要求2所述的参考图像指导下融合自注意力机制的废钢图像去尘方法， 其 特征在于： 在步骤S212之后， 通过摄像头捕捉真实场景中的带尘 图像xr输入训练完成的去 尘网络获得 无尘图像yr。 5.一种参考图像指导下融合自注意力机制的废钢图像去尘系统， 其特征在于： 在服务 器中部署如权利要求1或2中所述的去尘网络， 通过摄像头捕捉真实场景中的带尘图像xr， 将带尘图像xr上传至去尘系统； 所述去尘系统将带 尘图像xr上传至服务器； 服务器端调用去 尘网络对 xr进行去尘， 得到无尘图像yr， 再将无尘图像yr传回， 去尘系统界面展示yr并保存。权　利　要　求　书 2/2 页 3 CN 114913090 A 3