(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210800050.2 (22)申请日 2022.07.08 (65)同一申请的已公布的文献号 申请公布号 CN 114882446 A (43)申请公布日 2022.08.09 (73)专利权人 安徽启新明智科技有限公司 地址 230000 安徽省合肥市高新区望江西 路800号创新产业园二期F2栋9 楼南面 (72)发明人 吴勇敢　王红强　产思贤　陈旭　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 赵静 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/16(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 111612020 A,2020.09.01 CN 113435543 A,2021.09.24 CN 114295649 A,202 2.04.08 CN 112287908 A,2021.01.2 9 US 2009308918 A1,20 09.12.17 WO 2011011894 A1,201 1.02.03 CA 2986414 A1,2018.0 6.16 CN 111323835 A,2020.0 6.23 CN 112364903 A,2021.02.12 CN 112967289 A,2021.0 6.15 CN 112371540 A,2021.02.19 CN 114019572 A,202 2.02.08 CN 111290040 A,2020.0 6.16 原玥.安检图像的多 模态特征提取及多 核学 习的图像分类 研究. 《中国优秀博士学位 论文全 文数据库 社会科学Ⅰ辑》 .2022,(第04期), 审查员 胡乔波 (54)发明名称 图像关联 方法、 装置、 设备和介质 (57)摘要 本申请公开了图像关联方法、 装置、 设备和 介质， 该方法包括： 获取目标X光图像以及与目标 X光图像相关的多个自然光图像； 对目标X光图像 进行特征提取， 获得第一全局特征图； 对多个自 然光图像进行特征提取， 获得多个自然光对应的 多个第二全局特征图； 将第一全局特征图以及多 个第二全局特征图输入预测模型， 获得多个自然 光图像中与目标X光图像匹配的目标自然光图 像。 采用本申请的方法， 可以基于违禁包裹X光图 像 （即目标X光图像） 确定违禁包裹自然光图像 （目标自然 光图像） ， 使得安检人员可以通过人眼 确定违禁包裹与乘客的关联关系， 避免了安检人 员花费大量的时间和精力回看监控才能查找出违禁包裹自然光图像， 大 大提高了安检效率。 权利要求书3页 说明书14页 附图6页 CN 114882446 B 2022.10.04 CN 114882446 B 1.一种图像关联 方法， 其特 征在于， 所述方法包括： 获取目标X光图像以及与所述目标X光图像相关的多个自然光图像； 所述目标X光图像 包括目标监控 对象； 对所述目标X光图像进行特征提取， 获得第一全局特征图； 对所述多个自然光图像进行 特征提取， 获得 所述多个自然光图像对应的多个第二全局特 征图； 将所述第一全局特征图以及所述多个第 二全局特征图输入预测模型， 获得所述多个自 然光图像中与所述 目标X光图像匹配的目标自然光图像； 所述 目标自然光图像包含所述 目 标监控对象； 所述将所述第 一全局特征图以及所述第 二全局特征图输入预测模型， 获得所述多个自 然光图像中与所述目标 X光图像匹配的目标自然光图像， 包括： 将所述第一全局特征图以及所述多个第二全局特征图输入所述预测模型进行特征提 取， 获得所述第一全局特征图的多个局部特征图， 以及每一所述第二全局特征图的多个局 部特征图； 根据所述第一全局特征图、 所述第一全局特征图的多个局部特征图、 所述多个第二全 局特征图以及每一所述第二全局特征图的多个局部特征图， 确定第一稳定特征图以及第二 稳定特征图； 所述第一稳定特征图为所述 目标X光图像对应的特征图中与拍摄模态无关的 特征图， 所述第二稳定特征图为所述自然光图像对应的特征图中与拍摄模态无关的特征 图； 所述根据所述第一全局特征图、 所述第一全局特征图的多个局部特征图、 所述多个第 二全局特征图 以及每一所述第二全局特征图的多个局部特征图， 确定第一稳定特征图 以及 第二稳定特 征图， 包括： 对特征图FVIS和特征图FX进行乘运 算， 获得运 算结果P； 若P满足： P∈RHW×HW， 则确定所述特征图FX为所述第一稳定特征图， 所述特征图FVIS为所 述第二稳定特 征图； 其中， 所述特征图FX为所述第一全局特征图以及所述第一全局特征图的多个局 部特征 图中的任意一个， 所述特征图FVIS所述多个第二全局特征图以及每一所述第二全局特征图 的多个局部特征图中的任意一个， P∈RHW×HW为所述特征图FVIS和所述特征图FX乘运算的运算 结果P， 与所述特征图的二维矩阵HW与所述特征图的二维矩阵HW经过矩阵乘法运算的运算 结果相同， 则所述特征图FVIS与所述特征图FX对应， 所述R为特征图的二维矩阵的尺寸， H为 特征图的二维矩阵的高， W 为特征图的二维矩阵的宽； 根据所述第一稳定特征图以及所述第二稳定特征图， 获得多个重建特征图， 根据所述 多个重建特 征图确定所述目标 X光图像与所述自然光图像之间的相似度； 所述根据所述第一稳定特 征图以及所述第二稳定特 征图， 获得多个重建特 征图， 包括： 将所述特征图FVIS和所述特征图FX代入如下公式， 获得所述特征图FVIS对应的重建特征 图ḞVIS： 其中， MVIS(i)为特征图的响应强度， P(i,j)为特征图间的特征对应关系， FX(j)为特征图权　利　要　求　书 1/3 页 2 CN 114882446 B 2FX的列数， FVIS(i)为特征图FVIS的行数； 将所述特征图FVIS和所述特征图FX代入如下公式， 获得所述特征图FX对应的重建特征图 ḞX： 其中， MX(i)为特征图的响应强度,P(i,j)为特征图间的特征对应关系， FVIS(j)为特征图 FVIS的列数， FX(i)为特征图FX的行数； 将所述多个自然光图像中相似度最大的图像确定为所述目标自然光图像。 2.根据权利要求1所述的方法， 其特征在于， 所述获取与所述目标X光图像相关的多个 自然光图像， 包括： 获取与所述X光图像属于同一场景的多个候选自然光图像； 确定每一所述候选自然光图像的拍摄时间与所述目标X光图像的拍摄时间的时间间 隔； 将所述多个候选自然光图像中时间间隔小于阈值的候选自然光图像， 确定为与所述目 标X光图像相关的多个自然光图像。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述多个重建特征图确定所述目 标X光图像与所述自然光图像之间的相似度， 包括： 对所述目标X光图像对应的重建特征图进行向量化处理， 对获得的向量进行融合处理， 获得第一向量； 对所述自然光图像对应的重建特征图进行向量化处理， 对获得的向量进行融合处理， 获得第二向量； 根据所述第一向量和所述自然光图像对应的第二向量， 确定所述目标X光图像与所述 自然光图像之间的相似度。 4.一种图像关联装置， 其特 征在于， 所述装置包括： 获取单元， 用于获取目标X光图像以及与所述目标X光图像相关的多个自然光图像； 所 述目标X光图像包括目标监控 对象； 提取单元， 用于对所述目标X光图像进行特征提取， 获得第一全局特征图； 对所述多个 自然光图像进行 特征提取， 获得 所述多个自然光图像对应的多个第二全局特 征图； 预测单元， 用于将所述第一全局特征图以及所述多个第二全局特征图输入预测模型， 获得所述多个 自然光图像中与所述 目标X光图像匹配的目标自然光图像； 所述目标自然光 图像包含所述目标监控 对象； 所述预测单元， 用于将所述第 一全局特征图以及所述多个第 二全局特征图输入所述预 测模型进行特征提取， 获得所述第一全局特征图的多个局部特征图， 以及每一所述第二全 局特征图的多个局部特 征图； 根据所述第一全局特征图、 所述第一全局特征图的多个局部特征图、 所述多个第二全 局特征图以及每一所述第二全局特征图的多个局部特征图， 确定第一稳定特征图以及第二 稳定特征图； 所述第一稳定特征图为所述 目标X光图像对应的特征图中与拍摄模态无关的 特征图， 所述第二稳定特征图为所述自然光图像对应的特征图中与拍摄模态无关的特征 图；权　利　要　求　书 2/3 页 3 CN 114882446 B 3