(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210553425.X (22)申请日 2022.05.20 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市包河区屯溪路 193号 (72)发明人 孙锐　张磊　余益衡　谢瑞瑞　 张旭东　 (74)专利代理 机构 安徽省合肥新 安专利代理有 限责任公司 34101 专利代理师 陆丽莉　何梅生 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/143(2022.01) G06V 10/74(2022.01) G06V 10/44(2022.01)G06V 10/46(2022.01) G06V 10/42(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度图匹配的可见光-红外行人重 识别方法 (57)摘要 本发明公开了一种基于深度图匹配的可见 光‑红外行人重识别方法， 包括以下步骤： 1、 设计 姿态图提取模块； 2、 构建可见光、 红外图结构数 据； 3、 构建协同图匹配模块； 4、 构建由姿态图提 取模块和协同图匹配模块组成的行人重识别模 型并训练； 步骤5、 查询匹配。 本发明能通过图数 据建模以及高效的跨模态协同图匹配， 自适应匹 配可见光与红外特征， 从而提高可见光 ‑红外行 人重识别的精确度。 权利要求书3页 说明书8页 附图1页 CN 114842508 A 2022.08.02 CN 114842508 A 1.一种基于深度图匹配的可 见光‑红外行人重识别方法， 其特 征在于， 包括以下步骤： 步骤1、 构建姿态图提取模块， 包括： 基于非局部注意力的卷积神经网络、 全局平均池化 层、 人体姿态估计网络； 步骤1.1、 获取一幅可见光图像xR和一幅红外图像xI， 并使用cvtColor变换将所述红外 图像xI的通道数转为3， 再利用基于非局部注意力的卷积神经网络分别提前所述可见光图 像xR和变换后的红外图像x ′I的全局特征， 相应得到可见光特征FR和红外特征FI， 将所述可 见光特征FR和红外特征FI分别经过全局平均池化层后得到可见光全局空间特征 和红外 全局空间特 征 并构成全局空间特 征对 步骤1.2、 将变换后的红外图像x ′R和所述可见光图像xI分别输入2D 高分辨率的人体姿 态估计网络中， 并相应输出可见光图像xR中的行人关键点热度图mR以及红外图像x'I中的行 人关键点热度图mI； 步骤1.3、 根据式(1)和式(2)分别构建可见光的局部视觉特征 和红外的局部视觉特 征 并构成局部 视觉特征对 式(1)和式(2)中， 表示矩阵Hadamard积； 步骤2、 构建可 见光、 红外图结构数据； 根据全局空间特征对 以及局部视觉特征对 按照人体骨架 结构进行构图， 从而 得到人体姿态图G＝(V,E,A)； 其中， 顶 点集V表示人体姿态图G中所有关 键点构成的集合， 边集E表示由人体骨架结构确定的各个关键点间的连接关系， 顶点属 性A ＝{AF,AP}表示关键点的全局空间特 征和局部视觉特征； 令可见光图像xR的可见光人体姿态图记为GR＝(VR,ER,AR)； 其中， VR表示可见光人体姿 态图GR中所有关键点构成的集合， ER表示可见光图像xR中人体骨架结构确定的各个关键点 间的连接关系， AR表示可见光人体姿态图GR中所有关键点的全局空间特 征和局部视觉特征； 令红外图像x ′I的红外人体姿态图记为GI＝(VI,EI,AI)； 其中， VI表示红外人体姿态图GI 中所有关键 点构成的集合， ER表示红外图像x ′I中人体骨架结构确定的各个关键 点间的连接 关系， AR表示红外人体姿态图GI中所有关键点的全局空间特 征和局部视觉特征； 步骤3、 构建协同图匹配模块； 步骤3.1、 建模亲和矩阵M： 步骤3.1.1、 利用式(3)计算亲和矩阵M的对角线元 素Mij,ij： 式(3)中， 表示可见光人体姿态图GR的第i个关键 点与红外人体姿态图GI的第j个关键 点之间的视觉相似度， 并由式(4)得到， 表示可见光人体姿态图GR的第i个关键点与红外 人体姿态图GI的第j个关键点之间的空间相似度， 并由式(5)得到， i∈(0,n1]， j∈(0,n2]， n1、 n2分别表示可 见光关键点VR和红外关键点VI的关键点总数；权　利　要　求　书 1/3 页 2 CN 114842508 A 2式(4)和式(5)中， exp表示指数化， 表示可见光人体姿态图GR中第i个关键点的局部 视觉特征， 表示红外人体姿态图GI中第j个关键点的局 部视觉特征， 表示可见光人体 姿态图GR中第i个关键点的全局空间特征， 表示红外人体姿态图GI中第j个关键点的全局 空间特征； 步骤3.1.2、 利用式(4)计算亲和矩阵M的非对角线元 素Mi1j1,i2j2： 式(4)中， 表示一对可见光关键点 和一对红外关键点 之间的联合空 间置信度， 并由式(7)得到； 表示一对可见光关键点 和一对红外关键点 之间的视 觉相似度， 并由式(8)得到， 式(7)和式(8)中， exp表示指数化， || ·||2表示矩阵的2 ‑范数； 分别表示可见 光人体姿态图GR中第i1、 i2个关键点 的局部视觉特征， 分别表示红外人体姿 态图GI中第j1、 j2个关键点 的局部视觉特征； 分别表示可见光人体姿态图GR 中第i1、 i2个关键点 的全局空间特征， 分别表示红外人体姿态图GI中第j1、 j2 个关键点 的全局空间特 征； 步骤3.2、 定义图匹配： 定义并初始化匹配矩阵U＝0， 其中n1、 n2分别表示可见光关键点VR和红外 关键点VI的关键点数量； 利用式(9)构建跨模态图匹配模块： 式(9)中， Uij表示可见光图像xR的第i个节点与红外图像x ′I的第j个节点的匹配情况， 若 Uij＝1， 则表示可见光图像xR的第i个节点与红外图像x ′I的第j个节点匹配成功； 若Uij＝0， 则表示可 见光图像xR的第i个节点与红外图像x ′I的第j个节点匹配失败；权　利　要　求　书 2/3 页 3 CN 114842508 A 3