(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210942178.2 (22)申请日 2022.08.08 (71)申请人 天津师范大学 地址 300387 天津市西青区 宾水西道393号 申请人 天津海豚智行 科技有限公司 　 天津圣纳科技有限公司 (72)发明人 张重　董清　刘爽　夏鹏　魏所库　 马瑞　 (74)专利代理 机构 北京中政联科专利代理事务 所(普通合伙) 11489 专利代理师 陈超 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/10(2022.01) G06V 10/82(2022.01)G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01) (54)发明名称 一种面向自动驾驶的跨模态行 人检索方法 (57)摘要 本发明实施例公开了一种面向自动驾驶的 跨模态行人检索方法， 该方法包括： 提取可见光 模态训练行人图像和红外模态训练行人图像的 局部特征； 根据局部特征之间的差异， 获取每个 区域对应的局部成对图注意力网络； 根据相同身 份相同区域的局部特征， 计算异构中心， 根据局 部特征及对应的异构中心构建得到总对比损失 函数； 构建总损失函数， 利用总损失函数对跨模 态行人检索模 型参数进行更新， 得到最优跨模态 行人检索模 型； 利用最优跨模态行人检索模型进 行跨模态行人检索。 本发明利用卷积神经网络和 图注意力机制， 学习不同模态训练行人特征之间 的关系， 最终缓解了可见光行人图像和红外行人 图像之间的差异， 进一步提高了跨模态行人检索 的性能。 权利要求书3页 说明书10页 附图1页 CN 115359554 A 2022.11.18 CN 115359554 A 1.一种面向 自动驾驶的跨模态行 人检索方法， 其特 征在于， 所述方法包括以下步骤： 步骤S1， 利用预训练深度学习模型构建局部特征提取模块， 将可见光模态训练行人图 像和红外模态训练行人图像输入所述局部特征提取模块， 每张训练行人图像得到P个局部 特征； 步骤S2， 根据 可见光模态训练行人图像和红外模态训练行人图像的局部特征之间的差 异， 获取与每 个区域对应的局部成对图注意力网络； 步骤S3， 根据相同身份相同区域的可见光模态训练行人图像和红外模态训练行人图像 的局部特征， 计算得到另一模态训练行人图像相应身份和区域的异构 中心， 根据局部特征 及其对应的异构中心构建得到总对比损失函数； 步骤S4， 构建总损失函数， 并利用所述总损失函数， 对跨模态行人检索模型参数进行更 新， 得到最优跨模态行人检索模型， 其中， 所述跨模态行人检索模型包括局部特征提取模 块、 局部成对图注意力网络以及分类全连接层； 步骤S5， 在测试阶段， 利用所述最优跨模态行人检索模型提取得到待查询模态行人图 像多个区域的局部特征， 将所述多个区域的局部特征串联起来， 作为所述待查询模态行人 图像的查询特征， 基于所述查询特征在跨模态行人库图像中进行检索， 得到跨模态行人检 索结果。 2.根据权利要求1所述的方法， 其特 征在于， 所述 步骤S1包括以下步骤： 步骤S11， 分别构建两个预训练深度学习模型， 并对其进行参数初始化， 得到所述局部 特征提取模块； 步骤S12， 对训练集中的可见光模态训练行人图像以及红外模态训练行人图像进行预 处理； 步骤S13， 将预处理后得到的可见光模态训练行人图像和红外模态训练行人图像分别 输入所述局部特征提取模块中， 得到与所述可见光模态训练行人图像和红外模态训练行人 图像分别对应的特 征图； 步骤S14， 基于得到的特征图执行平均池化， 分别得到所述可见光模态训练行人图像和 红外模态训练行 人图像的P个局部特 征。 3.根据权利要求1所述的方法， 其特 征在于， 所述 步骤S2包括以下步骤： 步骤S21， 将第i张可见光模态训练行人图像和第j张红外模态训练行人图像第p个区域 的局部特 征做差， 得到不同模态同一区域的局部特 征差异 并将所述局部特 征差异作为 第p个区域的局部成对图注意力网络中的第j个节点， 其中， 局部成对图注意力网络的数量 为P； 步骤S22， 计算每个局部成对图注意力网络中各个节点之间的距离， 构建基于距离的可 变系数， 其中， 节点间距离越小， 相应的可变系数就越大， 从而增强了节点间的相关性； 步骤S23， 将所述每个局部成对图注意力网络中的节点成对的串联在一起， 利用可学习 参数向量， 结合所述可变系 数， 计算得到每个局部成对图注意力网络中节点之间的语义图 注意力系数； 步骤S24， 利用每个局部成对图注意力网络中节点之间的语义图注意力系数对相应的 节点进行 更新， 以学习节点间的相关性以及不同模态之间的关系；权　利　要　求　书 1/3 页 2 CN 115359554 A 2步骤S25， 利用可 学习参数矩阵和非线性 函数来对节点进行最终的更新。 4.根据权利要求3所述的方法， 其特征在于， 基于第p个区域的局部成对图注意力网络 中节点间距离构建的可变系数表示 为： 其中， β 是可调参数， ||  ||2表示计算欧式距离， 和 分别表示第p个 区域的局部 成对图注意力网络中的第n个节点和第m个节点。 5.根据权利要求3所述的方法， 其特征在于， 第p个区域的局部成对图注意力网络中的 第n个节点与第m个节点之间的语义图注意力系数表示 为： 其中， 表示第p个区域的局部成对图注意力网络中的第u个节点， l(  )表示 LeakyReLU操作， 表示将节点特征进行串联， q∈R2D×1是可学习参数向量， D表示局部成对 图注意力网络中节点的维度， U是第p个区域的局部成对图注意力网络的节点总数。 6.根据权利要求3所述的方法， 其特征在于， 利用语义图注意力系数更新后的第p个区 域局部成对图注意力网络中的第n个节点表示 为： 7.根据权利要求3所述的方法， 其特征在于， 利用可学习参数矩阵和非线性函数来对节 点进行最终的更新后得到的节点表示 为： 其中， wT∈R2D×2是可学习矩阵， 表示非线性操作ELU函数。 8.根据权利要求1所述的方法， 其特 征在于， 所述 步骤S3包括以下步骤： 步骤S31， 分别计算出相同身份的可见光模态训练行人图像和红外模态训练行人图像 在第p个区域的所有局部特征 的均值特征， 作为另一模态训练行人图像相应身份和区域的 异构中心； 步骤S32， 基于每个区域内所有局部特征与相应异构中心之间的相似度， 利用对比学习 的方式构建总对比损失函数。 9.根据权利要求8所述的方法， 其特 征在于， 所述总对比损失函数表示 为： 其中： 权　利　要　求　书 2/3 页 3 CN 115359554 A 3