(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210645693.4 (22)申请日 2022.06.08 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 宦若虹　占孜伟　池凯凯　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 忻明年 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/75(2022.01) (54)发明名称 一种姿态引导注意力的抗遮挡行人重识别 方法 (57)摘要 本发明公开了一种姿态引导注意力的抗遮 挡行人重识别方法， 分别通过提取行人图像的关 节点热力图、 关节点置信度和全局特征图， 将全 局特征图与关节点热力图进行元素间相乘， 得到 关节点局部特征图， 然后将关节 点局部特征图和 全局特征图通过姿态引导空间注意力模块得到 空间注意力特征图； 再将关节 点局部特征图和空 间注意力特征图通过姿态引导通道注意力模块 得到通道注 意力特征图， 计算待检索行人图像与 图库图像 之间的相似度距离， 选择最相似的图库 图像作为最终识别结果。 本发明克服单纯使用全 局特征和局部特征的单一性问题， 以及特征之间 不匹配的问题， 提高遮挡行 人重识别的准确率。 权利要求书2页 说明书7页 附图3页 CN 115527233 A 2022.12.27 CN 115527233 A 1.一种姿态引导注意力的抗遮挡行人重识别方法， 其特征在于， 所述姿态引 导注意力 的抗遮挡行 人重识别方法， 包括： 获取行人图像， 分别通过姿态估计网络提取关节点热力图及关节点置信度， 通过全局 特征提取网络提取全局特 征图； 将全局特征图与关节点热力图进行元素间相乘， 得到关节点局部特征图， 然后将关节 点局部特 征图和全局特 征图通过姿态引导空间注意力模块得到空间注意力特 征图； 将关节点局部特征图和 空间注意力特征图通过姿态引导通道注意力模块得到通道注 意力特征图； 在关节点置信度大于等于预设的阈值时， 将关节点置信度作为关节点特征权重， 否则 将关节点特 征权重置为零； 根据待检索行人图像的全局特征图、 关节点局部特征图和通道注意力特征图计算待检 索行人图像与图库图像之间的相似度距离， 选择最相似的图库图像作为最终识别结果， 所 述相似度距离计算公式如下： 其中， dtotal表示待检索行人图像与图库图像之间的相似度距离， 分别表示待检 索行人图像和图库图像中第i个 关节点的关节 点特征权重， dglobal表示待检索行人图像和图 库图像之间全局特征的距离， dpga表示待检索行人图像和图库图像之间通道注意力特征的 距离， di表示待检索行 人图像和图库图像之间第i个关节点的距离， N表示关节点数量。 2.根据权利要求1所述的姿态引导注意力的抗遮挡行人重识别方法， 其特征在于， 所述 关节点置信度为对应关节点热力图中的最大值。 3.根据权利要求1所述的姿态引导注意力的抗遮挡行人重识别方法， 其特征在于， 所述 将关节点局部特征图和全局特征图通过姿态引导空间注意力模块得到空间注意力特征图， 包括： 将关节点局部特征图中每个通道中的像素点进行最大池化与ReLU激活函数操作， 生成 关节点空间注意力图； 将全局特征图进行卷积操作后， 在通道维度上进行全局平均池化操作， 生成全局 空间 注意力图， 将关节点空间注意力图与全局空间注意力图进行拼接， 得到空间姿态引导特征 图； 将拼接后的空间姿态引导特征图， 通过卷积操作和Sigmoid函数， 得到空间注意力掩 码； 将空间注意力掩码与全局特 征相乘得到空间注意力特 征图。 4.根据权利要求1所述的姿态引导注意力的抗遮挡行人重识别方法， 其特征在于， 所述 将关节点局部特征图和空间注意力特征图通过姿态引导通道注意力模块得到通道注意力 特征图， 包括： 将关节点局部特征图中每个空间上的像素点进行最大池化与ReLU激活函数操作， 生成 关节点通道注意力图；权　利　要　求　书 1/2 页 2 CN 115527233 A 2将空间注意力特征图进行卷积操作后， 在空间维度上进行全局平均池化操作， 生成全 局通道注意力图， 将关节点通道注意力图与全局 通道注意力图进行拼接， 得到通道姿态引 导特征图； 将拼接后的通道姿态引导特征图， 通过卷积操作和Sigmoid函数， 得到通道注意力掩 码； 将通道注意力掩码与全局特 征相乘得到通道 注意力特 征图。 5.根据权利要求1所述的姿态引导注意力的抗遮挡行人重识别方法， 其特征在于， 所述 待检索行人图像和图库图像之 间全局特征的距离、 待检索行人图像和图库图像之 间通道注 意力特征 的距离、 待检索行人图像和图库图像之间第i个关节点的距离均采用余弦距离进 行度量。 6.根据权利要求1所述的姿态引导注意力的抗遮挡行人重识别方法， 其特征在于， 所述 姿态估计网络采用高分辨 率网络HRNet‑W32， 所述全局特 征提取网络采用ResNet ‑50。权　利　要　求　书 2/2 页 3 CN 115527233 A 3