(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210630334.1 (22)申请日 2022.06.06 (71)申请人 清华大学 地址 100084 北京市海淀区10 0084信箱82 分箱清华大学专利办公室 (72)发明人 胡坚明　伏天韵　裴欣　 (74)专利代理 机构 北京纪凯知识产权代理有限 公司 11245 专利代理师 刘美丽 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/30(2022.01) G06V 10/46(2022.01) G06V 10/74(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 提取行人身体特征的遮挡行人重识别方法、 系统及设备 (57)摘要 本发明涉及一种提取行人身体特征的遮挡 行人重识别方法、 系统及设备， 方法包括： 将行人 图像的全局特征图G通过预先训练好的身体特征 过滤器处理， 获得身体特征过滤图； 将身体特征 过滤图和全局特征图G逐元素相乘， 得到身体特 征增强的全局特征图Gb； 将身体特征增强的全局 特征图Gb通过身体特征细化器处理， 获得空间注 意力分数分布图As； 将空间注意力 分数分布图As 和身体特征增强的全局特征图Gb相乘得到特征 更为精细的行人身体全局特征。 本发 明提出身体 特征过滤器(Body  Feature Filter， BFF)来帮助 模型从行人图像中过滤掉噪声信息， 并专注于行 人图像的身体特征， 不仅拥有简洁明了的网络结 构， 又可直接有效地提取只属于行人的精细的身 体特征。 权利要求书2页 说明书10页 附图3页 CN 114973327 A 2022.08.30 CN 114973327 A 1.一种提取 行人身体特 征的遮挡行 人重识别方法， 其特 征在于包括： 将行人图像的全局特征图G通过预先训练好的身体特征过滤器处理， 获得身体特征过 滤图； 将身体特 征过滤图和全局特 征图G逐元素相乘， 得到身体特 征增强的全局特 征图Gb； 将身体特征增强的全局特征图Gb通过身体特征细化器处理， 获得空间注意力分数分布 图As； 将空间注意力分数分布图As和身体特征增强的全局特征图Gb相乘得到特征更为精细的 行人身体全局特 征。 2.根据权利要求1所述的提取行人身体特征的遮挡行人重识别方法， 其特征在于， 将行 人图像的全局特征图G通过预先训练好的身体特征过滤器处理， 获得身体特征过滤图， 包 括： 以全局特 征图G作为身体特 征过滤器的输入生成身体部位掩码； 将所有身体部位掩码相加得到身体特 征过滤图。 3.根据权利要求1所述的提取行人身体特征的遮挡行人重识别方法， 其特征在于， 身体 特征过滤器是通过采用身体部位标签基于微型网络进 行训练得到， 微型网络仅包含三个卷 积核为3×3的卷积层和一个Sigmo id激活层， 每 个卷积层后都设置有一个Batc hNorm层。 4.根据权利要求3所述的提取行人身体特征的遮挡行人重识别方法， 其特征在于， 所述 身份部位标签通过设置身体部位标签生成器生成， 包括： 利用来自姿态估计器的关键点分数分布图， 计算每个关键点的局部特征向量， 关键点 为行人的关节点； 确定全局特征各个位置与每个关键点的局部特征向量的相似度， 计算相似度分数分布 图； 将与同一身体部位相关的相似度分数分布图相加以生成身体部位标签。 5.根据权利要求4所述的提取行人身体特征的遮挡行人重识别方法， 其特征在于， 计算 每个关键点的局部特 征向量： Li＝sum1(G ⊙Ki) 其中， Li是第i个关键点所对应的第i个局部特征 向量，⊙表示哈德曼乘积， sum1( ·)表 示加和张量的第3维和第4维， Ki为关键点分数分布图。 6.根据权利要求5所述的提取行人身体特征的遮挡行人重识别方法， 其特征在于， 计算 第i个相似度分数分布图中第m行第n列的值： scorem， n＝similarity(Gm， n， Li)， 其中， Si表示第i个相 似度分数分布图； similarity( ·)表示余弦相 似度， λs为阈值， 全 局特征图G的形状为c ×h×w， 其中， c既是全局特征图G的通道数， 也是每个局部特征向量的 维数， h、 w分别为全局特 征的高度和宽度。 7.根据权利要求6所述的提取行人身体特征的遮挡行人重识别方法， 其特征在于， 将与 同一身体部位相关的相似度分数分布图相加以生成身体部位标签的计算过程 为：权　利　要　求　书 1/2 页 2 CN 114973327 A 2其中， kci表示第i个关键点置信度得分， λkc是确定关键点是否被遮挡的阈值。 8.根据权利要求1～7任一项所述的提取行人身体特征的遮挡行人重识别方法， 其特征 在于， 身体特征细化器采用RGA ‑S进行实现， RGA ‑S利用当前空间特征节点与所有空间特征 节点的成对关系， 并将它们以一定的固定顺序堆叠以紧凑地表示当前 空间特征节点的全局 结构信息 。 9.一种提取 行人身体特 征的遮挡行 人重识别系统， 其特 征在于， 该系统包括： 身体特征过滤单元， 被配置为将行人图像的全局特征图G通过预先训练好的身体特征 过滤器处理， 获得身体特 征过滤图； 全局特征图获取单元， 被配置为将身体特征过滤图和全局特征图G逐元素相乘， 得到身 体特征增强的全局特 征图Gb； 身体细化单元， 被配置为将 身体特征增强的全局特征图Gb通过身体 特征细化器处理， 获 得空间注意力分数分布图As； 精细特征输出单元， 被配置为将空间注意力分数分布图As和身体特征增强的全局特征 图Gb相乘得到特 征更为精细的行 人身体全局特 征。 10.一种电子设备， 其特征在于， 包括计算机程序指令， 其中， 所述程序指令被处理器执 行时用于实现权利要求1～8任一项所述的提取 行人身体特 征的遮挡行 人重识别方法。权　利　要　求　书 2/2 页 3 CN 114973327 A 3