(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210789107.3 (22)申请日 2022.07.06 (71)申请人 奥比中光科技 集团股份有限公司 地址 518000 广东省深圳市南 山区粤海街 道学府路63号高新区联合总部大厦 11-13楼 (72)发明人 王卫芳　朱毅博　胡正　王闯闯　 龚国基　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 王永文　庄敏芳 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/16(2022.01) G06V 10/74(2022.01)G06V 10/40(2022.01) G06V 10/30(2022.01) G06V 10/26(2022.01) (54)发明名称 基于RGBD图像的行人重识别方法、 装置及存 储介质 (57)摘要 本发明公开了基于RGBD图像的行人重识别 方法、 装置及存储介质， 方法包括： 获取包括相同 目标场景且对齐的RGB图像和深度图像， 并对深 度图像进行前景分割， 得到深度前景图像； 根据 RGB图像和深度图像的对齐关系， 利用深度前景 图像确定RGB前景图像， 并对RGB前景图像进行行 人目标检测确定RGB图像所对应的第一行人目标 图以及深度图像所对应的第二行人目标图； 根据 第一行人目标图与第二行人目标图， 确定单人 RGB图， 并对单人 RGB图进行人物特征提取及匹配 得到行人重识别结果。 本发明在RGB图像的基础 上， 增加深度图像来进行行人重识别， 解决了背 景干扰， 便于在跨视野的图像中识别出特定行 人， 提高了行 人重识别的准确率。 权利要求书2页 说明书7页 附图2页 CN 115205900 A 2022.10.18 CN 115205900 A 1.一种基于RGBD图像的行 人重识别方法， 其特 征在于， 所述方法包括： 获取包括相同目标场景且对齐的RGB图像和深度图像， 并对所述深度图像进行前景分 割得到所述深度图像所对应的深度前 景图像； 根据所述RGB图像和所述深度图像的对齐关系， 利用所述深度前景图像确定所述RGB图 像所对应的RGB前景图像， 并对所述RGB前景图像进行行人 目标检测确 定所述RGB图像所对 应的第一行 人目标图以及所述深度图像所对应的第二行 人目标图； 根据所述第一行人目标图与所述第二行人目标图确定所述RGB图像所对应的单人RGB 图， 并对所述单 人RGB图进行 人物特征提取及匹配得到行 人重识别结果。 2.根据权利要求1所述的基于RGBD图像的行人重识别方法， 其特征在于， 所述根据 所述 RGB图像和所述深度图像的对齐关系， 利用所述深度前景图像确定所述RGB图像所对应的 RGB前景图像， 包括： 对所述深度前 景图像进行去噪处 理， 得到去噪处 理后的深度前 景图像； 获取所述去噪处 理后的深度前 景图像所对应的像素信息； 根据所述RGB图像和所述深度图像的对齐关系， 将所述像素信息映射至所述RGB图像 中 得到所述RGB前 景图像。 3.根据权利要求1所述的基于RGBD图像的行人重识别方法， 其特征在于， 所述对所述 RGB前景图像进行行人目标检测确定所述RGB图像所对应的第一行人目标图以及所述深度 图像所对应的第二行 人目标图， 包括： 对所述RGB 前景图像进行行人目标检测， 确定所述RGB前景图像 中的行人以及所述行人 所对应的位置信息； 根据所述行人以及所述位置信息并基于所述RGB图像和所述深度图像的对齐关系， 分 别裁剪所述 RGB图像和所述深度图像中的行人区域得到所述第一行人目标和所述第二行人 目标图。 4.根据权利要求1所述的基于RGBD图像的行人重识别方法， 其特征在于， 所述根据 所述 第一行人目标图与所述第二行 人目标图， 确定所述RGB图像所对应的单 人RGB图， 包括： 对所述第二行 人目标图进行 行人分割， 得到所述第二行 人目标所对应的单 人深度图； 根据所述RGB图像和所述深度图像的对齐关系， 将所述单人深度图映射至所述第一行 人目标图得到所述单 人RGB图。 5.根据权利要求4所述的基于RGBD图像的行人重识别方法， 其特征在于， 所述对所述第 二行人目标图进行 行人分割， 得到所述第二行 人目标所对应的单 人深度图， 包括： 将所述第二行 人目标图的像素点分为若干像素组并随机初始化各像素组的中心点； 计算所述各像素点到各中心点的距离， 根据 所述各像素点与 所述各中心点的距离划分 所述各像素点的归属； 根据所述各像素点归属情况重新计算各像素组的中心点， 并迭代计算直至各像素组 的 中心的坐标不再变化或变化在误差范围之内， 以得到所述第二行人目标图所对应的单人深 度图。 6.根据权利要求1所述的基于RGBD图像的行人重识别方法， 其特征在于， 所述对所述单 人RGB图进行 人物特征提取及匹配得到行 人重识别结果， 包括： 采用预设的ReID模型对所述单人RGB图进行人物特征提取， 得到每帧所述单人RGB图所权　利　要　求　书 1/2 页 2 CN 115205900 A 2对应的特 征图； 将每帧所述特征图分别与 预设标准图进行匹配， 确定每帧所述特征图分别与 预设标准 图之间的相似度； 其中， 所述预设标准图为预存的目标 行人的人脸特 征图； 根据所述相似度， 确定所述RGBD图像 中的行人是否为目标行人以得到所述行人重识别 结果。 7.一种基于RGBD图像的行 人重识别装置， 其特 征在于， 所述装置包括： 深度前景图像确定模块， 用于获取包括相同目标场景且对齐的RGB图像和 深度图像， 并 对所述深度图像进行 前景分割， 得到所述深度图像所对应的深度前 景图像； 行人目标图确定模块， 用于根据 所述RGB图像和所述深度图像的对齐关系， 利用所述深 度前景图像确定所述RGB图像所对应的RGB前景图像， 并对所述RGB前景图像进行行人 目标 检测确定所述 RGB图像所对应的第一行人目标图 以及所述深度图像所对应的第二行人目标 图； 行人重识别模块， 用于根据所述第一行人目标图与所述第二行人目标图确定所述RGB 图像所对应的单人RGB图， 并对 所述单人RGB图进 行人物特征提取及匹配得到行人重识别结 果。 8.一种终端设备， 其特征在于， 所述终端设备包括存储器、 处理器及存储在所述存储器 中并可在所述处理器上运行的基于RGBD图像的行人重识别程序， 所述处理器执行所述基于 RGBD图像的行人重识别程序时， 实现如权利要求1 ‑6任一项所述的基于RGBD图像的行人重 识别方法的步骤。 9.根据权利要求8所述的终端设备， 其特征在于， 所述终端设备还包括图像采集装置， 用于分别采集深度图像和RGB图像并传输至所述处理器以实现如权利要求1 ‑6任一项所述 的基于RGBD图像的行 人重识别方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有基于 RGBD图像的行人重识别程序， 所述基于RGBD图像的行人重识别程序被处理器执行时， 实现 如权利要求1 ‑6任一项所述的基于RGBD图像的行 人重识别方法的步骤。权　利　要　求　书 2/2 页 3 CN 115205900 A 3