(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210720928.1 (22)申请日 2022.06.24 (65)同一申请的已公布的文献号 申请公布号 CN 114820799 A (43)申请公布日 2022.07.29 (73)专利权人 南开大学 地址 300071 天津市南 开区卫津路94 号 (72)发明人 刘景泰　吴仕超　翟晓琳　胡郑希　 孙月　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 马小青 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/80(2017.01)G06V 40/10(2022.01) G06V 10/22(2022.01) (56)对比文件 CN 104949673 A,2015.09.3 0 CN 110619662 A,2019.12.27 US 202109 9796 A1,2021.04.01 Yue Sun et al. .Real-time and fast RGB-D based people detecti on and track ing for service robots. 《2016 12 th World Congress on Intelligent Co ntrol and Automati on (WCICA)》 .2016, 审查员 程呈 (54)发明名称 一种用于行人位置估计的数据自动标注方 法、 装置及系统 (57)摘要 本发明公开了一种用于行人位置估计的数 据自动标注方法、 装置及系统， 该方法包括： 获取 行人的非视觉信号 以及与所述非视觉信号处于 同一采样时间的视觉信号； 根据所述视觉信号得 到与所述非视觉信号对应的行人位置信息； 将所 述行人位置信息作为位置真值对所述非视觉信 号进行标注， 从而实现对非视觉信号的行人位置 的自动标注， 以构建包含大量样本的标注数据 集， 有利于实现基于非视觉信号对 行人位置进行 估计， 提高行人位置估计精度， 保护行人隐私安 全。 权利要求书2页 说明书9页 附图3页 CN 114820799 B 2022.09.16 CN 114820799 B 1.一种用于行 人位置估计的数据自动标注方法， 其特 征在于， 包括： 获取行人的非视 觉信号以及与所述非视 觉信号处于同一采样时间的视 觉信号； 根据所述视 觉信号得到与所述非视 觉信号对应的行 人位置信息； 将所述行 人位置信息作为 位置真值对所述非视 觉信号进行 标注； 其中： 所述获取 行人的非视 觉信号以及与所述非视 觉信号处于同一时刻的视 觉信号， 包括： 通过非视觉信号传感器采集行人的非视觉序列信号， 所述非视觉信号包括行人脚步声 音信号和地 面振动信号； 通过图像采集设备采集所述行 人的各个视 觉信号； 检测所述非视 觉序列信号中的峰值 点， 并根据各个峰值 点分割得到各个非视 觉信号； 基于所述非视觉信号的采样时间， 从各个所述视觉信号中确定出与 所述非视觉信号处 于同一采样时间的视 觉信号； 所述图像采集设备为单目相机； 所述根据所述视 觉信号得到与所述非视 觉信号对应的行 人位置信息， 包括： 对所述视 觉信号进行分析， 得 出所述行人在相机坐标系下的三维位置信息； 根据非视觉传感器坐标系与相机坐标系之间的变换关系， 对所述相机坐标系下的位置 信息进行变换 得到所述行 人相对于所述非视 觉信号传感器的行 人位置信息； 或 所述图像采集设备为双目相机， 所述视觉信号包括所述双目相机各自获取的图像信 息； 所述根据所述视 觉信号得到与所述非视 觉信号对应的行 人位置信息， 包括： 对所述双目相机各自获取的图像信 息进行检测， 得到与每个所述图像信 息分别对应的 各个骨骼关键点； 根据所述双目相机与 所述行人之间的三角位置关系， 得到各个所述骨骼关键点分别相 对于相机坐标系的三维位置； 根据非视觉传感器坐标系与相机坐标系之间的变换关系， 对各个所述骨骼关键点分别 相对于相机坐标系的三维位置进 行变换， 得到各个所述骨骼关键点分别相对于所述 非视觉 传感器坐标系的位置信息； 根据各个所述骨骼关键点分别相对于所述非视觉传感器坐标系的位置信 息， 计算出与 所述非视 觉信号对应的行 人位置信息 。 2.根据权利要求1所述的用于行人位置估计的数据自动标注方法， 其特征在于， 所述对 所述视觉信号进行分析， 得 出所述行人在相机坐标系下的三维位置信息， 包括： 根据所述视 觉信号中的彩色图像和深度图像， 识别所述行 人在图像中的站立 位置； 根据所述深度图像、 像素坐标系与相机坐标系之间的变换关系， 得到所述行人在所述 相机坐标系下的三维位置信息 。 3.根据权利要求1所述的用于行人位置估计的数据自动标注方法， 其特征在于， 所述非 视觉信号传感器包括麦克风阵列和振动检测传感器。 4.一种用于行 人位置估计的数据自动标注装置， 其特 征在于， 包括： 获取模块， 用于获取行人的非视觉信号以及与 所述非视觉信号处于同一采样时间的视 觉信号； 分析模块， 用于根据所述视 觉信号得到与所述非视 觉信号对应的行 人位置信息；权　利　要　求　书 1/2 页 2 CN 114820799 B 2标注模块， 用于将所述行 人位置信息作为 位置真值对所述非视 觉信号进行 标注； 其中： 所述获取模块包括： 第一采集单 元， 用于通过非视 觉信号传感器采集行 人的非视 觉序列信号； 第二采集单 元， 用于通过图像采集设备采集所述行 人的各个视 觉信号； 分割单元， 用于检测所述非视觉序列信号中的峰值点， 并根据各个峰值点分割得到各 个非视觉信号； 基于所述非视觉信号的采样时间， 从各个所述视觉信号中确定出与 所述非视觉信号处 于同一采样时间的视 觉信号； 所述图像采集设备为单目相机； 所述根据所述视 觉信号得到与所述非视 觉信号对应的行 人位置信息， 包括： 对所述视 觉信号进行分析， 得 出所述行人在相机坐标系下的三维位置信息； 根据非视觉传感器坐标系与相机坐标系之间的变换关系， 对所述相机坐标系下的位置 信息进行变换 得到所述行 人相对于所述非视 觉信号传感器的行 人位置信息； 或 所述图像采集设备为双目相机， 所述视觉信号包括所述双目相机各自获取的图像信 息； 所述根据所述视 觉信号得到与所述非视 觉信号对应的行 人位置信息， 包括： 对所述双目相机各自获取的图像信 息进行检测， 得到与每个所述图像信 息分别对应的 各个骨骼关键点； 根据所述双目相机与 所述行人之间的三角位置关系， 得到各个所述骨骼关键点分别相 对于相机坐标系的三维位置； 根据非视觉传感器坐标系与相机坐标系之间的变换关系， 对各个所述骨骼关键点分别 相对于相机坐标系的三维位置进 行变换， 得到各个所述骨骼关键点分别相对于所述 非视觉 传感器坐标系的位置信息； 根据各个所述骨骼关键点分别相对于所述非视觉传感器坐标系的位置信 息， 计算出与 所述非视 觉信号对应的行 人位置信息 。 5.一种用于行 人位置估计的数据标注自动系统， 其特 征在于， 包括： 存储器， 用于存 储计算机程序； 处理器， 用于执行所述计算机程序时实现如权利要求1至3任一项所述用于行人位置估 计的数据自动标注方法的步骤。 6.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求 1至3任一项 所述用于行人位置估计 的数据自动标注方法的步骤。权　利　要　求　书 2/2 页 3 CN 114820799 B 3