(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211419681.6 (22)申请日 2022.11.14 (71)申请人 科大讯飞股份有限公司 地址 230088 安徽省合肥市高新区望江西 路666号 (72)发明人 龙思源　殷保才　胡金水　殷兵　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 王雨 (51)Int.Cl. G06T 7/73(2017.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 对象关键点定位方法、 清洁机器人控制方法 及相关设备 (57)摘要 本申请公开了一种对象关键点定位方法、 清 洁机器人控制方法及相关设备， 本申请获取到对 目标对象拍摄的平面图像及3D点云图像后， 将3D 点云图像中的点映射到平面图像上， 并获取映射 点对应的像素值， 利用所述点在3D点云图像中的 点云坐标及对应的映射点的平 面像素值， 构建点 云像素图， 利用预训练的关键点定位模型处理点 云像素图， 得到点云像素图中属于目标对象关键 点的点云坐标。 本申请综合利用了3D点 云坐标的 深度信息和平 面像素值的二维平 面信息， 借助神 经网络的学习能力和鲁棒性， 来弥补单纯3D点云 坐标信息容易出现偏差的问题， 从而提升了对象 关键点的定位 准确度。 权利要求书2页 说明书10页 附图4页 CN 115471561 A 2022.12.13 CN 115471561 A 1.一种对象关键点定位方法， 其特 征在于， 包括： 获取对目标对象拍摄的平面图像， 及采集的所述目标对象的3D点云图像； 将所述3D点云图像中的点映射到所述平面图像上， 得到所述平面图像上的映射点， 并 获取映射 点对应的平面像素值； 利用所述点在3D点云图像中的点云坐标， 及对应的映射点的平面像素值， 构建点云像 素图； 利用预训练的关键点定位模型处理所述点云像素图， 得到模型输出的所述点云像素图 中属于所述 目标对象关键点的点云坐标， 其中， 所述关键点定位模型以标注有各点是否属 于对象关键点标签的训练点云像素图作为训练数据训练得到 。 2.根据权利要求1所述的方法， 其特征在于， 所述平面图像采用相机拍摄得到， 所述3D 点云图像采用3D点云采集设备采集得到； 将所述3D点云图像中的点映射到所述平面图像上， 得到所述平面图像上的映射点的过 程， 包括： 根据标定获得的相机内参矩阵、 相机与3D点云采集设备间的旋转矩阵和平移向量， 将 所述3D点云图像中的点映射到平面图像上， 得到平面图像上的映射 点。 3.根据权利要求2所述的方法， 其特征在于， 所述平面图像为RGB图像， 所述利用所述点 在3D点云图像中的点云坐标， 及对应的映射 点的平面像素值， 构建点云像素图， 包括： 将所述点在3D点云图像中的点云坐标 （x,y,z） ， 与对应的映射点的平面像素值 （r,g,b） 进行组合， 得到所述 点对应的6维点云像素 数据 （x,y,z,r,g,b） ； 利用所述3D点云图像中各个所述点的6维点云像素数据 （x,y,z,r,g,b） ， 构建点云像素 图。 4.根据权利要求3所述的方法， 其特征在于， 利用预训练 的关键点定位模型处理所述点 云像素图的过程， 包括： 将所述点云像素图表示 为w*h*6维度的张量形式， 输入至预训练的关键点定位模型； 其中， w表示所述3D点云图像的画幅宽度， h表示所述3D点云图像的画幅高度， w*h表示 3D点云图像中包 含的点的数量。 5.根据权利 要求1所述的方法， 其特征在于， 所述关键点定位模型采用pointNet网络模 型结构， 或po intNet++网络模型 结构。 6.根据权利要求1 ‑5任一项所述的方法， 其特征在于， 标注有各点是否属于对象关键点 标签的训练点云像素图的获取 过程， 包括： 获取对同一对象拍摄的训练平面图像和采集的训练3D点云图像； 在训练3D点云图像上进行对象关键点标签的标注， 所述对象关键点标签包括预先设定 的若干个具有物理意 义的实际点； 将训练3D点云图像中的点映射到所述训练平面图像上， 得到训练平面图像上的映射 点， 并获取映射 点对应的平面像素值； 利用所述点在训练3D点云图像中的点云坐标， 及对应的映射点的平面像素值， 构建训 练点云像素图。 7.一种对象关键点定位装置， 其特 征在于， 包括： 数据获取单元， 用于获取对目标对象拍摄的平面图像， 及采集的所述目标对象的3D点权　利　要　求　书 1/2 页 2 CN 115471561 A 2云图像； 映射单元， 用于将所述3D点云图像中的点映射到所述平面图像上， 得到所述平面图像 上的映射 点， 并获取映射 点对应的平面像素值； 点云像素图构建单元， 用于利用所述点在3D点云图像中的点云坐标， 及对应的映射点 的平面像素值， 构建点云像素图； 关键点定位单元， 用于利用预训练的关键点定位模型处理所述点云像素图， 得到模型 输出的所述点云像素图中属于所述 目标对象关键点的点云坐标， 其中， 所述关键点定位模 型以标注有各点是否属于对象关键点标签的训练点云像素图作为训练数据训练得到 。 8.根据权利要求7所述的装置， 其特征在于， 所述平面图像采用相机拍摄得到， 所述3D 点云图像采用3D点云采集设备采集得到； 所述映射单元将所述3D点云图像 中的点映射到所述平面图像上， 得到所述平面图像上 的映射点的过程， 包括： 根据标定获得的相机内参矩阵、 相机与3D点云采集设备间的旋转矩阵和平移向量， 将 所述3D点云图像中的点映射到平面图像上， 得到平面图像上的映射 点。 9.一种清洁机器人控制方法， 其特征在于， 所述清洁机器人上设置有相机和雷达， 控制 方法包括： 获取所述相机对目标对象拍摄的平面图像， 以及获取所述雷达采集的所述目标对象的 3D点云图像； 采用权利要求1 ‑6任一项的对象关键点定位方法， 处理所述平面 图像及所述3D点云图 像， 以得到所述目标对象的关键点的点云坐标； 所述关键点至少包括手部和/或头部的关键 点； 根据所述目标对象的关键点的点云坐标， 确定所述目标对象的手势和/或姿势； 按照所述目标对象的手势和/或姿势， 控制所述清洁机器人的行进或工作方式。 10.一种对象关键点定位设备， 其特 征在于， 包括： 存 储器和处 理器； 所述存储器， 用于存 储程序； 所述处理器， 用于执行所述程序， 实现如权利要求1~6中任一项所述的对象关键点定位 方法的各个步骤。 11.一种存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处理器执 行时， 实现如权利要求1~6中任一项所述的对象关键点定位方法的各个步骤。权　利　要　求　书 2/2 页 3 CN 115471561 A 3