(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210605658.X (22)申请日 2022.05.31 (65)同一申请的已公布的文献号 申请公布号 CN 114683290 A (43)申请公布日 2022.07.01 (73)专利权人 深圳鹏行智能研究有限公司 地址 518000 广东省深圳市南 山区粤海街 道高新区社区科技南路18号深圳湾 科 技生态园12栋B5101 (72)发明人 肖志光　邱志昌　方根在　古明辉　 黄游平　刘振武　赖思博　林位麟　 陈盛军　张洋　 (74)专利代理 机构 深圳腾文知识产权代理有限 公司 44680 专利代理师 杨彩兰(51)Int.Cl. B25J 9/16(2006.01) G06V 20/10(2022.01) G06V 10/74(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01) G06N 20/00(2019.01) G06T 7/73(2017.01) (56)对比文件 CN 112597857 A,2021.04.02 CN 112529903 A,2021.0 3.19 US 20213 31754 A1,2021.10.28 审查员 杨喜飞 (54)发明名称 一种足式机器人位姿优化的方法， 装置以及 存储介质 (57)摘要 本申请公开了一种足式机器人位姿优化的 方法， 装置以及存储介质， 用于对机器人进行控 制， 提升机器人对不同楼梯的适应性和扩展性。 本申请方法包括： 获取当前环 境的点云信息以及 图像信息； 基于所述当前环境的点云信息， 提取 出第一特征点集合； 识别所述图像信息中的需求 特征图像， 基于所述需求特征图像对第一特征点 集合进行语义标记， 筛选出标记有语义信息的需 求特征点集合； 获取地图数据中的点云信息， 并 从所述地图数据的点云信息中确定第二特征点 集合； 将所述标记有语义信息的需求特征点集合 与所述第二特征点集合进行匹配， 获取机器人实 际的位姿。 权利要求书2页 说明书12页 附图6页 CN 114683290 B 2022.09.16 CN 114683290 B 1.一种足式机器人位姿优化的方法， 其特 征在于， 所述方法包括： 获取当前环境的点云信息以及图像信息； 基于所述当前环境的图像信息， 确定所述机器人 所处场景； 基于所述当前环境的点云信息， 提取出第一特征点集合， 所述第一特征点集合包括当 前环境的线特征点集合和面特征点集合， 若确定所述场景为机器人爬楼梯场景， 则基于所 述爬楼梯场景选择对应的需求特征图像， 基于深度学习网络模型识别所述图像信息中的需 求特征图像， 所述需求特征图像为所述图像信息中的楼梯边缘线图像和楼梯面图像； 基于 所述楼梯边缘线图像和楼梯面图像， 标记所述当前环境的线 特征点集合和面特征点集合的 语义信息， 所述语义信息包括楼梯边缘线信息和楼梯面信息， 筛选出标记有语义信息的需 求特征点集合； 获取地图数据中的点云信息， 并从所述 地图数据的点云信息中确定第二特 征点集合； 将所述标记有语义信 息的需求特征点集合与所述第 二特征点集合进行匹配， 获取机器 人实际的位姿； 将机器人的当前位姿更新 为实际的位姿。 2.根据权利要求1中所述的足式机器人位姿优化的方法， 其特征在于， 所述第 二特征点 集合为地图数据中的线特征点集合和面特征点集合， 所述将所述标记有语义信息的需求特 征点集合与所述第二特 征点集合进行匹配， 包括： 将所述需求特征点集合的线特征点与第 二特征点集合的线特征点进行匹配， 所述需求 特征点集合的线特 征点标记有楼梯边 缘线信息； 将所述需求特征点集合的面特征点与第 二特征点集合的面特征点进行匹配， 所述需求 特征点集合的面特 征点标记有楼梯面信息 。 3.根据权利要求1中所述的足式机器人位姿优化的方法， 其特征在于， 所述获取当前环 境的点云信息以及图像信息包括： 若所述当前环境的图像信息为同一平面， 则控制机器人转换视角或更换摄像头， 重新 获取当前环境的点云信息以及图像信息 。 4.根据权利要求1中所述的足式机器人位姿优化的方法， 其特征在于， 所述将所述标记 有语义信息的需求特征点集合与所述第二特征点集合进行匹配， 获取机器人实际的位姿包 括： 根据正态分布变换算法将所述需求特 征点集合与第二特 征点集合进行匹配； 和/或 根据最近邻迭代算法将所述需求特征点集合与 所述第二特征点集合进行匹配， 获取机 器人实际的位姿。 5.根据权利要求1中所述的足式机器人位姿优化的方法， 其特征在于， 在所述根据匹配 结果对所述机器人当前的当前位姿 进行优化之后， 还 包括： 根据优化后的点云信息更新所述 地图数据。 6.一种足式机器人位姿优化的装置， 其特 征在于， 所述装置包括： 获取单元， 用于获取当前环境的点云信息以及图像信息； 场景确定单 元， 用于基于所述当前环境的图像信息， 确定所述机器人 所处场景； 提取单元， 用于基于所述当前环境的点云信息， 提取 出第一特 征点集合；权　利　要　求　书 1/2 页 2 CN 114683290 B 2处理单元， 若所述场景确定单 元确定为机器人爬楼梯场景， 所述处 理单元用于： 基于深度学习网络模型识别所述图像信息中的需求特 征图像， 所述需求特征图像为所述图像信 息中的楼梯边缘线图像和楼梯面图像； 基于所述楼梯 边缘线图像和楼梯面图像， 标记所述当前环境的线特征点集合和面特征点集合的语义信 息， 所述语义信息包括楼梯边缘线信息和楼梯面信息， 筛选出标记有语义信息的需求特征 点集合； 确定单元， 用于获取地图数据中的点云信息， 并从所述地图数据的点云信息中确定第 二特征点集合； 匹配单元， 用于将所述标记有语义信 息的需求特征点集合与 所述第二特征点集合进行 匹配， 获取机器人实际的位姿； 更新单元， 用于将机器人的当前位姿更新 为实际的位姿。 7.根据权利要求6 中所述的足式机器人位姿优化的装置， 其特征在于， 所述第 二特征点 集合为地图数据中的线特 征点集合和面特 征点集合， 所述匹配单 元具体用于： 将所述需求特征点集合的线特征点与第 二特征点集合的线特征点进行匹配， 所述需求 特征点集合的线特 征点标记有楼梯边 缘线信息； 将所述需求特征点集合的面特征点与第 二特征点集合的面特征点进行匹配， 所述需求 特征点集合的面特 征点标记有楼梯面信息 。 8.根据权利要求6 中所述的足式机器人位姿优化的装置， 其特征在于， 所述获取单元具 体用： 若所述当前环境的图像信息为同一平面， 则控制机器人转换视角或更换摄像头， 重新 获取当前环境的点云信息以及图像信息 。 9.根据权利要求6中所述的足式机器人位姿优化的装置， 其特 征在于， 所述匹配单 元具体用于： 根据正态分布变换算法将所述需求特 征点集合与第二特 征点集合进行匹配； 和/或 根据最近邻迭代算法将所述需求特征点集合与 所述第二特征点集合进行匹配， 获取机 器人实际的位姿。 10.根据权利要求6中所述的足式机器人位姿优化的装置， 其特征在于， 还包括地图更 新单元， 用于： 根据优化后的点云信息更新所述 地图数据。 11.一种足式机器人， 其特 征在于， 包括： 处理器、 存储器、 输入输出 单元以及总线； 所述处理器与所述存 储器、 所述输入输出 单元以及所述总线相连； 所述存储器保存有程序， 所述处理器调用所述程序以执行如权利要求1至5任一项所述 方法。 12.一种计算机可读存储介质， 所述计算机可读存储介质上保存有程序， 所述程序在计 算机上执行时执行如权利要求1至 5中任一项所述方法。权　利　要　求　书 2/2 页 3 CN 114683290 B 3