(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221046267 7.1 (22)申请日 2022.04.27 (71)申请人 镁佳(北京)科技有限公司 地址 100102 北京市朝阳区创远路34 号院6 号楼11层1101室 (72)发明人 刘震　 (74)专利代理 机构 北京三聚阳光知识产权代理 有限公司 1 1250 专利代理师 王娜 (51)Int.Cl. G01C 21/28(2006.01) G01C 21/32(2006.01) G01C 21/16(2006.01) G01C 21/00(2006.01) G06V 20/56(2022.01)G06T 7/73(2017.01) G06V 10/26(2022.01) (54)发明名称 一种定位与建图方法、 装置及电子设备 (57)摘要 本发明公开了一种定位与建图方法、 装置及 电子设备， 包括： 获取拼接得到的车辆周围环境 图像； 对车辆周围环境图像进行语义分割并将车 辆周围环境图像投影到车辆所在位置对应的俯 视视角的相机坐标系下， 确定车辆周围环境图像 中每一个像素在俯视视角的相机坐标系的点云 数据； 获取惯性传感器数据； 根据惯性传感器数 据和每一个像素在俯视视角的相机坐标系的点 云数据确定车辆周围环境图像中每一个像素在 世界坐标系下的点云数据； 根据语义分割结果将 相机坐标系下的点云数据和世界坐标系下的点 云数据进行分块匹配得到多组匹配数据； 确定多 组匹配数据的形变； 将形变大于预设形变阈值的 匹配数据进行非刚性匹配 。 权利要求书2页 说明书8页 附图3页 CN 114754779 A 2022.07.15 CN 114754779 A 1.一种定位与建图方法， 其特 征在于， 包括： 获取拼接得到的车辆周围环境图像； 对所述车辆周围环境图像进行语义分割并将所述车辆周围环境图像投影到车辆所在 位置对应的俯视视角的相机坐标系下， 确定所述车辆周围环境图像中每一个像素在所述俯 视视角的相机坐标系的点云数据； 获取惯性传感器数据； 根据所述惯性传感器数据和所述每一个像素在所述俯视视角的相机坐标系的点云数 据确定车辆周围环境图像中每一个 像素在世界坐标系下的点云数据； 根据所述语义分割结果将所述相机坐标系下的点云数据和所述世界坐标系下的点云 数据进行分块匹配得到多组匹配数据； 确定所述多组匹配数据的形变； 将形变大于预设形变阈值的所述匹配数据进行非刚性匹配。 2.根据权利要求1所述的方法， 其特征在于， 所述车辆上配置有多个用于采集车辆周围 环境的摄 像头； 获取拼接得到的车辆周围环境图像， 包括： 获取多个目标摄 像头数据； 对多个目标摄 像头数据进行环视拼接得到车辆周围环境图像。 3.根据权利要求1所述的方法， 其特征在于， 所述对所述车辆周围环境图像进行语义分 割并将所述车辆周围环境图像投影到车辆所在位置对应的俯视视角的相机坐标系下， 确定 所述车辆周围环境图像中每一个 像素在所述俯视 视角的相机坐标系的点云数据， 包括： 确定所述车辆周围环境图像的每一个 像素的位置信息； 根据所述每一个像素的位置信息确定所述车辆周围环境图像中每一个像素在所述俯 视视角的相机坐标系下的点云数据。 4.根据权利要求2所述的方法， 其特征在于， 所述根据所述惯性传感器数据和所述每一 个像素在所述俯视视角的相机坐标系的点云数据确定车辆周围环境图像中每一个像素在 世界坐标系下的点云数据， 包括： 根据惯性传感器数据获取 所述多个目标摄 像头数据相邻帧之间的位姿变化数据； 获取所述相机坐标系对应的摄 像机模型与所述惯性传感器的位置关系数据； 根据所述每一个像素的位置信 息、 所述多个目标摄像头数据相邻帧之间的位姿变化数 据和所述摄像机模型与所述惯性传感器的位置关系数据得到车辆周围环境图像中每一个 像素在所述世界坐标系下的点云数据。 5.根据权利要求1所述的方法， 其特征在于， 将形变大于预设形变 阈值的所述匹配数据 进行非刚性匹配， 包括 通过下式进行非刚性匹配： 其中， E表示能量函数， Ω表示点的集合， u表示像素点在所述车辆周围环境图像上的光 流水平方向上 的速度分量， v表示像素点在所述车辆周围环境图像上 的光流垂直方向上 的 速度分量， Ix表示光流在x方向上的梯度， Iy表示光流在y方向上的梯度， It分别表示光流在t 方向上的梯度， 为空间梯度算子且 α 为权重系数。权　利　要　求　书 1/2 页 2 CN 114754779 A 26.一种定位与建图装置， 其特 征在于， 包括： 第一获取模块， 用于获取拼接得到的车辆周围环境图像； 第一确定模块， 用于对所述车辆周围环境图像进行语义分割并将所述车辆周围环境图 像投影到车辆所在位置对应的俯视视角的相机坐标系下， 确定所述车辆周围环境图像中每 一个像素在所述俯视 视角的相机坐标系的点云数据； 第二获取模块， 用于获取惯性传感器数据； 第二确定模块， 用于根据所述惯性传感器数据和所述每一个像素在所述俯视视角的相 机坐标系的点云数据确定车辆周围环境图像中每一个 像素在世界坐标系下的点云数据； 第一匹配模块， 用于根据所述语义分割结果将所述相机坐标系下的点云数据和所述世 界坐标系下的点云数据进行分块匹配得到多组匹配数据； 第三确定模块， 用于确定所述多组匹配数据的形变； 第二匹配模块， 用于将形变大于预设形变阈值的所述匹配数据进行非刚性匹配。 7.根据权利要求6所述的装置， 其特征在于， 所述车辆上配置有多个用于采集车辆周围 环境的摄 像头； 所述第一获取模块， 包括： 第三获取子模块， 用于获取多个目标摄 像头数据； 拼接子模块， 用于对多个目标摄 像头数据进行环视拼接得到车辆周围环境图像。 8.根据权利要求6所述的装置， 其特 征在于， 所述第一确定模块， 包括： 第四确定 子模块， 确定所述车辆周围环境图像的每一个 像素的位置信息； 第五确定子模块， 用于根据 所述每一个像素的位置信 息确定所述车辆周围环境图像中 每一个像素在所述俯视 视角的相机坐标系下的点云数据。 9.一种电子设备， 其特征在于， 包括： 至少一个处理器； 以及与所述至少一个处理器通 信连接的存储器； 其中， 所述存储器存储有 可被所述至少一个处理器执行的指 令， 所述指 令 被所述至少一个处理器执行， 以使所述至少一个处理器执行如权利要求1 ‑5任一所述的定 位与建图方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现如权利要求1 ‑5中任一项所述的定位与建图方法的步骤。权　利　要　求　书 2/2 页 3 CN 114754779 A 3