(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210526760.0 (22)申请日 2022.05.12 (71)申请人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 彭刚　许镟　 (74)专利代理 机构 华中科技大 学专利中心 42201 专利代理师 徐美琳 (51)Int.Cl. G01S 19/45(2010.01) G06T 7/246(2017.01) G06T 7/579(2017.01) G06T 7/73(2017.01) G06T 7/77(2017.01)G06T 17/05(2011.01) (54)发明名称 一种融合GNSS与多视角视觉的建图方法和 系统 (57)摘要 本发明公开了一种融合GNSS与多视角视觉 的建图方法和系统， 其中方法包括： 通过GNSS测 量值的时间戳约束多视角视觉图像的更新时间 使得GNSS测量值与多视角视觉图像对齐， 然后对 多视角的视觉图像进行位姿估计， 得到关键帧位 姿； 将各视角下当前关键帧位姿和前一关键帧位 姿转换至站心坐标系下， 计算相对位姿， 将当前 关键帧位姿与相对位姿之和作为当前关键帧的 视觉观测值， 以当前关键帧的GNSS测量值与视觉 观测值之差最小为目标， 求解全局优化位姿； 利 用单视角下全局优化位姿更新单视角局部地图， 当满足时间一致性约束和空间一致性约束时， 对 多视角局部地图进行融合， 得到全局一致的地 图。 本发明可 以提高实时定位精度和鲁棒性， 建 立全局一 致的地图。 权利要求书3页 说明书9页 附图2页 CN 114966789 A 2022.08.30 CN 114966789 A 1.一种融合GNS S与多视角视 觉的建图方法， 其特 征在于， 包括如下步骤： (1)通过GNSS测量值的时间戳约束多视角视觉图像的更新时间使得GNSS测量值与多视 角视觉图像对齐， 然后对多视角的视觉图像进行位姿估计， 得到各视角的初始关键帧位姿 以及后续各时刻的关键帧位姿； (2)将各视角下当前关键帧位姿和前一关键帧位姿转换至站心坐标系下， 计算相对位 姿， 将当前关键帧位姿与相对位姿之和作为当前关键帧的视觉观测值， 以对齐后的当前关 键帧GNSS测量值与当前关键帧视觉观测值之差最小为目标， 求解各视角下当前关键帧的全 局优化位姿； (3)利用单视角下当前关键帧的全局优化位姿更新单视角局部地图， 当多视角视觉图 像对齐、 多视角之 间的关键帧深度值之差在视觉误差范围内且多视角的当前关键帧相对初 始关键帧的位姿平移关系在视角位置误差范围内时， 满足时间一致性约束和空间一致性约 束， 对多视角局部地图进行融合， 得到全局一 致的地图。 2.如权利要求1所述的一种融合GNSS与多视角视觉的建图方法， 其特征在于， 所述空间 一致性约束的具体实现方式为： 其中， 为视觉误差， 为多视角中某一视角的关键帧深度值， 为多视 角中其他视角的关键帧深度值， b为其他视角对应的相机基线， f为其他视角对应的相机的 焦距， σ 为其他视角与某一视角的视差， 为位置误差， 0＜b＜1， 为某 一视角的当前关键帧相对初始关键帧的位姿平移关系， 为其他视角的当前关键帧相对 于某一视角初始关键帧的位姿平移关系， 为其他视角与某一视角的外部位置参数关 系， C为某一视角的相对位姿。 3.如权利要求1或2所述的一种融合GNSS与多视角视觉的建图方法， 其特征在于， 所述 步骤(1)中的对齐方式为： 由GNSS测量值的更新频率f， 设置容忍时间 由GNSS测量值的更新时间tgnss得到时间戳[tgnss‑ts， tgnss+ts]， 多视角的视觉图像在时 间戳内更新， 则GNS S测量值与多视角视 觉图像对齐， 进行后续 运算。 4.如权利要求1或2所述的一种融合GNSS与多视角视觉的建图方法， 其特征在于， 所述 步骤(3)中的对齐方式为： 由多视角中某一视角视 觉图像的更新频率f， 设置容忍时间 0＜a＜1； 由多视角中某一视角视觉图像的更新时间tgnss得到时间戳[tgnss‑ts， tgnss+ts]， 多视角 中其他视角的视觉图像在时间戳内更新， 则其他视角与某一视角的视觉图像对齐， 进行后 续运算。权　利　要　求　书 1/3 页 2 CN 114966789 A 25.如权利要求1或2所述的一种融合GNSS与多视角视觉的建图方法， 其特征在于， 所述 相对位姿通过如下 方式得到： 将各视角下当前关键帧位姿和前一关键帧位姿从局部坐标系转换至站心坐标系下， 所 述局部坐标系为多视角对应的相机坐标系， 其z轴与 站心坐标系对齐， 所述站心 坐标系为的 x、 y、 z轴分别指向东、 北、 天， 站心 坐标系的原 点是在全局坐标系上的一个点， 是用来连接全 局坐标系和局部坐标系的半全局坐标系， 全局坐标系以地球质心 为原点， x‑y平面与赤道平 面重合， x轴指向本初子午线， z轴指向北极， 然后计算当前关键帧位姿和前一关键帧位姿的 相对位姿。 6.如权利要求5所述的一种融合GNSS与多视角视觉的建图方法， 其特征在于， 所述全局 优化位姿求解前还包括： 将GNSS测量值由全局坐标系转换到站心坐标系， GNSS测量值在全局坐标系下的坐标值 为 对应在站 心坐标系下的坐标值 为[e n u]T， 二者转换方式如下： 其中， 坐标差值 通过下式得到： 其中， e为全局坐标系的椭球离心率， N为基准椭球体的曲率半径， 站心坐标系原点的经 度、 纬度和高度为 λ0、 和h0， N0为站心坐标系原点对应的基准椭球 体的曲率半径。 7.如权利要求1或2所述的一种融合GNSS与多视角视觉的建图方法， 其特征在于， 所述 多视角包括前视角、 后视角、 左视角和右视角， 所述方法应用于移动机器人时， 在移动机器 人前进过程中， 基于前后左右 不同视角的视觉图像， 进 行动态变化的场地建图， 得到场地地 图， 如果前视角的场地在动态变化， 这时前视角视觉图像不参与建图， 基于后视角、 左视角 和右视角的视觉图像， 进 行场地建图； 在移动机器人后退过程中， 再把前视角视觉图像融合 至场地地图中。 8.如权利要求1或2所述的一种融合GNSS与多视角视觉的建图方法， 其特征在于， 所述 全局优化 位姿求解还包括： 将对齐后的当前关键帧GNS S测量值与当前关键帧位姿之差作为GNS S残差项； 将当前关键帧的全局优化位姿与前一关键帧的全局优化位姿之差作为视觉和GNSS优 化后的位姿增 量， 将当前关键 帧位姿与前一关键帧位姿之差作为视觉下 的位姿增量， 将视 觉和GNSS优化后的位姿增量与视 觉下的位姿增量之差作为视 觉里程计残差项； 先对多视角的视觉图像进行位姿估计， 当GNSS测量值更新时， 融合视觉里程计残差项 和GNSS残差项， 求 解最小二乘问题， 得到不同视角的全局优化 位姿。 9.一种融合GNS S与多视角视 觉的建图系统， 其特 征在于， 包括： 相机、 GNS S和控制器； 所述相机的数量 为多个， 分别位于不同视角， 用于采集多视角视 觉图像；权　利　要　求　书 2/3 页 3 CN 114966789 A 3