(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211011386.7 (22)申请日 2022.08.23 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦二层 (72)发明人 王星博　张晋川　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 孟洋 (51)Int.Cl. G06T 7/70(2017.01) G06T 7/30(2017.01) G06V 10/74(2022.01) G06V 20/40(2022.01) (54)发明名称 视觉地图更新方法、 装置、 电子设备和存储 介质 (57)摘要 本公开提供了一种视觉地图更新方法、 装 置、 电子设备和存储介质， 涉及增强现实、 虚拟现 实、 计算机视觉、 深度学习等技术领域， 可应用于 智慧城市等场景。 方案为： 从目标视频中提取多 帧视频帧； 获取多帧视频帧的全局特征和局部特 征； 对多帧视频帧进行位姿预测， 得到多帧视频 帧的第一位姿； 根据多帧视频帧的第一位姿， 生 成局部视觉地图； 基于全局特征和局部特征， 根 据局部视觉地图对待更新视觉地图进行更新， 得 到目标视觉地图。 由此， 仅根据目标视频生成新 的局部视觉地图， 根据该局部视觉地图对旧的待 更新视觉地图进行更新， 而无需重新生成完整的 新的视觉地图， 可以提升地图的更新效率。 权利要求书4页 说明书16页 附图6页 CN 115311351 A 2022.11.08 CN 115311351 A 1.一种视 觉地图更新方法， 包括： 获取目标视频， 并从所述目标视频中提取多帧视频帧； 获取所述多帧视频帧对应的全局特征和局部特征， 并对所述多帧视频帧进行位姿预 测， 以得到所述多帧视频帧在设定的第一 地图坐标系下的第一 位姿； 根据所述多帧视频帧的第一 位姿， 生成所述第一 地图坐标系下的局部 视觉地图； 获取设定的第 二地图坐标系下的待更新视觉地图， 并基于所述全局特征和所述局部特 征， 根据所述局部 视觉地图对所述待更新视 觉地图进行 更新， 以得到目标视 觉地图。 2.根据权利要求1所述的方法， 其中， 所述根据所述多帧视频帧的第一位姿， 生成所述 第一地图坐标系下的局部 视觉地图， 包括： 根据所述多帧视频帧的局部特征之间的第 一相似度， 从所述多帧视频帧中确定任意两 个匹配的视频帧； 从所述匹配的视频帧中， 确定任意两个匹配的第一像素点； 根据所述匹配的第 一像素点在所述匹配的视频帧中的第 一图像位置， 以及所述匹配的 视频帧对应的第一 位姿， 确定所述匹配的第一像素点在世界坐标系中的第一空间位置； 根据各所述视频帧、 各所述视频帧的第 一位姿以及各所述视频帧中第 一像素点的第 一 空间位置， 生成所述第一 地图坐标系下的局部 视觉地图。 3.根据权利要求2所述的方法， 其中， 所述根据所述多帧视频帧的局部特征之间的第 一 相似度， 从所述多帧视频帧中确定任意两个匹配的视频帧， 包括： 针对所述多帧视频帧中的任意一帧所述视频帧， 从所述多帧视频帧中确定候选视频 帧， 其中， 所述 候选视频帧的拍摄时刻与所述视频帧的拍摄时刻之间的差异小于设定阈值； 根据各所述候选视频帧的局部特征与所述视频帧的局部特征之间的第 一相似度， 从各 所述候选视频帧中确定目标视频帧； 将所述目标视频帧与所述视频帧， 作为所述匹配的视频帧。 4.根据权利要求2所述的方法， 其中， 所述基于所述全局特征和所述局部特征， 根据所 述局部视觉地图对所述待更新视 觉地图进行 更新， 以得到目标视 觉地图， 包括： 针对所述局部视觉地图中的任意一帧所述视频帧， 根据 所述视频帧的全局特征和局部 特征， 从所述待更新视 觉地图中确定与所述视频帧匹配的匹配图像； 根据所述匹配图像， 确定所述视频帧在所述第二 地图坐标系下的第二 位姿； 根据各所述视频帧对应的第 二位姿和第 一位姿， 确定所述第 一地图坐标系和所述第 二 地图坐标系之间的映射关系； 基于所述映射关系， 根据所述局部视觉地图对所述待更新视觉地图进行更新， 以得到 目标视觉地图。 5.根据权利要求4所述的方法， 其中， 所述根据所述匹配图像， 确定所述视频帧在所述 第二地图坐标系下的第二 位姿， 包括： 从所述匹配图像和所述视频帧中， 确定任意两个匹配的第二像素点； 根据所述匹配的第 二像素点在所述待更新视觉地图中的第 二空间位置， 以及所述匹配 的第二像素点在所述匹配图像和所述视频帧中的第二图像位置， 确定所述视频帧在所述第 二地图坐标系下的第二 位姿。 6.根据权利要求4所述的方法， 其中， 所述针对所述局部视觉地图中的任意一帧所述视权　利　要　求　书 1/4 页 2 CN 115311351 A 2频帧， 根据所述视频帧的全局特征和局部特征， 从所述待更新视觉地图中确定与所述视频 帧匹配的匹配图像， 包括： 针对所述局部视觉地图中的任意一帧所述视频帧， 根据所述视频帧的全局特征， 从所 述待更新视 觉地图中确定与所述视频帧相似的至少一个候选图像； 根据所述视频帧的局部特征和各所述候选图像的局部特征之间的第 二相似度， 从各所 述候选图像中， 确定与所述视频帧匹配的所述匹配图像。 7.根据权利要求6所述的方法， 其中， 所述针对所述局部视觉地图中的任意一帧所述视 频帧， 根据所述视频帧的全局特征， 从所述待更新视觉地图中确定与视频帧相似的至少一 个候选图像， 包括： 针对所述局部视觉地图中的任意一帧所述视频帧， 确定所述视频帧的全局特征和所述 待更新视 觉地图中各视 觉图像的全局特 征之间的第三相似度； 将各所述视觉图像按照对应第三相似度的取值由大至小排序； 选取排序在前的设定个数的所述视 觉图像， 作为所述 候选图像； 或者， 将所述第三相似度高于设定的相似度阈值的视 觉图像， 作为所述 候选图像。 8.根据权利要求4所述的方法， 其中， 所述基于所述映射关系， 根据所述局部视觉地图 对所述待更新视 觉地图进行 更新， 以得到目标视 觉地图， 包括： 根据所述映射关系， 将所述局部视觉地图中各所述视频帧的第 一位姿映射至所述第 二 地图坐标系中， 以得到各 所述视频帧在所述第二 地图坐标系下的目标位姿； 根据所述映射关系， 将各所述视频帧中第 一像素点的第 一空间位置映射至所述第 二地 图坐标系中， 以得到各 所述视频帧中第一像素点的目标空间位置； 在所述待更新视觉地图中新增各所述视频帧、 各所述视频帧对应的目标位姿， 以及各 所述视频帧中第一像素点的目标空间位置， 以得到所述目标视 觉地图。 9.根据权利要求1 ‑8中任一项所述的方法， 其中， 所述从所述目标视频中提取多帧视频 帧， 包括： 根据设定的抽帧间距， 对所述目标视频进行裁 剪处理， 以得到所述多帧视频帧； 或者， 对所述目标视频进行关键帧提取， 以得到所述多帧视频帧； 或者， 根据所述目标视频中各帧视频帧内容间的第四相似度， 对所述目标视频进行去重处 理， 以得到所述多帧视频帧； 或者， 根据所述目标视频中各帧视频帧对应的采集位置， 将所述目标视频进行分段处理， 以 得到多个视频片段， 并从所述多个视频片段中获取 所述多帧视频帧。 10.一种视 觉地图更新装置， 包括： 提取模块， 用于获取目标视频， 并从所述目标视频中提取多帧视频帧； 预测模块， 用于获取所述多帧视频帧对应的全局特征和局部特征， 并对所述多帧视频 帧进行位姿预测， 以得到所述多帧视频帧在设定的第一 地图坐标系下的第一 位姿； 生成模块， 用于根据所述多帧视频帧的第一位姿， 生成所述第一地图坐标系下的局部 视觉地图；权　利　要　求　书 2/4 页 3 CN 115311351 A 3