(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210975531.7 (22)申请日 2022.08.15 (71)申请人 北京城市网邻 信息技术有限公司 地址 100015 北京市朝阳区酒仙桥北路甲 10号院101号楼1-7层内1层10 3室 (72)发明人 不公告发明人 　 (74)专利代理 机构 北京太合九思知识产权代理 有限公司 1 1610 专利代理师 张爱　刘戈 (51)Int.Cl. G06T 3/40(2006.01) G06T 17/00(2006.01) G06V 10/74(2022.01) G06T 5/00(2006.01) (54)发明名称 图像拼接方法、 装置、 设备及存 储介质 (57)摘要 本申请实施例提供一种图像拼接方法、 装 置、 设备及存储介质。 在本申请实施例中， 对在采 集点位的不同拍摄角度采集的实景图像， 从中确 定存在拼接关系的多组实景图像对， 对所述多组 实景图像对进行基于特征点对的图像拼接； 在拼 接过程中， 对于特征相似度或者位姿匹配度小于 对应阈值的第一实景图像对， 采用基于三维点云 数据集的图像拼接， 具体地， 对该第一实景图像 对进行三维重建得到两个三维点云数据集； 通过 位姿校准后的两个三维点云数据集的位姿信息， 对该第一实景图像对进行图像拼接。 整个过程 中， 对于第一实景图像对采用基于三维点云数据 集的图像拼接， 提高了图像拼接的准确率。 权利要求书2页 说明书13页 附图2页 CN 115222602 A 2022.10.21 CN 115222602 A 1.一种图像拼接方法， 其特 征在于， 包括： 获取目标空间对象的多 张实景图像， 所述多 张实景图像是在所述目标空间对象的采集 点位上从多个拍摄角度拍摄得到的； 根据所述多个拍摄角度， 确定所述多张实景图像中存在拼接关系的多组实景图像对， 并对所述多组实景图像对进行基于特 征点对的图像拼接； 在进行基于特征点对的图像拼接过程中， 根据每组实景图像对之间的特征点对， 从所 述多组实景图像对中识别出 特征相似度或者 位姿匹配度小于对应阈值的第一实景图像对； 针对第一实景图像对， 根据所述第一实景图像对中两张实景图像的深度信息， 分别对 所述两张实景图像进行三维点云重建， 得到 两个三维点云数据集； 根据所述两个三维点云数据集的初始位姿信 息， 对所述两个三维点云数据集进行位姿 配准， 得到所述两个三维点云数据集之间的相对位姿信息； 根据所述两个三维点云数据集之间的相对位姿信 息， 对所述两个三维点云数据集对应 的两张实景图像进行拼接 。 2.根据权利要求1所述的方法， 其特 征在于， 还 包括： 对每组实景图像对进行 特征提取和特 征匹配， 得到每组实景图像对 对应的特 征点对； 将特征点对的数量小于设定数量阈值的每组实景图像对， 作为特征相似度低于对应 阈 值的第一实景图像对。 3.根据权利要求2所述的方法， 其特 征在于， 还 包括： 在实景图像对对应的特征点对的数量大于或等于设定数量阈值的情况下， 则根据每组 实景图像对对应的特征点对， 确定该组中两张实景图像之间特征点的误差； 将该特征点的 误差大于或等于设定误差阈值的每组实景图像对作为位姿匹配度小于对应阈值的第一实 景图像对。 4.根据权利要求3所述的方法， 其特 征在于， 还 包括： 在实景图像对对应的特征点对的数量大于或等于设定数量阈值的情况下， 将特征点的 误差小于设定误差阈值的每组实景图像对作为位姿匹配度大于或等于对应阈值的第二实 景图像对。 5.根据权利要求1所述的方法， 其特征在于， 针对第一实景图像对， 根据所述第一实景 图像对中两张实景图像的深度信息， 分别对所述两张实景图像进行三维点云重建， 得到两 个三维点云数据集， 包括： 针对第一实景图像对， 根据该第一实景图像对中的每张实景图像的投影信息， 预测所 述每张实景图像的深度信息； 根据所述每张实景图像的深度信息， 结合摄像头坐标系与世界坐标系的转换关系， 对 所述每张实景图像进行三维点云重建， 得到每张实景图像对应的三维点云数据集。 6.根据权利要求1所述的方法， 其特征在于， 根据 所述两个三维点云数据集的初始位姿 信息， 对所述两个三维点云数据集进行位姿配准， 得到所述两个三维点云数据集之间的相 对位姿信息， 包括： 所述两个三维点云数据集可被映射为两张二维点云图像， 每张二维点云图像能够被执 行编辑操作； 根据对任一二维点云图像的编 辑操作的编辑参数， 对所述任一二维点云图像对应的三权　利　要　求　书 1/2 页 2 CN 115222602 A 2维点云数据集的初始位姿信息进行修 正； 根据所述两个三维点云数据集修正后的位姿信 息进行位姿配准， 得到所述两个三维点 云数据集之间的相对位姿信息 。 7.根据权利要求6所述的方法， 其特 征在于， 还 包括： 获取其它 模块提供的所述第 一实景图像对中包含的两张实景图像各自的位姿信 息； 其 它模块包括以下至少一种： 全球定位系统(GPS)定位模块、 无线保真(WIFI)模块 或即时定位 与地图构建(SLAM)模块； 基于所述两张实景图像各自的位姿信 息， 确定所述两张实景图像对应的两个三维点云 数据集之间的第二相对位姿信息； 根据所述两个三维点云数据集之间的点云误差函数， 从所述第 一相对位姿信 息和所述 第二相对位姿信息中选择待配准 位姿信息； 根据所述待配准位姿信 息， 对所述两个第 一三维点云数据集对应的两张实景图像进行 拼接。 8.根据权利要求1所述的方法， 其特 征在于， 还 包括： 根据所述多个拍摄角度， 将图像拼接后的多组实景图像对投影至球面坐标系上， 得到 所述目标空间对象在该采集 点位对应的球面全景图； 根据所述球面坐标系与平面坐标系的转换关系， 将所述球面全景图展开为所述目标空 间对象在该采集 点位对应的平面全景图。 9.一种图像拼接装置， 其特征在于， 包括： 获取模块、 确定模块、 拼接模块、 识别 模块、 重 建模块和配准模块； 所述获取模块， 用于获取目标空间对象的多张实景图像， 所述多张实景图像是在所述 目标空间对象的采集 点位上从多个拍摄角度拍摄得到的； 所述确定模块， 用于根据所述多个拍摄角度， 确定所述多张实景图像中存在拼接关系 的多组实景图像对； 所述拼接模块， 用于对所述多组实景图像对进行基于特征点对的图像 拼接； 所述识别模块， 用于在进行基于特征点对的图像拼接过程中， 根据每组实景图像对之 间的特征点对， 从所述多组实景图像对中识别出特征相似度或者位姿匹配度小于对应阈值 的第一实景图像对； 所述重建模块， 用于针对第一实景图像对， 根据所述第一实景图像对中两张实景图像 的深度信息， 分别对所述两张实景图像进行三维点云重建， 得到 两个三维点云数据集； 所述配准模块， 用于根据所述两个三维点云数据集的初始位姿信息， 对所述两个三维 点云数据集进行位姿配准， 得到所述两个三维点云数据集之间的相对位姿信息； 所述拼接模块， 还用于根据所述两个三维点云数据集之间的相对位姿信息， 对所述两 个三维点云数据集对应的两张实景图像进行拼接 。 10.一种图像拼接设备， 其特征在于， 包括： 存储器和 处理器； 所述存储器， 用于存储计 算机程序； 所述处理器， 与所述存储器耦合， 用于执行所述计算机程序， 以实现权利要求 1‑8 任一项所述方法中的步骤。 11.一种存储有计算机程序的计算机可读存储介质， 其特征在于， 当所述计算机程序被 处理器执行时， 致使所述处 理器实现权利要求1 ‑8任一项所述方法中的步骤。权　利　要　求　书 2/2 页 3 CN 115222602 A 3