(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210798748.5 (22)申请日 2022.07.06 (71)申请人 广西交科集团有限公司 地址 530000 广西壮 族自治区南宁市西乡 塘区高新 二路6号 (72)发明人 梁贞　郑旭平　潘承继　黄豪　 吴壮松　涂伟键　黎亦枫　梁珊妮　 黄茜茜　 (74)专利代理 机构 上海思真远达专利代理事务 所(特殊普通 合伙) 31481 专利代理师 李梅 (51)Int.Cl. G06T 3/40(2006.01) G06V 10/74(2022.01) (54)发明名称 一种基于视角 转换和特征匹配的图像融合 方法 (57)摘要 本发明公开了一种基于视角 转换和特征匹 配的图像融合方法， 包括以下步骤： 在场景周边 多个点位对场景进行拍照得到原始图， 通过视角 转换将原始图转换为俯视图， 利用人工标注或者 自动计算的方式获取相邻图片的匹配点， 利用匹 配点计算拼接全 景图所需的参数， 通过参数对原 始图进行投影变形， 合成全景图。 获得的全景图 的主体内容视觉效果良好， 不存在明显的近大远 小透视效果， 不存在明显的弯曲变形。 权利要求书1页 说明书5页 附图1页 CN 115170393 A 2022.10.11 CN 115170393 A 1.一种基于 视角转换和特 征匹配的图像融合方法， 其特 征在于， 包括以下步骤： S1： 将原始图按照拍摄画面区域从左到右 的顺序进行排列， 为每张原始图设计一个视 角转换， 计算视角转换参数， 将每张原 始图都转换为俯视图； S2： 标记相邻俯视图上的匹配点， 计算相邻俯视图的坐标映射 参数； S3： 选中一张俯视图作为拼接全景图的参考图， 利用相邻俯视图的坐标映射参数计算 每张俯视图到参 考图的坐标映射 参数； S4： 利用每张俯视图到参考图的坐标映射参数， 将每张俯视图的4个顶点坐标映射到参 考图的坐标系中， 用一个4边与参考图坐标轴平行或垂直的最小矩形包围所有俯视图顶点 映射到参 考图得到的顶点， 该矩形区域 就是全景图的区域； S5： 利用原始图到俯视图的视角转换参数、 俯视图到参考图的坐标映射参数、 全景图矩 形顶点坐标， 计算原 始图到全景图的坐标映射 参数； S6： 利用原 始图到全景图的坐标映射 参数， 计算每张原 始图的投影图和掩膜图； S7： 利用投影图和掩膜图生成全景图。 2.根据权利要求1所述的基于视角转换和特征匹配的图像融合方法， 其特征在于， 所述 的视角转换， 包含以下步骤： 在每张原始图上沿顺时针方向标记4个点， 这4点在真实世界中 是平面上一个矩形的4个顶点； 设计一张视角转换图， 使得原始图上标记的4个点对应于视角转换图上矩形的4个顶 点， 并且视角转换图上 该矩形的邻边 边长之比等于真实世界中矩形邻边 边长之比； 根据原始图上的4点坐标和视角转换图上的4点坐标计算视角转换参数， 根据视角转换 参数生成视角转换图， 该视角转换图为俯视图。 3.根据权利要求1所述的基于视角转换和特征匹配的图像融合方法， 其特征在于， 在步 骤S2中， 所述的标记相邻俯视图上的匹配点， 通过自动计算或进行 人工手动标注。 4.根据权利要求3所述的基于视角转换和特征匹配的图像融合方法， 其特征在于， 自动 计算采用SIFT算子、 SURF算子或者ORB算子中任意 一种。 5.根据权利要求1所述的基于视角转换和特征匹配的图像融合方法， 其特征在于， 在步 骤S7中， 所述的利用投影图和掩膜图生成全景图， 使用线性融合、 多尺度金字塔融合、 泊松 融合中任意 一种方法。权　利　要　求　书 1/1 页 2 CN 115170393 A 2一种基于视角转换和特征匹配的图像融合 方法 技术领域 [0001]本发明涉及图像拼接技术领域， 尤其涉及基于视角转换和特征匹配的图像融合方 法。 背景技术 [0002]单个相机拍 摄的画面的视野有限， 要对较大的场景作整体感知， 需要采用多个相 机进行拍摄。 为了更好地进行整体感知， 最好将所相机拍摄图片拼接起来， 得到全景图片。 图像拼接相关技术有很多应用， 广泛应用于生产生活各领域。 图像拼接还可以延伸为视频 拼接。 利用图像拼接阶段获取的拼接参数， 对从摄像机获取的视频流的实时拼接， 对一个场 景作持续 性的整体感知。 [0003]常规的图像拼接技术， 通常默认拍 摄场景中的物体与相机有较大的距离， 并且可 以近似认为拍摄不同图片的相 机之间不存在平移关系， 仅有旋转关系。 这样的图像拼接是 单点图像拼接。 拼接算法先通过自动计算或者手动标注确定不同图片上 的匹配点， 再通过 匹配点计算相 机的内部参数和外部参数， 再通过这些参数， 将所有图片映射到同一个坐标 系下， 最后通过图像融合算法得到视觉效果良好的全景图片 。 单点图像拼接得到的图片， 可 以从某一个单独的视角感知整体。 不管物体方位如何， 越是远离拍摄地 点， 物体越小。 [0004]另一种图像拼接是多点图像拼接。 拍摄不 同图片的相机相互之间的距离较远， 存 在显著的平移关系， 也可能存在旋转关系。 如果场景平坦开阔， 没有显著凸起的物体， 并且 相机视场角不太大， 离画 面距离较远， 那么， 将相机的图片进 行视角转换， 成为俯视图， 这俯 视图之间仅存在 缩放、 平移与旋转关系。 为了拼接这些俯视图， 先自动计算 或者手动标注 不 同图片上的匹配点， 再利用匹配点计算不同图片之 间的变换矩阵， 得到拼接参数， 再通过这 些参数， 将所有图片映射到同一个坐标系 下， 最后通过图像融合算法得到视觉效果良好的 全景图片。 多点拍摄图像视角转换后拼接得到的全景图， 画面主体内容不存在明显的近大 远小的透 视效果， 不存在明显的弯曲变形， 特别适用于对平坦 开阔场景进行整体感知。 发明内容 [0005]本发明的目的是为了解决现有技术中存在的缺陷， 而提出的基于视角转换和特征 匹配的图像融合方法。 [0006]为了实现上述目的， 本发明采用了如下技 术方案： [0007]一种基于 视角转换和特 征匹配的图像融合方法， 包括以下步骤： [0008]S1： 将原始图按照拍摄画面区域从左到右的顺序进行排列， 为每张原始图设计一 个视角转换， 计算视角转换参数， 将每张原 始图都转换为俯视图； [0009]S2： 标记相邻俯视图上的匹配点， 计算相邻俯视图的坐标映射 参数； [0010]S3： 选中一张俯视图作为拼接全景图的参考图， 利用相邻俯视图的坐标映射参数 计算每张俯视图到参 考图的坐标映射 参数； [0011]S4： 利用每张俯视图到参考图的坐标映射参数， 将每张俯视图的4个顶点坐标映射说　明　书 1/5 页 3 CN 115170393 A 3