(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210980008.3 (22)申请日 2022.08.16 (71)申请人 中国测绘科 学研究院 地址 100036 北京市海淀区莲 花池西路28 号 (72)发明人 樊仲藜　刘玉轩　孙钰珊　张力　 (74)专利代理 机构 北京星通盈泰知识产权代理 有限公司 1 1952 专利代理师 葛战波 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/75(2022.01) G06V 10/46(2022.01) G06V 10/44(2022.01) G06V 20/10(2022.01) (54)发明名称 一种具有旋转和尺度不变性的多模态影像 匹配方法及装置 (57)摘要 本发明公开了一种具有旋转和尺度不变性 的多模态影像匹配方法及装置， 涉及影像处理技 术领域， 主要目的在于提高多模态影像匹配的精 度， 能够提高对噪声的抵抗性和对不同模态影像 的通用性， 且可以消除影像间的旋转、 尺度和平 移差异。 所述方法包括： 构建多模态影像尺度金 字塔， 提取多模态影像尺度金字塔中各影像的特 征点， 构造至少两张影像层级特征图， 构建具有 旋转不变性的特征描述子， 解算参考影像和目标 影像之间的几何变换模型， 目标影像重采样， 构 造卷积特征图， 完成增强匹配及匹配点反算， 将 增强匹配结果作为最终结果进行输出。 本发明适 用于多模态影像的匹配 。 权利要求书2页 说明书13页 附图4页 CN 115205558 A 2022.10.18 CN 115205558 A 1.一种具有旋转和尺度不变性的多模态影 像匹配方法， 其特 征在于， 包括： S1： 构建多模态影像尺度 金字塔， 按缩放比对参考影像和目标影像进行逐级采样， 得到 不同尺度的影 像； S2： 对所述参考影像和所述目标影像， 分别检测并提取所述多模态影像尺度金字塔中 各影像的特征点； S3： 使用滤波器对所述参考影像和所述目标影像进行卷积， 基于S2检测到的特征点的 卷积影像结果构造层级特征图， 并基于所述层级特征图进行特征描述， 构造至少 两张影像 层级特征图； S4： 计算S2所述至少两张影像层级特征图中的众数特征值中心化坐标， 将特征点与众 数特征值中心化坐标 的连线方向作为特征点的主方向， 将局部影像旋转到主方向上， 并对 特征值进行规则化， 构建具有旋转 不变性的特 征描述子； S5： 在完成S2所述特征提取和特征描述之后， 使用最近欧式距离得到匹配点对应， 按照 相似变换模型进行粗差剔除， 得到匹配结果， 基于所述匹配结果解算所述参考影像和所述 目标影像之间的几何变换模型； S6： 基于所述几何变换模型,将所述目标影像重采样至所述参考影像的像素坐标系， 得 到重采样后的目标影 像； S7： 将所述参考影像的特征点和卷积结果保留， 再次使用S3中所选定的滤波器对所述 重采样后的目标影像进行卷积， 得到卷积结果， 对所述参考影像和所述重采样后的目标影 像卷积结果沿方向维进行归一 化， 构造卷积特 征图； S8： 对所述卷积特征图完成增强匹配及匹配点反算， 将增强匹配结果作为最终结果进 行输出。 2.根据权利要求1所述的方法， 其特 征在于， 所述主方向的确定方法， 具体包括： 在所述至少两张影像层级特征图中， 以特征点为中心确定一圆形窗口， 对窗口内每种 特征值的数量进行统计， 得到众 数对应的特 征值； 选取计算区域中心， 对众 数特征值进行中心化； 将特征点与众 数特征值中心化 坐标的连线方向作为特 征点的主方向。 3.根据权利要求2所述的方法， 其特 征在于， 所述主方向的确定方法， 进一 步包括： 针对次众数特征值加以分析， 若次众数特征区域超过众数特征区域的第一百分比， 则 增加计算次众数特征区域的中心化坐标， 为特征点确定出次主方向以及其对应的特征向 量。 4.根据权利要求1所述的方法， 其特征在于， 所述基于该层级特征图进行特征描述， 构 造至少两张影 像层级特 征图， 具体包括： 使用具有多方向性质的滤波器对所述参考影像和所述目标影像进行卷积时设置j*k个 方向， 可得到j*k张卷积图， 每间隔j张分为一组， 得到k组卷积图， 抽取每组中的第一张卷积 图构造第一张特征图， 抽取每组中的第二张卷积图构造第二张特征图， 以此类推共构 造出j 张特征图， 完成特 征描述。 5.根据权利要求1所述的方法， 其特 征在于， 所述增强匹配及匹配点反算， 具体包括： 对所述卷积特征图， 计算所述参考影像上每个特征点对应的匹配点， 按照所述相似变 换模型进行粗差剔除， 得到匹配结果， 将所述重采样后的目标影像上 的匹配点使用S5所述权　利　要　求　书 1/2 页 2 CN 115205558 A 2几何变换模型反算回原始目标影像上， 完成增强匹配， 将增强匹配结果作为最终结果进行 输出。 6.一种具有旋转和尺度不变性的多模态影 像匹配装置， 其特 征在于， 包括： 采样单元： 构建多模态影像尺度金字塔， 按缩放比对参考影像和目标影像进行逐级采 样， 得到不同尺度的影 像； 检测单元： 对所述参考影像和所述目标影像， 分别检测并提取所述多模态影像尺度金 字塔中各影 像的特征点； 描述单元： 对所述参考影像和所述目标影像进行函数卷积， 基于S2检测到的特征点的 卷积影像结果构造层级特征图， 并基于所述层级特征图进行特征描述， 构造至少 两张影像 层级特征图； 计算单元： 计算S2所述至少两张影像层级特征图中的众数特征值中心化坐标， 将特征 点与众数特征值中心化坐标的连线方向作为特征点的主方向， 将局部影像旋转到主方向 上， 并对特 征值进行规则化， 构建具有旋转 不变性的特 征描述子； 解算单元： 在完成S2所述特征提取和特征描述之后， 使用最近欧式距离得到匹配点对 应， 按照相似变换模 型进行粗差剔除， 得到匹配结果， 基于所述匹配结果解算所述参考影像 和所述目标影 像之间的几何变换模型； 重采样单元： 基于所述几何变换模型,将所述目标影像重采样至所述参考影像的像素 坐标系， 得到 重采样后的目标影 像； 构造单元： 将所述参考影像的特征点和卷积结果保留， 对所述重采样后的目标影像进 行卷积， 得到卷积结果， 对所述参考影像和所述重采样后的目标影像卷积结果沿方向维进 行归一化， 构造卷积特 征图； 增强匹配单元： 对所述卷积特征图完成增强匹配及匹配点反算， 将增强匹配结果作为 最终结果进行输出。 7.根据权利要求6所述的装置， 其特 征在于， 所述检测单 元包括： 统计模块： 在所述至少两张影像层级特征图中， 以特征点为中心确定一圆形窗口， 对窗 口内每种特 征值的数量进行统计， 得到众 数对应的特 征值； 主方向模块： 将所述众数对应的特征值的对应区域看作一个厚度和密度都均匀的不规 则多边形， 计算各子区域的中心 化坐标， 逐像素添加子区域并持续更新中心 化坐标， 得到所 述众数对应的特 征值的对应区域的中心化 坐标， 即众 数特征值中心化 坐标； 确定模块： 将特 征点与众 数特征值中心化 坐标的连线方向作为特 征点的主方向。 8.根据权利要求7 所述的装置， 其特 征在于， 所述检测单 元进一步包括： 分析模块： 针对次众数特征值加以分析， 若次众数特征区域超过众数特征区域的第一 百分比， 则增加计算次众数特征区域的中心化坐标， 为特征点确定出次主方向以及其对应 的特征向量。 9.一种电子设备， 包括存储器、 处理器以及存储在所述存储器中并且可以在所述处理 器上运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1 至5中任一项所述方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1至 5中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115205558 A 3