(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210748938.6 (22)申请日 2022.06.28 (71)申请人 北京航空航天大 学 地址 100000 北京市海淀区学院路37号 (72)发明人 张浩鹏　李晓涵　姜志国　谢凤英　 赵丹培　 (74)专利代理 机构 北京慕达星云知识产权代理 事务所 (特殊普通合伙) 11465 专利代理师 符继超 (51)Int.Cl. G06T 7/33(2017.01) G06T 7/269(2017.01) G06T 7/246(2017.01) G06V 10/74(2022.01)G06V 20/13(2022.01) G06V 10/82(2022.01) G06V 10/70(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/04(2006.01) (54)发明名称 一种基于自监督的临近空间遥感图像配准 方法 (57)摘要 本发明公开了一种基于自监督的临近空间 遥感图像配准方法， 第一步将需要配准的图像输 入到卷积神经网络中得到深度特征进行特征匹 配， 然后使用RANSAC筛选匹配特征点， 估计两图 像对之间的单应性矩阵， 得到粗配准的图像对； 第二步， 将粗配准的图像对输入到配准流估计网 络中， 经过金字塔特征提取和级联的光流推断过 程， 最终获得基于多尺度的配准流估计结果和像 素级匹配掩膜， 通过掩膜删除第一步获得的匹配 特征点中匹配度高的点再重新计算单应性矩阵， 以此迭代配准算法， 让它在第一步中发现更多的 单应矩阵候选。 在每次迭代中， 删除了先前矩阵 局内点的特征对应， 以及先前预测的可匹配掩膜 中的位置， 然后再重新计算RANSAC， 从而获得更 优配准结果。 权利要求书3页 说明书9页 附图3页 CN 115082533 A 2022.09.20 CN 115082533 A 1.一种基于自监 督的临近空间遥感图像 配准方法， 其特 征在于， 包括以下步骤： 步骤1： 采集临近空间遥感图像， 获得待配准图像对； 待配准图像对包括待匹配 图像和 目标图像； 步骤2： 对待配准图像对采用预训练的深度卷积神经网络进行特征匹配， 获得匹配点， 并根据匹配点计算待配准图像对之间的单应性矩阵， 根据单应性矩阵进行粗配准， 获得粗 配准图像对， 包括 粗匹配结果图和目标图像； 步骤3： 获取训练数据集， 经过步骤2预处理后对细匹配光流推理网络进行训练， 获得优 化后细匹配光 流推理网络； 步骤4： 将步骤2中的粗配准图像对输入优化后细匹配光流推理网络， 获得细配准流场， 并根据细配准流场 将粗配准图像对中的粗匹配结果图与目标图像进行配准， 获得配准结果 和掩膜； 步骤5： 根据掩膜筛选所述步骤2中的匹配点， 删除对应的单应性矩阵局内点的特征对 应， 并返回所述步骤2重新计算单应性矩阵， 直至重复循环n次， 将 每次重复循环获得的所述 配准结果进行合并， 获得最终结果图。 2.根据权利要求1所述的一种基于自监督的临近空间遥感图像配准方法， 其特征在于， 所述步骤2的具体实现过程 为： 步骤21： 采用预训练的深度卷积神经网络提取图像对待配准图像对的图像特征， 并利 用余弦相似性获得待配准图像对之间匹配的特 征点对； 步骤22： 采用RANSAC算法筛选误匹配的特征点对， 使用剩余匹配正确的点构建单应性 矩阵， 获得候选单应性矩阵变化； 步骤23： 根据单应性矩阵对待配准图像对进行粗配准， 生成粗匹配结果图。 3.根据权利要求1所述的一种基于自监督的临近空间遥感图像配准方法， 其特征在于， 所述步骤3的具体实现过程 为： 步骤31： 将粗匹配结果图CI1与目标图像CI2输入金字塔特征提取网络， 获得若干层特征 金字塔； 步骤32： 将若干层特征金字塔输入级联配准流估计网络中， 估计获得细配准流场， 将最 后一层特 征金字塔输入到掩膜估计网络中获得掩膜； 步骤33： 将粗匹配结果图与目标图像根据细配准 流场进行配准， 获得配准结果； 步骤34： 基于损失函数进行自监督训练优化金字塔特征提取网络和级联配准流估计网 络构成的细匹配光 流推理网络， 获得优化后细匹配光 流推理网络 。 4.根据权利要求3所述的一种基于自监督的临近空间遥感图像配准方法， 其特征在于， 级联配准流估计网络包括若干级联配准流推理网络和正则化过程； 级联配准流推理网络进 行光流推理， 具体过程 为： 步骤321： 每一层级k将上一层级获得的配准流场上采样后， 应用于本层级k对应的特征 金字塔的待配准图像特征图Fk(CI1)， 获得进一步配准特征图 然后和当前层级的 目标图像特征图Fk(CI2)计算像素级点匹配率， 并输入卷积层评估特征点对应情况， 筛选匹 配度高的点作为对应点， 获得像素级剩余 光流场 点匹配率计算公式为：权　利　要　求　书 1/3 页 2 CN 115082533 A 2通过计算第k层进一步配准特征图 点(a,b)和目标图像特征图Fk(CI2)点(m,n) 之间的余弦距离获得点匹配率C； 步骤322： 将像素级剩余光流场和上一层级获得的配准流场叠加重新应用于待配准图 像特征图， 获得 更进一步配准特 征图； 步骤323： 将更进一步配准特征图和目标图像特征图、 像素级剩余光流场合并输入到卷 积层中， 最小化更进一步配准特征图和目标图像特征图之 间的特征空间距离获得子像素级 剩余流场 此为第k层配准 流场， 经过正则化后输入到下一层进行级联， 所有层级 级联结 束获得细配准 流场； 则每一层级获得的配准 流场表示 为： 其中， 为本层获得的配准流场； 为上一层上采样后的配准流场； 为像素级剩 余光流场； 为子像素级剩余 流场。 5.根据权利要求4所述的一种基于自监督的临近空间遥感图像配准方法， 其特征在于， 所述步骤3中细匹配光 流推理网络进行自监 督训练优化的具体实现过程 为： 步骤341： 损失函数包括三个部分， 首先通过特征扭曲来减少每一层级待配准图像特征 图和目标图像特 征图之间的特 征空间距离； 基于细匹配光流推理网络输出的细配准流场， 将待配准图像特征图F1(CI1)扭曲到F1 (CI1)′， 设置掩膜 表示粗匹配结果图CI1和目标图像CI2的三元组损失： 步骤342： 使用特征依赖损失函数来保留学习特征的扭曲变换等变， 粗匹配结果图CI1和 目标图像CI2的特征依赖损失函数表示 为： 其中f(.)表示金字塔特 征提取过程， W12(.)是将细配准 流场应用于图的过程； 步骤343： 将掩膜 作为匹配度， 由于两幅输入图像之间的匹配性一致， 两幅输入图 像之间的光流互为逆变换， 则掩膜 表示粗匹配结果图CI1中位置(x,y)和目标图像CI2 中位置(x ’,y’)的循环一 致的匹配性， 表达式为： 其中， M2→1是从CI2到CI1预测的点匹配性； M1→2是从CI1到CI2预测的点匹配性； 步骤344： 加入匹配性损失函数令掩膜 趋近于1， 粗匹配结果图CI1和目标图像CI2 的匹配性损失函数的表达式为：权　利　要　求　书 2/3 页 3 CN 115082533 A 3