(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210998060.1 (22)申请日 2022.08.19 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 申请人 杭州职业 技术学院 (72)发明人 缑水平　杨华　姚瑶　陈云志　 郭璋　李晟　毛莎莎　 (74)专利代理 机构 陕西电子 工业专利中心 61205 专利代理师 王品华 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/143(2022.01) G06V 10/82(2022.01) (54)发明名称 基于跨模态转换网络与最优传输理论的异 源图像匹配方法 (57)摘要 本发明公开了一种基于跨模态转换网络与 最优传输理论的异源图像匹配方法， 主要解决现 有技术对于大尺寸异源图像对难以平衡匹配速 度和精度的问题。 其实现方案为： 根据开源数据 集构建训练集和测试集； 构建相关图约束 Segformer特征提取骨架； 建立跨模态交叉注意 力Transformer网络， 并将其与特征提取骨架级 联， 构成跨模态转换匹配网络； 利用训练集数据 端到端地训练匹配网络； 将测试集图像输入到训 练好的匹配网络得到输出特征， 根据输出特征计 算测试图像的相似性矩阵， 并使用最优传输优化 该矩阵， 优化后相似性矩阵中最大值点的坐标即 为测试图像对的匹配点。 本发明提高了异源图像 匹配的准确率和匹配速度， 可用于飞行器的辅助 制导。 权利要求书4页 说明书9页 附图3页 CN 115331029 A 2022.11.11 CN 115331029 A 1.跨模态转换网络与最优传输理论的异源图像匹配方法， 其特 征在于， 包括： (1)构建异源图像匹配的训练数据和 测试数据： (1a)从开源数据集OSDataset中选择尺寸为512 ×512的图像对作为选用数据集， 该数 据集包含成对的已经完成配准的SAR和可 见光图像； (1b)将选用数据集每对图像中的可见光 图像作为搜索图像， 在每幅可见光对应的SAR 图像中随机选择像素作为左 上角坐标， 剪裁出256 ×256的图像作为模板图像， 并保存该左 上角坐标作为该图像对的真实标签； (1c)将成对的剪裁后的SAR图像和对应的可见光图像中80％的图像对作为训练集， 20％的图像对作为测试集； (2)构建跨模态Transformer匹配网络N1： (2a)设置包 含相关图约束的Segformer特 征提取骨架； (2b)建立包 含跨模态交叉注意力的Transformer网络N0； (2c)将包含相关图约束的Segformer特征提取骨架、 包含跨模态交叉注意力的 Transformer网络级联， 组成跨模态Transformer匹配网络N1； (3)利用训练数据和最优传输理论， 使用Adam算法对匹配网络N1进行迭代训练， 得到训 练好的匹配网络N2； (4)利用最优传输和训练好的匹配网络N2对测试集的图像对进行匹配： (4a)将测试集中的SAR图像和可见光图像输入到训练好的匹配网络N2中， 得到测试图 像对的SAR图像特 征fs′和可见光图像特 征fo′； (4b)计算测试图像对输出 特征的相似性矩阵M ′： 其中， T表示矩阵的转置， | |||表示取模； (4c)根据测试图像对输出特征的相似性矩阵M ′利用最优传输优化计算测试图像对最 优匹配概 率C*′； (4d)将测试图像最优匹配概率C*′与其相似 性矩阵M′相乘， 得到优化后的相似性度量矩 阵M′opt： M′opt＝C*′ ⊙M′ 其中，⊙表示矩阵中对应位置的元 素相乘； (4e)将M′opt中最大值点的坐标作为匹配点(xtest,ytest)， 该点即为测试集中SAR模板图 像在可见光图像中的对应匹配位置， 完成异源图像的匹配。 2.根据权利要求1所述的方法， 其特征在于， 所述(2a)中设置包含相关图约束的 Segformer特 征提取骨架， 实现如下： (2a1)在已有的Segformer网络中， 设第1个Transformer  Block输出SAR图像的输出特 征图尺寸为 可见光图像的输出特征图尺寸为 构建一个尺寸为 的零矩阵 作为待修 正的第一相关图； (2a2)计算Segfor mer网络中第1个Trans former Block输出SAR图像和可见光特征的互权　利　要　求　书 1/4 页 2 CN 115331029 A 2相关矩阵Cor1， 根据Cor1对第一相关图 进行修正， 得到修正后的第一相关图 并将 与第1个Transformer  Block输出的特 征相乘作为第2个Transformer  Block的输入； (2a3)在已有的Segformer网络中， 设第3个Transformer  Block输出SAR图像的输出特 征图尺寸 为 可见光图像的输出 特征图尺寸 为 构建一个尺寸 为 的零矩阵 作为待修 正的第二相关图； (2a4)计算Segfor mer网络中第3个Trans former Block输出SAR图像和可见光特征的互 相关矩阵Cor3， 根据Cor3对第二相关图 进行修正， 得到修正后的第二相关图 将 与第3个Transformer  Block输出的特 征相乘作为第4个Transformer  Block的输入。 3.根据权利要求2所述的方法， 其特征在于， 所述(2 a2)中根据Cor1对第一相关图 进 行修正， 是依次以Cor1中的每个点(x,y)为修正范围的左上角坐标对第一相关图 进行修 正， 即： 先设置每次修正时左上角坐标(x,y)对应的修正范围为： 再根据该修正范围将第一相关图 中的值修改为 得到修正后的 相关图 其中： 表示 中点(i,j)处的值， Cor1(x,y)为Cor1中点(x,y)处的值； 表示取 和Cor1(x,y)之间的最大值。 4.根据权利要求2所述的方法， 其特征在于， 所述(2 a4)中根据Cor3对第二相关图 进 行修正， 实现如下： 首先， 设置每次修正时Cor3中的每个点(x,y)对应的修正范围 然后， 根据所设置的修正范围将第二相关图 中的值修改为 得到 修正后的相关图 其中： 表示 中点(i,j)处的值， Cor3(x,y)为Cor3中点(x,y) 处的值； 表示取 和Cor3(x,y)之间的最大值。 5.根据权利要求1所述的方法， 其特征在于， 所述(2b)中建立包含跨模态交叉注意力的 Transformer网络N1， 是通过对现有Segformer网络的改进建立， 具体实现如下： 首先， 将现有Segformer网络中的第3、 第4个Transformer  Block去除； 然后， 交换第1个Transformer  Block中的可见光图像特征查询 和SAR图像特征查询 最后， 交换第2个Transformer  Block中的可见光图像特征查询 和SAR图像特征查询 得到包含跨模态交叉注意力的Transformer网络N1。 6.根据权利要求1所述的方法， 其特征在于， 所述(3)中利用训练数据和最优传输， 使用 Adam算法对匹配网络N1进行迭代训练， 实现如下：权　利　要　求　书 2/4 页 3 CN 115331029 A 3