(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210630103.0 (22)申请日 2022.06.06 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 杨文　张岩　李号元　张瑞祥　 余淮　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 王琪 (51)Int.Cl. G06F 16/583(2019.01) G06V 10/36(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01)G06V 10/82(2022.01) G06V 20/13(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于模态共有特征的光学-SAR遥感图 像跨模态检索方法 (57)摘要 本发明提供一种基于模态共有 特征的光学 ‑ SAR遥感图像跨模态检索方法， 该方法利用通道 随机替换以及引导滤波对光学与SAR遥感图像颜 色以及细 节纹理等表观差异进行消减， 生成新的 图像， 并利用新生成的图像辅助原图训练。 将原 始光学图像与新生成的光学图像送入相同网络， 原始SAR图像与新生成的SAR图像送入相同网络， 利用多向约束损失函数约束四组特征之间的距 离关系， 使得四组特征两两 之间均满足正样本对 距离小于负样本对距离， 使 得网络初步具备提取 模态共有特征能力。 该方法能够更好地提取光学 与SAR遥感图像中结构特征， 语义特征等模态共 有特征， 从而减小模态差异对检索任务造成的影 响， 实现高精度光学 ‑SAR遥感图像跨模态检索。 权利要求书3页 说明书6页 附图3页 CN 115129917 A 2022.09.30 CN 115129917 A 1.一种基于模态共有特征的光学 ‑SAR遥感图像跨模态检索方法， 其特征在于， 包括以 下步骤： 步骤1， 对光学遥 感图像xV和SAR遥感图像xS分别进行通道随机替换， 通过随机替换得到 新的光学图像 与新的SAR图像 步骤2， 将经过通道随机替换的光学图像 以及SAR图像 通过引导滤波消减细节纹理 特征差异， 得到 以及 步骤3， 将步骤2中得到的新生成光学图像 与原始光学图像xV送入光学特征提取网络G (V)中， 得到特征 将新生成的SAR图像 以及原始SAR图像xS送 入SAR特征提取网络G(S)中， 得到 特征 其中， θV与 θS分别为光学 网络与SAR网络的网络参数， G(V)以及G(S)为结构完全相同， 部 分权重共享的跨模态伪孪生 网络； 步骤4， 将步骤3中得到的光学遥感图像特征FV以及SAR遥感图像特征FS分别送入特征模 态鉴别器中， 判断输入特征属于光学模态还是SAR模态， 分别得到 以及 其 中θD为特征模态鉴别器的网络参数； 步骤5， 计算第一损失函数， 使得特征模态鉴别器可以准确分辨输入特征FV与FS所属的 模态； 步骤6， 利用反向传播的方式对网络进行训练， 得到 其中， θD为步骤4中 特征模态鉴别器参数， 为更新之后的特征模态鉴别器参数， η为训练时设置的学习率大 小； 步骤7， 利用步骤6中得到的更新后的鉴别器参数 将特征提取网络得到的特征输入 鉴别器得到 以及 步骤8， 计算多向约束损失函数， 通过多向约束损 失函数， 使得训练阶段在同一欧式空 间中， 对应同一目标区域的特征之间距离小于不同目标区域特征间的距离， 从而在检索阶 段可以将正负 样本进行区分； 步骤9， 计算第二损失函数， 使得特征模态鉴别器无法准确判别特征所属模态， 增强网 络模态共有特 征提取能力； 步骤10， 通过反向传播算法对跨模态伪孪生网络进行训练， 光学网络参数更新为： SAR网络参数 更新为： 步骤11， 通过步骤10训练得到的跨模态伪孪生网络， 提取输入的光学图像xV特征得到 FV； 提取输入的SAR图像xs特征得到Fs， 同时计算输入光学图像特征与SAR数据库中所有图像 特征之间的欧氏距离； 步骤12， 对步骤11中得到的欧氏距离按照从小到大排序， 距离越小则说明图像相似度 越高， 相似度最高的即为 最终检索结果。 2.如权利要求1所述的一种基于模态共有特征的光学 ‑SAR遥感图像跨模态检索方法， 其特征在于： 步骤1中， 光学图像通道随机替换表达式为：权　利　要　求　书 1/3 页 2 CN 115129917 A 2其中 分别代表光学遥 感图像的三个不同通道， SAR遥感图像通道随机替换表达式为： 其中 分别为伪彩SAR图像的三个通道， 对 应SAR图像三种不同的极化方式； 在训练的 每一个批次中， 以均 等的概率选取 以及 中的一个作为新生成的光学图像 同时以均等 概率选取 以及 中的一个作为 新生成的SAR图像 3.如权利要求1所述的一种基于模态共有特征的光学 ‑SAR遥感图像跨模态检索方法， 其特征在于： 步骤2中， 以及 其中， 与 分别 为 以及 在引导滤波窗口中的对应位置像素值； 其中， I为引导图像， ω为滤波窗口中像素数 量， ωk代表滤波窗口， k代表滤波窗口中心所在位置， μk代表滤波窗口中像素均值， 代表 滤波窗口中像素方差， Ii与Ij为滤波窗口所在位置引导图像上对 应位置的像素值， ∈为设置 的略大于 0的常数， 防止分母为0 。 4.如权利要求1所述的一种基于模态共有特征的光学 ‑SAR遥感图像跨模态检索方法， 其特征在于： 步骤3中模态伪孪生网络， 具体结构为将ResNet50按照特征图感受野 大小从前 到深划分为5个模块， 前2个模块权 重共享， 后3个模块权 重不共享。 5.如权利要求1所述的一种基于模态共有特征的光学 ‑SAR遥感图像跨模态检索方法， 其特征在于： 步骤4中特 征模块鉴别器使用两个全连接层构成。 6.如权利要求1所述的一种基于模态共有特征的光学 ‑SAR遥感图像跨模态检索方法， 其特征在于： 步骤5的第一损失函数的表达式为 7.如权利要求1所述的一种基于模态共有特征的光学 ‑SAR遥感图像跨模态检索方法， 其特征在于： 步骤8中多向约束损失函数的表达式为 多向约束损失函数用于约束步骤3中得到的四组特征 之间的距离， 其中V, S以及 分别代表原始光学图像特征， 新生成的光学图像特征， 原始 SAR图像特征以及新生成的SAR图像特征， 四组特征两两之间需要满足距离约束， 上述损失 函数中总共包括6项 单独的距离约束损失函数， 每一项在结构上相同， 以原始 光学图像特征 与原始SAR图像特 征间的距离约束为例， 其表达式为： 其中， P 与K分别为一个批次中类别数目与正样本数目， α为一人为设置的超参数， 是原始光学 特征， 以及 分别为作为正负样本的原始SAR特征。 代表特征间的欧式距离的平权　利　要　求　书 2/3 页 3 CN 115129917 A 3