(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210682992.5 (22)申请日 2022.06.16 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区八一路 299号 (72)发明人 杨文　张岩　李号元　张瑞祥　 余淮　夏桂松　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 张辰 (51)Int.Cl. G06F 16/583(2019.01) G06V 20/10(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01)G06V 10/42(2022.01) G06V 10/74(2022.01) (54)发明名称 局部特征增强光学SAR遥感图像跨模态检索 方法及设备 (57)摘要 本发明提供了一种局部特征增强光学SAR遥 感图像跨模态检索方法及设备。 所述方法包括： 步骤1至步骤10。 本发明采用跨模态互注意力机 制， 增强对齐区域局部特征， 同时利用广义平均 池化进一步增加对齐区域局部特征在全局特征 中所占比重， 从而减小图像非对齐问题对光学 SAR遥感图像跨模态检索带来的影响。 权利要求书3页 说明书10页 附图4页 CN 115129920 A 2022.09.30 CN 115129920 A 1.一种局部特征增 强光学SAR遥感图像跨模态检索方法， 其特征在于， 包括： 步骤1、 将 非对齐的光学遥感图像xv与SAR遥感图像xs分别送入两路结构完全相同的深度卷积神经网 络G(·)中以提取图像特征， 两路 网络不共享参数， 得到光学特征图 以及 SAR特征图 其中θv与θs分别为光学特征提取网络与SAR特征提取网络的 网络参数； 步骤2、 将提取到的光学特征Fv与SAR通道特征Fs一起送入跨模态 互注意力模块， 特征图Fv与Fs尺寸均为H×W×C,将其中每一个1 ×1×C的向量视为局部特征， 则特征图Fv与 Fs改写成 其中m＝H ×W,fiv 与fis分别为光学特征图与SAR特征图上1 ×1×C的局部特征， 计 算局部特征两两之间的相似 度， 得到光 学相似度矩阵Rv以及SAR相似度矩阵Rs； 步骤3、 将步骤2中得到的相似度矩阵的维 度变换为m ×H×W， 并将相 似度矩阵送入跨模态特征权重生成模块； 步骤4、 将步骤3的相 似 度矩阵通过一多层感知 机生成卷积核， wv＝Wv(Rv),ws＝Ws(Rs)， 其中wv为光学通路多层感知 机， ws为SAR通路多层 感知机， Rv为光学相似性矩阵,Rs为SAR相似性矩阵； 步骤5、 利用步骤4 中得到的卷积核wv以及ws生成特征权重图， Av＝σ(wv)， As＝σ(ws)， 其中σ 为采用的激活函数， 最终得到光学特征权重图Av和SAR特征权重图As； 步骤6、 利用步骤5中得到的Av与As使用残 差连接的方式对原有的特征进行加权， 得到最终的特征Fv和Fs； 步骤7、 利用步骤6 中得到的 最终的特征Fv与Fs进行广义平均池化得到特征向量fv和特征向量fs； 步骤8、 计算损失函数； 步骤 9、 计算输入光学图像特征与SAR数据库中所有图像特征向量之间的欧氏距离； 步骤10、 对步 骤9中得到的欧氏距离Dist(fv,fs)按照从小到大排序， 其对应的遥感图像即为检索结果。 2.根据权利要求1所述的局部特征增强光学SAR遥感图像跨模态检索方法， 其特征在 于， 所述得到光学相似度矩阵Rv以及SAR相似度矩阵Rs， 包括： 其中， 和 分别为光学相似度矩阵以及SAR相似度矩阵第i行第j列的元素， | ·|2 为特征向量模的大小， Rv与Rs维度均为m ×m。 3.根据权利要求2所述的局部特征增强光学SAR遥感图像跨模态检索方法， 其特征在 于， 所述利用步骤6中得到的特征Fv与Fs进行广义平均池化得到特征向量fv和特征向量fs， 包括： 其中， fv与fs为特征向量， Fv,ij与Fs,ij为光学与SAR特征图上每一像素的值， p为一超 参数。 4.根据权利要求3所述的局部特征增强光学SAR遥感图像跨模态检索方法， 其特征在 于， 所述利用步骤5中得到的Av与 As使用残差连接的方式对原有的特征进 行加权， 得到最 终权　利　要　求　书 1/3 页 2 CN 115129920 A 2的特征Fv和Fs， 包括： Fv＝Fv⊙(1⊕Av)， Fs＝Fs⊙(1⊕As) 其中，⊕，⊙分别为逐 元素求和及相乘。 5.根据权利要求4所述的局部特征增强光学SAR遥感图像跨模态检索方法， 其特征在 于， 所述计算损失函数， 包括： 其中， α为另一超参数， 为作为锚点的光学特征向量， fsp为作为正样本 的SAR特征 向量， fsn为作为负 样本的SAR特 征向量， | |·||2为欧式距离， [ ·]+为在0处进行截断。 6.根据权利要求5所述的局部特征增强光学SAR遥感图像跨模态检索方法， 其特征在 于， 所述计算输入光学图像特征与SAR数据库中所有图像特征向量之间的欧氏距离， 包括： Dist(fv,fs)＝||fv‑fs||2。 7.根据权利要求6所述的局部特征增强光学SAR遥感图像跨模态检索方法， 其特征在 于， 在所述对步骤9中得到的欧氏距离Dist(fv,fs)按照从小到大排序之后， 还包括： 距离越 小则说明图像相似度越高。 8.一种局部特征增强光学SAR遥感图像跨模态检索装置， 其特征在于， 包括： 第一主模 块， 用于实现步骤1、 将非对 齐的光学遥感图像xv与SAR遥感图像xs分别送入 两路结构完全相 同的深度卷积神经网络G( ·)中以提取图像特征， 两路网络不共享参数， 得到光学特征图 以及SAR特征图 其中θv与θs分别为光学特征提取网 络与SAR特征提取网络的网络参数； 第二主模块， 用于实现步骤2、 将提取到的光学特征Fv与 SAR通道特征Fs一起送入跨模态互注 意力模块， 特征图Fv与Fs尺寸均为H×W×C,将其中每一 个1×1×C的向量视为局部特征， 则特征图Fv与Fs改写成 其中m＝H ×W,fiv与fis分别为光学特征图与SAR特征图上1 ×1 ×C的局部特征， 计算局部特征两两之间的相似度， 得到光学相似度矩阵Rv以及SAR相似度 矩阵Rs； 第三主模块， 用于实现步骤3、 将步骤2中得到的相似度矩阵的维度变换为m ×H×W， 并将相似度 矩阵送入跨模态特征权重生成模块； 第四主模块， 用于实现步骤4、 将步骤3的相 似度矩阵通过一多层感知 机生成卷积核， wv＝Wv(Rv),ws＝Ws(Rs)， 其中wv为光学通路多层感 知机， ws为SAR通路多层感知机， Rv为光学相似性矩阵,Rs为SAR相似性矩阵； 第五主模块， 用 于实现步骤5、 利用步骤4中得到的卷积核wv以及ws生成特征权重图， Av＝σ(wv)， As＝σ(ws)， 其中σ 为采用的激活函数， 最终得到光学特征权重图Av和SAR特征权重图As； 第六主模块， 用 于实现步骤 6、 利用步骤5中得到的Av与As使用残差连接的方式对原有的特征进行加权， 得到 最终的特征Fv和Fs； 第七主模块， 用于实现步骤7、 利用步骤6中得到的最终的特征Fv与Fs进 行广义平均池化 得到特征向量fv和 特征 向量fs； 第八主模块， 用于实现步骤8、 计 算损失函数； 第九 主模块， 用于实现步骤9、 计算输入光学图像特征与SAR数据库中所有图像特征向量之间的 欧氏距离； 第十主模块， 用于实现步骤10、 对步骤9中得到的欧氏距离Dist(fv,fs)按照从小 到大排序， 其对应的遥感图像即为检索结果。权　利　要　求　书 2/3 页 3 CN 115129920 A 3