(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210630103.0
(22)申请日 2022.06.06
(71)申请人 武汉大学
地址 430072 湖北省武汉市武昌区珞珈山
街道八一路2 99号
(72)发明人 杨文 张岩 李号元 张瑞祥
余淮
(74)专利代理 机构 武汉科皓知识产权代理事务
所(特殊普通 合伙) 42222
专利代理师 王琪
(51)Int.Cl.
G06F 16/583(2019.01)
G06V 10/36(2022.01)
G06V 10/44(2022.01)
G06V 10/74(2022.01)G06V 10/82(2022.01)
G06V 20/13(2022.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
(54)发明名称
一种基于模态共有特征的光学-SAR遥感图
像跨模态检索方法
(57)摘要
本发明提供一种基于模态共有 特征的光学 ‑
SAR遥感图像跨模态检索方法, 该方法利用通道
随机替换以及引导滤波对光学与SAR遥感图像颜
色以及细 节纹理等表观差异进行消减, 生成新的
图像, 并利用新生成的图像辅助原图训练。 将原
始光学图像与新生成的光学图像送入相同网络,
原始SAR图像与新生成的SAR图像送入相同网络,
利用多向约束损失函数约束四组特征之间的距
离关系, 使得四组特征两两 之间均满足正样本对
距离小于负样本对距离, 使 得网络初步具备提取
模态共有特征能力。 该方法能够更好地提取光学
与SAR遥感图像中结构特征, 语义特征等模态共
有特征, 从而减小模态差异对检索任务造成的影
响, 实现高精度光学 ‑SAR遥感图像跨模态检索。
权利要求书3页 说明书6页 附图3页
CN 115129917 A
2022.09.30
CN 115129917 A
1.一种基于模态共有特征的光学 ‑SAR遥感图像跨模态检索方法, 其特征在于, 包括以
下步骤:
步骤1, 对光学遥 感图像xV和SAR遥感图像xS分别进行通道随机替换, 通过随机替换得到
新的光学图像
与新的SAR图像
步骤2, 将经过通道随机替换的光学图像
以及SAR图像
通过引导滤波消减细节纹理
特征差异, 得到
以及
步骤3, 将步骤2中得到的新生成光学图像
与原始光学图像xV送入光学特征提取网络G
(V)中, 得到特征
将新生成的SAR图像
以及原始SAR图像xS送
入SAR特征提取网络G(S)中, 得到 特征
其中, θV与 θS分别为光学
网络与SAR网络的网络参数, G(V)以及G(S)为结构完全相同, 部 分权重共享的跨模态伪孪生
网络;
步骤4, 将步骤3中得到的光学遥感图像特征FV以及SAR遥感图像特征FS分别送入特征模
态鉴别器中, 判断输入特征属于光学模态还是SAR模态, 分别得到
以及
其
中θD为特征模态鉴别器的网络参数;
步骤5, 计算第一损失函数, 使得特征模态鉴别器可以准确分辨输入特征FV与FS所属的
模态;
步骤6, 利用反向传播的方式对网络进行训练, 得到
其中, θD为步骤4中
特征模态鉴别器参数,
为更新之后的特征模态鉴别器参数, η为训练时设置的学习率大
小;
步骤7, 利用步骤6中得到的更新后的鉴别器参数
将特征提取网络得到的特征输入
鉴别器得到
以及
步骤8, 计算多向约束损失函数, 通过多向约束损 失函数, 使得训练阶段在同一欧式空
间中, 对应同一目标区域的特征之间距离小于不同目标区域特征间的距离, 从而在检索阶
段可以将正负 样本进行区分;
步骤9, 计算第二损失函数, 使得特征模态鉴别器无法准确判别特征所属模态, 增强网
络模态共有特 征提取能力;
步骤10, 通过反向传播算法对跨模态伪孪生网络进行训练, 光学网络参数更新为:
SAR网络参数 更新为:
步骤11, 通过步骤10训练得到的跨模态伪孪生网络, 提取输入的光学图像xV特征得到
FV; 提取输入的SAR图像xs特征得到Fs, 同时计算输入光学图像特征与SAR数据库中所有图像
特征之间的欧氏距离;
步骤12, 对步骤11中得到的欧氏距离按照从小到大排序, 距离越小则说明图像相似度
越高, 相似度最高的即为 最终检索结果。
2.如权利要求1所述的一种基于模态共有特征的光学 ‑SAR遥感图像跨模态检索方法,
其特征在于: 步骤1中, 光学图像通道随机替换表达式为:权 利 要 求 书 1/3 页
2
CN 115129917 A
2其中
分别代表光学遥
感图像的三个不同通道, SAR遥感图像通道随机替换表达式为:
其中
分别为伪彩SAR图像的三个通道, 对 应SAR图像三种不同的极化方式; 在训练的
每一个批次中, 以均 等的概率选取
以及
中的一个作为新生成的光学图像
同时以均等 概率选取
以及
中的一个作为 新生成的SAR图像
3.如权利要求1所述的一种基于模态共有特征的光学 ‑SAR遥感图像跨模态检索方法,
其特征在于: 步骤2中,
以及
其中,
与
分别
为
以及
在引导滤波窗口中的对应位置像素值;
其中, I为引导图像, ω为滤波窗口中像素数
量, ωk代表滤波窗口, k代表滤波窗口中心所在位置, μk代表滤波窗口中像素均值,
代表
滤波窗口中像素方差, Ii与Ij为滤波窗口所在位置引导图像上对 应位置的像素值, ∈为设置
的略大于 0的常数, 防止分母为0 。
4.如权利要求1所述的一种基于模态共有特征的光学 ‑SAR遥感图像跨模态检索方法,
其特征在于: 步骤3中模态伪孪生网络, 具体结构为将ResNet50按照特征图感受野 大小从前
到深划分为5个模块, 前2个模块权 重共享, 后3个模块权 重不共享。
5.如权利要求1所述的一种基于模态共有特征的光学 ‑SAR遥感图像跨模态检索方法,
其特征在于: 步骤4中特 征模块鉴别器使用两个全连接层构成。
6.如权利要求1所述的一种基于模态共有特征的光学 ‑SAR遥感图像跨模态检索方法,
其特征在于: 步骤5的第一损失函数的表达式为
7.如权利要求1所述的一种基于模态共有特征的光学 ‑SAR遥感图像跨模态检索方法,
其特征在于: 步骤8中多向约束损失函数的表达式为
多向约束损失函数用于约束步骤3中得到的四组特征
之间的距离, 其中V,
S以及
分别代表原始光学图像特征, 新生成的光学图像特征, 原始
SAR图像特征以及新生成的SAR图像特征, 四组特征两两之间需要满足距离约束, 上述损失
函数中总共包括6项 单独的距离约束损失函数, 每一项在结构上相同, 以原始 光学图像特征
与原始SAR图像特 征间的距离约束为例, 其表达式为:
其中, P
与K分别为一个批次中类别数目与正样本数目, α为一人为设置的超参数,
是原始光学
特征,
以及
分别为作为正负样本的原始SAR特征。
代表特征间的欧式距离的平权 利 要 求 书 2/3 页
3
CN 115129917 A
3
专利 一种基于模态共有特征的光学-SAR遥感图像跨模态检索方法
文档预览
中文文档
13 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
温馨提示:本文档共13页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 SC 于 2024-02-18 22:31:03上传分享