(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210719467.6 (22)申请日 2022.06.23 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区德雅路 109号 (72)发明人 邹焕新　魏娟　孙丽　曹旭　 李美霖　贺诗甜　刘烁　 (74)专利代理 机构 长沙国科天河知识产权代理 有限公司 432 25 专利代理师 邱轶 (51)Int.Cl. G06T 5/50(2006.01) G06T 3/00(2006.01) G06V 10/74(2022.01) G06V 10/774(2022.01) (54)发明名称 一种SAR图像转 光学图像的转换方法及装置 (57)摘要 本申请涉及一种SAR图像转光学图像的转换 方法及装置， 所述方法包括： 获取SAR图像以及对 应的光学图像组成训练集； 将训练集中的SAR图 像和光学图像输入C FR‑GAN模型， 输 出判别结果， 其中， CFR‑GAN模型包 括生成网络和鉴别网络， 生 成网络包括编码器、 交叉融合推理结构、 解码器； 将光学图像和判别结果输入预先构建的总损失 函数， 对模型进行训练， 得到CFR ‑GAN优化模型； 将待处理的SAR图像输入CFR ‑GAN优化模型进行 转换， 得到光学转换图像。 采用本方法能够利用 CFR‑GAN优化模型中的交叉融合推理结构在不同 分辨率下 实现不同尺度的SAR图像到光学图像的 转换， 保留了SAR图像每个尺度的特征信息， 从而 提升了SAR图像转 光学图像的转换性能。 权利要求书3页 说明书11页 附图4页 CN 115100091 A 2022.09.23 CN 115100091 A 1.一种SAR图像转 光学图像的转换 方法， 其特 征在于， 所述方法包括： 获取SAR图像以及对应的光学图像， 组成训练集； 将训练集中的所述SAR图像和所述光学图像输入CFR ‑GAN模型， 输出判别结果， 其中， CFR‑GAN模型包括生成网络和鉴别网络， 所述生成网络包括编码器、 交叉融合推理结构、 解 码器； 所述编码 器对所述SAR图像进 行编码， 得到SAR图像特征， 所述交叉融合推理结构对 所 述SAR图像特征进 行推理， 得到伪光学图像特征， 所述解码 器对所述伪光学图像特征进 行解 码， 得到伪光学图像； 所述鉴别网络对 所述光学图像和所述伪光学图像进 行判别， 输出判别 结果； 将所述光学图像和所述判别结果输入预先构建的损失函数， 对所述CFR ‑GAN模型进行 训练， 得到 CFR‑GAN优化模型； 将待处理的SAR图像输入所述CFR ‑GAN优化模型进行转换， 得到光学转换图像。 2.根据权利要求1所述的方法， 其特征在于， 所述交叉融合推理结构对所述SAR图像特 征进行推理， 得到伪光学图像特 征， 包括： 将所述SA R图像特征分为两种不同尺度的图像特征x1和图像特征x2， 将所述图像特征x1 和图像特 征x2分别输入三层残差块进行 卷积， 得到第一阶段输出 特征图p1和p2； 将所述第一阶段输出特征图p1和p2进行交叉融合， 得到第二阶段输入特征图y1、 y2和y3， 将所述第二阶段输入特征图y1、 y2和y3分别输入三层残差块进 行卷积， 得到第二阶段输出特 征图q1、 q2和q3； 将所述第二阶段输出特征图q1、 q2和q3进行交叉融合， 得到第三阶段输入特征图z1、 z2、 z3和z4， 将所述第三阶段输入特征图z1、 z2、 z3和z4分别输入三层残差块进行卷积， 得到第三 阶段输出 特征图k1、 k2、 k3和k4； 将所述第三阶段输出 特征图k1、 k2、 k3和k4进行融合， 得到所述伪光学图像特 征。 3.根据权利要求2所述 的方法， 其特征在于， 将所述第一阶段输出特征图p1和p2进行交 叉融合， 得到第二阶段输入特 征图y1、 y2和y3， 包括： 将所述p1和经过一次上采样的所述p2进行融合， 得到所述第二阶段输入特 征图y1； 将所述p2和经过一次降采样的所述p1进行融合， 得到所述第二阶段输入特 征图y2； 将经过两次降采样的所述p1和经过依次降采样的所述p2进行融合， 得到所述第二阶段 输入特征图y3。 4.根据权利 要求2所述的方法， 其特征在于， 将所述第二阶段输出特征图q1、 q2和q3进行 交叉融合， 得到第三阶段输入特 征图z1、 z2、 z3和z4， 包括： 将所述q1、 经过一次上采样的所述q2和经过两次上采样的所述q3进行融合， 得到所述第 三阶段输入特 征图z1； 将所述q2、 经过一次降采样的所述q1和经过两次上采样的所述q3进行融合， 得到所述第 三阶段输入特 征图z2； 将所述q3、 经过两次降采样的所述q1和经过一次降采样的所述q2进行融合， 得到所述第 三阶段输入特 征图z3； 将经过三次降采样的所述q1、 经过两次降采样的所述q2和经过一次降采样的所述q3进 行融合， 得到所述第三阶段输入特 征图z4。 5.根据权利要求3至4任意一项所述的方法， 其特征在于， 根据最近邻插值算法进行上权　利　要　求　书 1/3 页 2 CN 115100091 A 2采样， 根据核大小为3 ×3、 步幅为2的卷积运 算进行降采样。 6.根据权利要求1所述的方法， 其特征在于， 所述鉴别网络对所述光学图像和所述伪光 学图像进行判别， 输出判别结果， 包括： 所述鉴别网络通过构建两层图像金字塔结构对所述伪光学图像与所述光学图像进行 判别， 得到判别结果。 7.根据权利要求1所述的方法， 其特征在于， 将所述光学图像和所述判别结果输入预先 构建的损失函数， 对所述CFR ‑GAN模型进行训练， 得到 CFR‑GAN优化模型， 包括： 预先构建的损失函数包括最小二乘生成对抗损失LLSGAN， 感知损失LVGG和高维匹配损失 Lm， 分别表示 为 其中， x表示所述SAR图像， y表示所述光学图像， G是所述生成网络， D是所述鉴别网络， pdata(x)表示SAR图像x服从的概率分布， pdata(y)表示光学图像y服从的概率分布， 和 表示期望值， Vi(·)表示VGG19网络中的第i个特征提取层， Ci、 Wi、 Hi分别表示特征 图的通道数、 宽度、 高度， N表示特征提取层的层数， Di(·)表示鉴别网络中的第i个特征提 取层， M是鉴别网络中的特征提取层的层数， D(y)表 示光学图像经过鉴别网络鉴别的输出结 果； G(x)表示SAR图像经 过生成网络生成的伪光学图像； 将所述光学图像和所述判别结果输入预先构建的损失函数， 将所述损失函数加权组合 为总损失函数， 根据所述总损失函数对所述CFR ‑GAN模型进行训练， 得到 CFR‑GAN优化模型。 8.根据权利要求7所述的方法， 其特征在于， 将所述损 失函数加权组合为总损 失函数， 根据所述总损失函数对所述CFR ‑GAN模型进行训练， 得到 CFR‑GAN优化模型， 包括： 将所述损失函数加权组合 为总损失函数Ltatol， 表示为 Ltatol＝LLSGAN+ μ1LVGG+ μ2Lm 其中， μ1和 μ2表示调节各个损失函数之间平衡的权 重； 根据所述总损失函数Ltatol对所述CFR ‑GAN模型进行训练， 得到 CFR‑GAN优化模型。 9.根据权利要求1所述的方法， 其特征在于， 获取SAR图像以及对应的光学图像， 组成训 练集， 包括： 获取QXS‑SAROPT数据集中成对的SAR图像和光学图像构建第一数据集； 获取SEN1 ‑2数据集构成对的SAR图像和光学图像构建第二数据集； 根据所述第一数据集和第二数据集组成训练集。 10.一种SAR图像转 光学图像的转换装置， 其特 征在于， 所述装置包括： 构建数据集模块， 用于获取SAR图像以及对应的光学图像， 组成训练集； 模型训练模块， 用于将训练集中的所述SAR图像和所述光学图像输入CFR ‑GAN模型， 输权　利　要　求　书 2/3 页 3 CN 115100091 A 3