(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211069062.9 (22)申请日 2022.08.31 (71)申请人 沈阳理工大 学 地址 110159 辽宁省沈阳市 浑南新区南屏 中路6号 (72)发明人 姜月秋　杨威　高宏伟　张昕　 (74)专利代理 机构 北京金宏来专利代理事务所 (特殊普通 合伙) 11641 专利代理师 左海明 (51)Int.Cl. G06T 5/00(2006.01) G06T 5/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/74(2022.01)G06V 10/774(2022.01) (54)发明名称 基于多支路金字塔大核卷积网络的海上图 像去雾方法 (57)摘要 本发明提供了一种基于多支路金字塔大核 卷积网络的海上图像去雾方法， 包括： 获取待处 理图像； 将所述待处理图像输入 预先训练的多支 路金字塔的大核编码解码网络， 得到去雾图像； 其中， 所述支路金字塔的大核编码解码网络包括 第一模块、 第二模块、 多支路金字塔模块、 自注意 力机制模块、 全局路径聚合模块。 本发明通过构 建多支路特征金字塔架构组成反射预测、 着色预 测和语义预测的混合表征空间解决海上图像去 雾清晰化任务， 同时引入重参数化方法， 形成由 大量不同感受野堆叠的组合式模型并进一步使 得组合感受野更加丰富。 权利要求书2页 说明书8页 附图5页 CN 115375579 A 2022.11.22 CN 115375579 A 1.一种基于多支路金字塔大核卷积网络的海上图像去雾方法， 其特 征在于， 包括： 获取待处 理图像； 将所述待处理图像输入预先训练的多支路金字塔的大核编码解码网络， 得到去雾图 像； 其中， 所述支路金字塔的大核编码解码网络包括第 一模块、 第二模块、 多支路金字塔模 块、 自注意力机制模块、 全局路径聚合模块。 2.如权利要求1所述的方法， 其特征在于， 所述第 一模块用于针对所述待处理图像进行 深度卷积， 包括依次连接的一级卷积层、 二级卷积层、 三级卷积层和四级卷积层； 所述第一 模块中通道数量 为64。 3.如权利要求2所述的方法， 其特 征在于， 所述第一卷积层的深度为3 ×3的卷积层； 所述第二卷积层的深度为7 ×7的卷积层； 所述第三卷积层的深度为1 ×1的卷积层； 所述第四卷积层的深度为7 ×7的卷积层。 4.如权利要求1所述的方法， 其特征在于， 所述第 二模块包括第 一处理单元和第 二处理 单元； 所述第一处理单元 的输出端和所述第二处理单元 的输入端进行逐像素相加； 所述第 一处理单元包括依次连接的批归一化、 第一1 ×1卷积层、 第二13 ×13卷积层和第三1 ×1卷 积层； 所述第二处理单元包括依次连接的批归一化、 第四1 ×1卷积层、 Swish激活函数和第 五1×1卷积层。 5.如权利要求1所述的方法， 其特征在于， 所述多支路金字塔模块包括第 一支路和第 二 支路； 所述第一支路包括依次连接的第 一阶梯单元、 第 一转换单元、 第二阶梯单元、 第 二转换 单元、 第三阶梯单元、 第四 阶梯单元、 第一上采样单元、 第五阶梯单元、 第二上采样单元和 第 六阶梯单 元； 所述第二支路包括依次连接的一级阶梯单元、 一级转换单元、 二级阶梯单元、 二级转换 单元、 三级阶梯单元、 三级转换单元、 四级阶梯单元、 五级阶梯单元、 一级上采样单元、 六级 阶梯单元、 二级上采样单 元、 七级阶梯单 元、 三级上采样单 元和八级阶梯单 元。 6.如权利要求1所述的方法， 其特征在于， 所述自注意力 机制模块包括第 一全局平均池 化层、 第一全连接层和第二全连接层； 所述全局平均池化层、 第一全连接层和 第二全连接层 依次连接， 生成待处理图像的注意力得分， 并基于所述注意力得分， 获取包含注意力的特 征。 7.如权利要求6所述的方法， 其特征在于， 所述全局路径聚合模块包括依次连接的第 二 全局平均池化层、 第三全连接层、 第四全连接层和上采样层， 得到全局特征； 所述全局特征 和所述包 含注意力的特 征进行逐像素聚合， 得到局部 ‑全局混合特 征； 将所述局部 ‑全局混合特征通过全局3x3卷积层和全局上采样进行处理， 得到去雾图 像； 通过组合损失函数判别所述去雾图像的去雾等级， 当所述去雾等级大于预设的阈值 时， 判定所述去雾图像符合要求。 8.如权利要求7 所述的方法， 其特 征在于， 所述组合损失函数对应的计算式如下： Ltotal＝α1Ladv+α2LMSE+α3Lper权　利　要　求　书 1/2 页 2 CN 115375579 A 2其中， 所述Ladv表示对抗性损失函数表达式； LMSE表示MSE损失函数表达式； Lper表示感知 相似性损失函数表达 式； α1表示对抗性损失所占的权重配置参数； α2表示MSE损失所占的权 重配置参数； α3表示感知相似性损失所占的权 重配置参数。 9.如权利要求1所述的方法， 其特 征在于， 所述对抗 性损失函数表达式Ladv如下： 其中， B表示小批次中的样本数量， i＝1,2, …,B； D()表示判别器的输出； G()表示生成 的图像； z表示输入的有雾图像； 所述MSE损失函数表达式LMSE如下： 其中， K表示 生成图像中的像素 数量， j＝1,2, …,K， R表示真实无雾图像； 所述感知相似性损失函数表达式Lper如下： 其中， P表示VG G 16模型中Co nv3‑3层输出特征图 中的元素数量， n＝1,2,…,P。 10.如权利要求1所述的方法， 其特征在于， 所述将所述待处理图像输入预先训练的多 支路金字塔的大核编码解码网络之前， 还 包括： 将所述待处理图像通过暗通道先验方法进行一级处理， 得到待处理图像的雾深估计子 信息； 将所述待处理图像的雾深估计子信息和待处理图像进行图像融合， 得到一级输入图 像； 将所述一级输入图像输入预 先训练的多支路金字塔的大核编码解码网络 。权　利　要　求　书 2/2 页 3 CN 115375579 A 3