(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210682052.6 (22)申请日 2022.06.15 (71)申请人 清华大学深圳国际研究生院 地址 518055 广东省深圳市南 山区西丽 街 道深圳大 学城清华校区A栋二楼 (72)发明人 梁斌　王学谦　柴晓萱　周俊池　 武双飞　 (74)专利代理 机构 深圳新创友知识产权代理有 限公司 4 4223 专利代理师 徐罗艳 (51)Int.Cl. G06T 5/00(2006.01) G06T 5/10(2006.01) G06V 10/74(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于先验生成对抗网络的图像去雾方法及 模型 (57)摘要 本发明公开了基于先验生成对抗网络的图 像去雾方法， 包括： 收集成对的有雾图像和无雾 图像构建训练集； 对训练集的图像进行预处理， 获得四通道 的图像， 所述四通道包括R、 G、 B三通 道以及滤波后保留有高频与低频信息的第四通 道； 取四通道有雾图像的浅层特征并进行下采 样， 得到深层特征； 对深层特征进行上采样以获 取重构上采样特征， 上采样过程中通过跳跃连接 将上采样之前的图像特征融入重构上采样特征， 重构出四通道的去雾图像； 根据图像生成器损失 和辨别器损失在训练集上训练所述图像去雾模 型； 图像生成器损失包括有雾图像与去雾图像 之 间的重建损失， 对抗损失， 以及表征去雾图像与 无雾图像在HSV空间的区别的先验损失。 权利要求书3页 说明书10页 附图5页 CN 114998151 A 2022.09.02 CN 114998151 A 1.一种基于先验生成对抗网络的图像去雾方法， 其特征在于， 包括对图像去雾模型进 行训练的步骤， 其中所述图像去雾模型包括图像生成器和 辨别器， 所述图像生成器用于将 输入的有雾图像处理为去雾图像， 所述辨别器用于辨别所述去雾图像是否为无雾图像； 所 述对图像去雾模型进行训练的步骤 包括： S1、 收集成对的有雾图像和无雾图像构成图像对， 利用图像对构建训练用的数据集， 并 将数据集划分为训练集和 测试集； S2、 对训练集的图像进行预处理， 获得四通道的图像， 所述四通道包括R、 G、 B三通道以 及滤波后保留有高频与低频信息的第四通道； S3、 对预处理后的训练集， 提取四通道的有雾图像的浅层特征并进行下采样， 得到深层 特征； S4、 对所述深层特征进行上采样以获取重构上采样特征， 上采样过程中通过跳跃连接 将上采样之前的图像特 征融入所述重构上采样特 征， 重构出四通道的去雾图像； S5、 根据图像生成器损失和辨别器损失， 在训练集上训练所述图像去雾模型； 其中， 所 述图像生成器损失包括： 所述有雾图像与所述去雾图像之 间的重建损失， 对抗损失， 以及表 征所述去雾图像与所述无雾图像在HSV空间的区别的先验损失； 其中， HSV空间包括代表色 调的H通道、 代 表饱和度的S通道和代 表明度的V通道。 2.如权利要求1所述的图像去雾方法， 其特征在于， 还包括： 利用所述测试集在已完成 训练的所述图像去雾模型上进行测试， 并根据测试结果判断去雾效果， 所述去雾效果利用 峰值信噪比P SNR和结构相似度S SIM两个指标来衡量。 3.如权利要求1所述的图像去雾方法， 其特 征在于， 步骤S2具体包括： S21、 读取训练集中图像的灰度图并通过傅里叶变换转换到频域； S22、 利用带阻滤波器对所述灰度图进行滤波， 获得保留有图像低频和高频信息的第四 通道； S23、 将所述第四通道与R、 G、 B三 通道拼接， 形成所述四通道的图像。 4.如权利要求3所述的图像去雾方法， 其特征在于， 所述带阻滤波器为60Hz的带宽， 距 离中心频率 为25Hz。 5.如权利要求1所述的图像去雾方法， 其特征在于， 所述有雾图像与 所述去雾图像之间 的重建损失包括： 像素层面重建损失以及表征语义级重建损失的感受损失， 所述像素层面 重建损失使用L 1损失来衡量， 所述感受损失用特征映射空间的感受相似度和风格相似度来 衡量； 所述像素层面重建损失为： 其中， N表示图像生成器处理的样本个数， 是输入图像生 成器的四通道的所述有雾图 像， 是四通道的所述无雾图像， 是图像生成器输出的四通道的所述去雾图像； 所述感受损失为： 权　利　要　求　书 1/3 页 2 CN 114998151 A 2其中， φ(·)代表特征映射vgg16网络第30层的映射关系， 为所述有雾图像的RGB输 入， 为所述无雾图像的RGB输入， x′是x的转置， 此处x作为一个通用 符号， 代表 或 所述对抗损失为： 其中， M为 辨别器处 理的样本个数， 是辨别器的输出； 所述先验损失为： 其中， 和 分别代表图像生 成器输出的四通道的去雾图像在HSV空间下的H 通道和SV通道， 和 分别是四通道的无雾图像在HSV空间下的H通道和SV通道， 是四 通道的有雾图像在HSV空间下的SV通道， ε是一个用来避免分母为0的极小常数； 代表输入数据x的S通道xs和V通道xv之间的差值， 此处x作为一个通用符号， 代 表 或 所述图像生成器损失为 其中λ1， λ2， λ3， λ4是损失权 重。 6.如权利要求5所述的图像去雾方法， 其特 征在于， 所述 辨别器损失为： 7.如权利要求1所述的图像去雾方法， 其特 征在于， 还 包括： S6、 获取待处 理图像， 并进行 所述预处 理获得对应的四通道的待处 理图像； S7、 将预处理后的待处理图像输入至训练好的所述图像去雾模型， 输出对应的四通道 的去雾图像。 8.一种基于先验生成对抗网络的图像去雾模型， 其特 征在于， 包括： 图像预处理模块， 用于将图像预处理成四通道的图像， 所述四通道包括R、 G、 B三通道以 及滤波后保留有高频与低频信息的第四通道； 图像生成器， 连接于所述图像预处理模块的输出端， 用于对输入的四通道的有雾 图像 进行去雾处理， 以输出四通道的去雾图像； 所述去雾处理包括： 提取四通道的有雾图像的浅 层特征并进 行下采样， 得到深层特征； 对所述深层特征进行上采样以获取重构上采样特征， 上采样过程中通过跳跃连接将上采样之前的图像特征融入所述重构上采样特征， 重构出四 通道的去雾图像； 辨别器， 连接于所述图像生成器的输出端， 用于辨别图像生成器输出的去雾 图像是否 为无雾图像。 9.如权利要求8所述的图像去雾模型， 其特 征在于， 所述图像生成器包括：权　利　要　求　书 2/3 页 3 CN 114998151 A 3