(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210753819.X (22)申请日 2022.06.28 (71)申请人 大连海洋大学 地址 116023 辽宁省大连市沙河口区黑石 礁街52号 申请人 大连天正实业有限公司 (72)发明人 庞洪帅　蔡克卫　杨志鹏　刘鹰　 张涛　刘敏　 (74)专利代理 机构 大连东方专利代理有限责任 公司 21212 专利代理师 陈丽　李洪福 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/74(2022.01) (54)发明名称 基于自监督的水下图像增强方法、 装置及计 算机存储介质 (57)摘要 本发明公开了基于自监督的水下图像增强 方法、 装置及计算机存储介质， 涉及图像增强技 术领域， 包括： 建立自监督水下图像增强网络模 型； 该模型包括使用傅立叶卷积进行水下图像的 增强的傅立叶卷积图像增强模块、 使用编码器 ‑ 解码器结构生成深度图的卷积网络深度估计模 块和对增强图像和深度图利用图像成像模型生 成自监督训练的伪标签图像的自监督网络成像 模块； 利用伪标签图像自监督训练建立的自监督 水下图像增强网络模型； 获取待增强水下图像； 将待增强水下图像输入至训练好的自监督水下 图像增强网络模型， 得到增强后的水下图像。 本 发明采用自监督的方法实现对水下图像的增强， 不需要复杂的人工标注数据集， 节省人力和物 力。 权利要求书3页 说明书10页 附图5页 CN 115100063 A 2022.09.23 CN 115100063 A 1.一种基于自监 督的水下图像增强方法， 其特 征在于， 所述方法包括： 建立自监督水下图像增强网络模型； 所述自监督水下图像增强网络模型包括傅立叶卷 积图像增强模块、 卷积网络深度估计模块和自监督网络成像模块； 傅立叶卷积图像增强模 块使用傅立叶卷积进行水下图像的增强； 卷积网络深度估计模块使用编码器 ‑解码器结构 生成深度图； 自监督网络成像模块用于对傅立叶卷积图像增强模块生成的增强图像和卷积 网络深度估计模块 生成的深度图利用图像成像模型IFM生成自监 督训练的伪标签图像； 利用所述伪标签图像自监 督训练建立的自监 督水下图像增强网络模型； 获取待增强水 下图像； 将所述待增强水下图像输入至训练好的自监督水下图像增强网络模型， 得到增强后的 水下图像。 2.根据权利要求1所述的一种基于自监督的水下图像增强方法， 其特征在于， 利用所述 伪标签图像自监 督训练建立的自监 督水下图像增强网络模型， 包括： 获取真实 RGB水下图像； 使用傅立叶卷积图像增强模块对所述真实RGB水下图像进行图像增强， 得到所述真实 RGB水下图像的增强图像； 使用卷积网络深度估计模块 生成所述真实 RGB水下图像的深度图； 将所述增 强图像和所述深度图输入至自监督网络成像网络模块， 利用IFM根据图像生 成机制生成与所述真实 RGB水下图像相似的伪标签图像； 利用所述真实RGB水下图像和所述伪标签 图像的相似度构建损失函数， 更新损失函数 的梯度和自监督水下图像增强网络模型参数， 得到训练好的自监督水下图像增强网络模 型。 3.根据权利要求1所述的一种基于自监督的水下图像增强方法， 其特征在于， 利用所述 伪标签图像自监 督训练建立的自监 督水下图像增强网络模型， 包括： 获取真实 RGB水下图像； 使用傅立叶卷积图像增强模块对所述真实RGB水下图像进行增强， 得到所述真实RGB水 下图像的增强图像； 使用卷积网络深度估计模块 生成所述真实 RGB水下图像的深度图； 获得背景光先验； 将所述增强图像、 所述深度图以及所述背景光先验输入至自监督网络成像网络模块， 利用IFM根据图像生成机制生成与真实 RGB水下图像相似的伪标签图像； 利用所述真实RGB水下图像和所述伪标签 图像的相似度构建损失函数， 更新损失函数 的梯度和自监督水下图像增强网络模型参数， 得到训练好的自监督水下图像增强网络模 型。 4.根据权利要求1～3任一项所述的一种基于自监督的水下图像增强方法， 其特征在 于， 傅立叶卷积图像增强模块使用傅 立叶卷积进行 水下图像的增强， 包括： 将真实RGB水下图像通过傅 立叶变换从时域空间转换到频域空间； 确定全局滤波器K， 将所述全局滤波器K与频域空间的图像点乘， 得到增强图像的频域 空间值； 通过逆傅 立叶变换将图像从频域空间转换到时域空间， 输出 结果即为增强图像。权　利　要　求　书 1/3 页 2 CN 115100063 A 25.根据权利要求1～3任一项所述的一种基于自监督的水下图像增强方法， 其特征在 于， 卷积网络深度估计模块使用编码器 ‑解码器结构生成深度图， 包括： 将真实RGB水下图像输入至卷积网络深度估计模块的编码器， 经过卷积和下采样提取 特征， 之后通过解码 器将低维的特征图上采样至与所述真实RGB水下图像相同的维度， 并输 出深度结果图。 6.根据权利要求2或3所述的一种基于自监督的水下图像增强方法， 其特征在于， 所述 损失函数为： L＝α LMS‑SSIM+(1‑α )LMSE； 其中， LMSE为均方方差损失， LMS‑SSIM为多尺度结构相似损失； α 为权 重值。 7.一种基于自监 督的水下图像增强装置， 其特 征在于， 所述装置包括： 网络模型构建单元， 用于构建自监督水下图像增强网络模型； 所述自监督水下图像增 强网络模型包括傅立叶卷积 图像增强模块、 卷积网络深度估计模块和自监督网络成像模 块； 其中， 傅立叶卷积图像增强模块使用傅立叶卷积来进行水下图像的增强； 卷积网络深度 估计模块使用编码器 ‑解码器结构生成深度图； 自监督网络成像模块用于对傅立叶卷积图 像增强模块生成的增强图像和卷积网络深度估计模块生成的深度图利用图像成像模型IFM 生成自监 督训练的伪标签图像； 网络模型训练单元， 用于利用所述伪标签图像自监督训练所述网络模型构建单元构建 的自监督水下图像增强网络模型； 原始图像获取 单元， 用于获取待增强水 下图像。 水下图像增强单元， 将所述原始图像获取单元获取的待增强水下图像输入至所述网络 模型训练单 元训练好的自监 督水下图像增强网络模型， 得到增强后的水 下图像。 8.根据权利要求7所述的一种基于自监督的水下图像增强装置， 其特征在于， 所述网络 模型训练单 元， 包括： 图像获取子单 元， 用于获取真实 RGB水下图像； 图像增强子单元， 用于使用傅立叶卷积图像增强模块对所述图像获取子单元获取的真 实RGB水下图像进行增强； 深度图获取子单元， 用于使用卷积网络深度估计模块生成所述图像获取子单元获取的 真实RGB水下图像的深度图； 伪标签生成子单元， 用于将所述图像增强子单元生成的增强图像和所述深度图获取子 单元生成的深度图输入至自监督网络成像网络模块， 利用IFM根据图像生成机制生成与所 述图像获取子单 元获取的真实 RGB水下图像相似的伪标签图像； 参数更新子单元， 用于利用所述图像获取子单元获取的真实RGB水下图像和所述伪标 签生成子单元生成的图像的相似度构建损失函数， 更新损失函数的梯度和自监督水下图像 增强网络模型参数， 得到训练好的自监 督水下图像增强网络模型。 9.根据权利要求7所述的一种基于自监督的水下图像增强装置， 其特征在于， 所述网络 模型训练单 元， 包括： 图像获取子单 元， 用于获取真实 RGB水下图像； 图像增强子单元， 用于使用傅立叶卷积图像增强模块对所述图像获取子单元获取的真 实RGB水下图像进行增强；权　利　要　求　书 2/3 页 3 CN 115100063 A 3