(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210943309.9 (22)申请日 2022.08.08 (71)申请人 哈尔滨工业大 学 （威海） 地址 264209 山 东省威海市文化西路2号 申请人 山东船舶技 术研究院 (72)发明人 于昌利　周晓滕　袁鑫　 (74)专利代理 机构 南京禹为知识产权代理事务 所(特殊普通 合伙) 32272 专利代理师 褚晓英 (51)Int.Cl. G06V 10/74(2022.01) G06V 20/05(2022.01) G06V 10/82(2022.01) G06V 10/46(2022.01) G06V 10/26(2022.01)G06V 10/25(2022.01) G06V 10/30(2022.01) (54)发明名称 一种基于相位信息和深度学习的水下声呐 图像匹配算法 (57)摘要 本发明公开了一种基于相位信息和深度学 习的水下声呐图像匹配算法， 包括： 导入声呐数 据， 解析为视觉图像格式并存储辅助信息， 利用 辅助信息进行图片分割， 构建待匹配的图像对； 将图像对中的图像进行去噪与增强预处理； 根据 相位一致性原理提取所述图像的相位信息， 并可 视化相位极值图层， 提取相关的特征点信息； 搭 建双通道卷积神经网络， 存储训练权重， 进行特 征点局部区域相似度度量； 依据相似性度量进行 特征匹配并剔除错误匹配， 存储正确匹配对信 息。 本发明将相位信息和深度特征结合应用于水 下侧扫声呐图像上的， 结合二者进行匹配， 能够 检测出丰富的特征点并且提供高精度的匹配结 果； 解决水下声呐图像普遍存在的复杂的非线性 差异问题。 权利要求书1页 说明书6页 附图4页 CN 115375925 A 2022.11.22 CN 115375925 A 1.一种基于相位信息和深度学习的水 下声呐图像匹配算法， 其特 征在于， 包括： 导入声呐数据， 解析为视觉图像格 式并存储辅助信息， 利用辅助信 息进行图片分割， 构 建待匹配的图像对； 将图像对中的图像进行去噪与增强预处 理； 根据相位一致性原理提取所述图像的相位信息， 并可视化相位极值图层， 提取相关的 特征点信息； 搭建双通道卷积神经网络， 存 储训练权 重， 进行特征点局部区域相似度 度量； 依据相似性度量进行 特征匹配并剔除错 误匹配， 存 储正确匹配对信息 。 2.如权利要求1所述的基于相位信息和深度学习的水下声呐图像匹配算法， 其特征在 于， 所述辅助信息包括， GP S信息、 惯导信息、 Pi ng信息和深度信息 。 3.如权利要求2所述的基于相位信息和深度学习的水下声呐图像匹配算法， 其特征在 于， 所述预处 理包括， 经典滤波器和深度学习去噪； 局部增强和全局 增强。 4.如权利要求2或3所述的基于相位信 息和深度学习的水下声呐图像匹配算法， 其特征 在于， 所述 根据相位 一致性原理提取 特征点， 包括， 提取图像的频率 域信息和空间域信息； 相位一致性解算； 可视化输出 水下声呐图像的相位极值图。 5.如权利要求4所述的基于相位信息和深度学习的水下声呐图像匹配算法， 其特征在 于， 所述搭建双通道卷积神经网络中， 设定输入参数为图像的输入数目和图像尺寸， 输出参 数为匹配度量的形式和维度。 6.如权利要求5所述的基于相位信息和深度学习的水下声呐图像匹配算法， 其特征在 于， 还包括， 搭建双通道卷积神经网络后依据图像属性， 进行自定义模型训练， 所述训练的 学习模式包括， 全新训练和迁移学习； 训练框架包括TensorFl ow框架和Pytorc h框架。 7.如权利要求6所述的基于相位信息和深度学习的水下声呐图像匹配算法， 其特征在 于， 所述特 征点局部区域相似度 度量采用高层特 征与低层特 征组合后的交叉熵计算。 8.如权利要求7所述的基于相位信息和深度学习的水下声呐图像匹配算法， 其特征在 于， 所述依据相似性度量进 行特征匹配， 包括依据图像匹配数量设定匹配相似度阈值后， 再 进行匹配。 9.如权利要求8所述的基于相位信息和深度学习的水下声呐图像匹配算法， 其特征在 于， 所述剔除错 误匹配包括， 采用RANSAC、 GMS、 LPM、 FSC算法进行错 误匹配剔除。 10.如权利要求8或9所述的基于相位信息和深度学习的水下声呐图像匹配算法， 其特 征在于， 还包括， 存储正确匹配对的信息后进行评价， 所述评价包括匹配丰富度、 匹配准确 度、 运行时间、 特 征点分布均匀度。权　利　要　求　书 1/1 页 2 CN 115375925 A 2一种基于相位信息和深度学习的水下声呐图像匹配算法 技术领域 [0001]本发明涉及水下图像处理技术领域， 尤其涉及一种基于相位信息和深度学习的水 下声呐图像匹配算法。 背景技术 [0002]在利用水下传感设备成像的过程中， 由于海洋介质及海底环境的复杂性， 导致光 学成像受阻， 远距离探测任务通常只能采用声学成像， 即借助声呐设备进 行探测。 但由于海 底环境的未知性和复杂性， 声波传输过程中易受到干扰， 加之声 学成像自身的局限性， 导致 探测目标的声呐图像存在高噪声， 低对比度， 灰度畸变以及边缘弱化等特点， 当探测时间、 探测地点、 声呐类型以及探测视角发生变化的时候， 声呐图像往往存在很强的非线性差异 现象， 即同一个探测目标， 但是成像效果却差别很大， 由于水下环境的未知性， 探测目标是 小样本的且特征不规则的， 背景内容是单调且特征难以提取 的， 在进行水下声呐图像预处 理和特征匹配时， 往往只能依靠研究人员的专 业经验知识， 尚没有成熟的处理方案， 更没有 专一的算法来针对性 地匹配水 下声呐图像。 [0003]目前常见的水下声呐图像匹配思路是照搬光学图像匹配的方法， 这些方法是针对 于光学图像开发的， 由于光学成像特点与声学成像特点的巨大差异， 这些方法应用到水下 声呐图像匹配任务中效率低下， 特征点难以检测且错误匹配较多， 水下声呐图像特征匹配 是海底地图构建及水下机器人自主导航等任务的基础性研究， 保证其匹配的丰富度和准确 度是非常必 要的。 同时对于小样本的， 陌生的水下声呐数据， 图像特征匹配的操作目前只能 尝试性地选择， 验证性也不 足， 严重影响了匹配任务的完成效率， 浪费了大量的人力资源和 时间资源。 发明内容 [0004]本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施 例。 在本部 分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部 分、 说明书摘要和发明名称的目的模糊， 而这种简化或省略不能用于限制本发明的范围。 [0005]鉴于上述现有存在的问题， 提出了本发明。 本发明提供了一种基于相位信息和深 度学习的水下声呐图像匹配算法， 解决水下声呐图像普遍存在的复杂的非线性差异问题， 水下声呐图像自身 具有的高噪声、 低对比度、 畸变明显以及弱边缘等局限性， 以及上述局限 性导致的传统光学图像匹配算法失效， 没有成熟的声学图像匹配算法可参考这个技术痛 点， 同时检测效率低下， 特 征点难以检测， 精度低且错 误匹配较多的问题。 [0006]为解决上述 技术问题， 本发明提供如下技 术方案： 包括： [0007]导入声呐数据， 解析为视觉图像格式并存储辅助信息， 利用辅助信息进行 图片分 割， 构建待匹配的图像对； [0008]将图像对中的图像进行去噪与增强预处 理； [0009]根据相位一致性原理提取所述图像 的相位信息， 并可视化相位极值图层， 提取相说　明　书 1/6 页 3 CN 115375925 A 3