(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210549962.7 (22)申请日 2022.05.20 (71)申请人 山东大学 地址 250061 山东省济南市历下区经十路 17923号 (72)发明人 刘国良　祝志坤　田国会　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 闫圣娟 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06T 7/73(2017.01)G06N 3/04(2006.01) (54)发明名称 一种基于语义分割的FOD检测方法及系统 (57)摘要 本公开涉及FOD检测相关技术领域， 提出了 一种基于语义分割的FOD检测方法及系统， 方法 包括如下步骤： 获取机场跑道的待检测图像， 待 检测图像包括深度图像和灰度图像， 提取图像中 的深度信息和灰度信息； 将深度信息进行预处 理， 并利用预处理后得到的深度图像， 基于灰度 信息对灰度图像进行初步剪裁； 将经过处理后的 深度图像和初步裁减后的灰度图像中的信息数 据进行融合， 对异物区域的信息进行增强； 将融 合后的信息输入至改进的语义分割网络模型进 行图像分割， 实时地确定异物类型及位置。 本公 开基于深度信息和灰度信息融合处理， 提高了检 测的准确度和精度。 权利要求书2页 说明书5页 附图3页 CN 114821065 A 2022.07.29 CN 114821065 A 1.一种基于语义分割的FOD检测方法， 其特 征在于， 包括如下步骤： 获取机场跑道 的待检测图像， 待检测图像包括深度图像和灰度图像， 提取图像中的深 度信息和灰度信息； 将深度信息进行预处理， 并利用预处理后得到的深度图像， 基于灰度信息对灰度图像 进行初步剪 裁； 将经过处理后的深度图像和初步裁减后的灰度图像中的信 息数据进行融合， 对异物区 域的信息进行增强； 将融合后的信 息输入至改进的语义分割网络模型进行图像分割， 实时地确定异物类型 及位置。 2.如权利要求1所述的一种基于语义分割的FOD检测方法， 其特征在于： 待检测图像采 用车载线性扫描结构光相机采集。 3.如权利要求1所述的一种基于语义分割的FOD检测方法， 其特征在于： 将深度信息进 行预处理， 具体包括如下步骤： 设定虚拟基准平面， 根据深度信息确定每个点与该基准平面的距离， 以该距离为每个 点的像素值构建得到深度图像； 对得到的深度图像 应用Sobel 算子提取图像中的边 缘特征； 将提取边 缘后的深度图像利用高斯滤波降噪； 将高斯滤波后的图像进行二 值化处理， 得到处 理后的深度图像。 4.如权利要求1所述的一种基于语义分割的FOD检测方法， 其特征在于： 利用深度信息 对灰度图像进行初步剪 裁， 具体的， 采用移动窗口法对灰度图像进行初步剪 裁。 5.如权利要求4所述的一种基于语义分割的FOD检测方法， 其特征在于： 利用深度信息 对灰度图像进行初步剪 裁， 包括如下步骤： 设定移动窗口 的大小， 按照步长移动截取被处 理后的深度图像； 计算窗口截取图像中的像素值的和， 得到像素值的和最大的窗口为裁减窗口； 通过裁减窗口截取 灰度图像中相对应的区域， 为裁减后的灰度图像。 6.如权利要求1所述的一种基于语义分割的FOD检测方法， 其特征在于： 对异物区域的 信息进行增强融合的方法， 包括如下步骤： 按照对灰度图像进行初步剪裁的裁减窗口， 裁减处理后的深度图像， 使得剪裁后的深 度图像与剪 裁后的灰度图像为同一片区域； 将剪裁后的深度图像乘以放大系数， 然后加上偏置得到 权重矩阵； 将权重矩阵与剪裁后的灰度图像对应位置相乘， 得到异物区域数据增强后的融合数 据。 7.如权利要求1所述的一种基于语义分割的FOD检测方法， 其特征在于： 改进的语义分 割网络模型包括Deeplab  V3+网络， Deeplab  V3+网络包括依次连接的编码器和解码器， 编 码器中包括金字塔池化模块， Deeplab  V3+网络的编码器的金字塔池化模块连接注意力模 块， 注意力模块的输出 连接解码器； 或者， 通过改进的语义分割网络模型， 进行语义分割的方法， 包括如下步骤： 将异物区域数据增强后的融合数据进行 特征提取； 将提取的特 征输入至注意力模块， 增 加注意力权 重， 得到缩放后的新特 征；权　利　要　求　书 1/2 页 2 CN 114821065 A 2将特征提取的到的特 征与缩放后的新特 征进行融合联 结， 解码后得到分割后的数据。 8.一种基于语义分割的FOD检测系统， 其特 征在于， 包括： 数据获取模块， 被配置为用于获取机场跑道的待检测图像， 待检测图像包括深度图像 和灰度图像， 提取图像中的深度信息和灰度信息； 初步裁减模块， 被配置为用于将深度信息进行预处理， 并利用预处理后得到的深度图 像， 基于灰度信息对灰度图像进行初步剪 裁； 融合模块， 被配置为用于将经过处理后的深度图像和初步裁减后的灰度图像中的信 息 数据进行融合， 对异 物区域的信息进行增强； 图像分割 模块， 被配置为用于将融合后的信 息输入至改进的语义分割网络模型进行图 像分割， 实时地确定异 物类型及位置 。 9.一种电子设备， 其特征在于， 包括存储器和处理器以及存储在存储器上并在处理器 上运行的计算机指 令， 所述计算机指 令被处理器运行时， 完成权利要求 1‑7任一项方法所述 的步骤。 10.一种计算机可读存储介质， 其特征在于， 用于存储计算机指令， 所述计算机指令被 处理器执行时， 完成权利要求1 ‑7任一项方法所述的步骤。权　利　要　求　书 2/2 页 3 CN 114821065 A 3