(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210533579.2 (22)申请日 2022.05.17 (71)申请人 华南理工大 学 地址 510641 广东省广州市天河区五山路 381号 (72)发明人 谭明奎　罗佩瑶　李振梁　杜永红　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 陈嘉乐 (51)Int.Cl. G06T 7/10(2017.01) G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) (54)发明名称 一种基于多光谱图像的语义分割方法、 装置 及存储介质 (57)摘要 本发明公开了一种基于多光谱图像的语义 分割方法、 装置及存储介质， 其中方法包括： 收集 并标注用于语义分割的多光谱数据集； 构建语义 分割模型； 采用所述多光谱数据集对 所述语义分 割模型进行训练； 获取待处理图像， 将所述待处 理图像输入训练后的所述语义分割模 型， 输出语 义分割结果； 所述语义分割模型包括类别 ‑光谱 关联模块， 所述类别 ‑光谱关联模块用于通过提 高相同类别像素之间的相似性， 减小类间的差异 性， 以获得连续准确的分割结果。 本发明通过提 高相同类别像素之间的相似性， 减小类间的差异 性， 能够更好地从多光谱图像中提取互补的信 息， 解决了类内差异性大的问题。 本发明可广泛 应用于计算机视觉技术领域。 权利要求书2页 说明书8页 附图3页 CN 115082492 A 2022.09.20 CN 115082492 A 1.一种基于多光谱图像的语义分割方法， 其特 征在于， 包括以下步骤： 收集并标注用于语义分割的多光谱数据集； 构建语义分割模型； 采用所述多光谱数据集对所述语义分割模型进行训练； 获取待处理图像， 将所述待处理图像输入训练后的所述语义分割模型， 输出语义分割 结果； 所述语义分割模型包括类别 ‑光谱关联模块， 所述类别 ‑光谱关联模块用于通过提高相 同类别像素之间的相似性， 减小类间的差异性， 以获得 连续准确的分割结果。 2.根据权利要求1所述的一种基于多光谱图像的语义分割方法， 其特征在于， 所述语义 分割模型还 包括光谱通道增强模块； 所述光谱通道增强模块用于利用通道注意力 机制关注多光谱特征中重要的信 息， 以减 少不同类别在多光谱特 征中的冗余信息 。 3.根据权利要求1所述的一种基于多光谱图像的语义分割方法， 其特征在于， 所述收集 并标注用于语义分割的多光谱数据集， 包括： 从高空场景中收集多光谱图像， 并对所述多光谱图像进行标注， 以构建成多光谱数据 集； 将标注后的多光谱数据集划分成训练集、 验证集、 测试集 三个部分； 对训练集内的高分辨率图像采用随机的方式截取固定大小的图像， 对验证集和测试集 内的高分辨 率图像采用滑动窗口 的方式截取固定大小的图像。 4.根据权利要求1所述的一种基于多光谱图像的语义分割方法， 其特征在于， 所述语义 分割模型还 包括编码器、 光谱通道增强模块以及解码器； 所述编码器， 用于从多光谱图像中提取 特征； 所述类别 ‑光谱关联模块， 用于采用监督的方式得到初步分割结果， 并对多光谱特征进 行软类别均值池化， 得到类别 ‑光谱关系矩阵， 进 而减小类内差异； 所述光谱通道增强模块， 用于计算每个类别的通道注意力分数， 对不同类别区域的特 征通道分配权 重， 减少不同类别在多光谱特 征的冗余信息， 进 而增大类间差异； 所述解码器， 用于解码多光谱特 征并输出语义分割结果。 5.根据权利要求4所述的一种基于多光谱图像的语义分割方法， 其特征在于， 定义Xh为 所述解码器中第一次上采样后的高层特征； 定义Xl为所述编码器中骨干网络第一阶段输出 的低层特 征； 所述类别 ‑光谱关联模块的工作流 程如下： 将所述高层特征Xh的通道数量减少到类别数目N， 在类别维度进行softmax操作得到N张 注意力图， 作为类别注意力图Xp； 减少所述低层特 征Xl的通道数量， 得到特 征X； 对所述类别注意力图Xp中属于不同类别区域的像素特征分别进行均值池化， 得到N个多 光谱特征， 并结合所述特 征X构成类别 ‑光谱关系矩阵M 。 6.根据权利要求5所述的一种基于多光谱图像的语义分割方法， 其特征在于， 所述光谱 通道增强模块的工作流 程如下： 将所述类别 ‑光谱关系矩阵M当作N个独立的光谱特征， 基于通道注意力机制， 分别计算权　利　要　求　书 1/2 页 2 CN 115082492 A 2N个通道注意力分数， 并构成光谱通道 注意力分数A； 对所述低层特 征Xl进行特征提取， 得到特 征Xv； 根据所述光谱通道注意力分数A和所述特征Xv， 对所述类别注意力图Xp中属于类别k对 应区域的像素 特征重新分配通道权 重， 并和所述低层特 征Xl拼接在一 起， 得到输出特征Y。 7.根据权利要求4所述的一种基于多光谱图像的语义分割方法， 其特征在于， 所述编码 器包括骨干网络和AS PP模块； 其中， 所述骨干网络采用空洞卷积代替下采样操作， 以在增大感受野的同时防止分辨 率下降； 所述ASPP模块， 用于 融合多个不同膨胀率的卷积层提取的特征来提取多尺度 上下文特 征。 8.根据权利要求1所述的一种基于多光谱图像的语义分割方法， 其特征在于， 所述采用 所述多光谱数据集对所述语义分割模型进行训练， 包括： 采用交叉熵函数计算损失， 并利用随机梯度下降算法更新网络的参数， 直至收敛。 9.一种基于多光谱图像的语义分割装置， 其特 征在于， 包括： 至少一个处 理器； 至少一个存 储器， 用于存 储至少一个程序； 当所述至少一个程序被所述至少一个处理器执行， 使得所述至少一个处理器实现权利 要求1‑8任一项所述方法。 10.一种计算机可读存储介质， 其中存储有处理器可执行的程序， 其特征在于， 所述处 理器可执行的程序在由处 理器执行时用于执 行如权利要求1 ‑8任一项所述方法。权　利　要　求　书 2/2 页 3 CN 115082492 A 3