(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211192972.6 (22)申请日 2022.09.28 (71)申请人 珠海大横琴科技发展 有限公司 地址 519000 广东省珠海市横琴新区海河 街33号一单元1-7层 (72)发明人 林旭新　梁延研　魏红强　 (74)专利代理 机构 深圳市六加知识产权代理有 限公司 4 4372 专利代理师 孟丽平 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 训练语义分割模 型的方法、 图像语义分割方 法及相关装置 (57)摘要 本申请实施例涉及图像语义分割技术领域， 公开了一种训练语义分割模型的方法、 图像语义 分割方法及相关装置， 采用训练集和损失函数对 包括K个分支网络的相互学习网络进行迭代训 练， 得到K个分支模型。 最后， 根据这K个分支模型 的性能， 选择出性能满足要求的分支模型作为语 义分割模型。 其中， 该损失函数包括交叉熵损失 函数和KL散度损失函数。 基于损失的反向传播， 一方面， 交叉熵损失能够约束该分支网络输出的 预测语义分割图像不断靠近真实语义分割图像， 另一方面， KL散度损失能够使得K个分支网络进 行联合训练， 互相监督、 互相优化， 在不引入额外 参数的情况下， 能进一步提升该分支网络的性 能， 改善语义分割效果。 权利要求书2页 说明书16页 附图7页 CN 115294337 A 2022.11.04 CN 115294337 A 1.一种训练语义分割模型的方法， 其特 征在于， 包括： 获取训练集， 所述训练集包括若干个训练图像， 每个所述训练图像对应有真实语义分 割图像； 采用所述训练集和损失函数对包括K个分支网络的相互学习网络进行迭代训练， 得到K 个分支模 型， 其中， K是大于或等于2的整数， 所述损失函数包括交叉熵损失函数和KL散度损 失函数， 所述交叉熵损失函数反映所述分支网络的预测语义分割图像与真实语义分割图像 之间的差异， 所述KL散度损失函数反映所述K个分支网络的预测语义分割图像之间的差异； 根据所述K个分支模型的性能， 选择出性能满足要求的分支模型作为所述语义分割模 型。 2.根据权利要求1所述的方法， 其特征在于， 每个所述分支网络包括级联的输入模块、 至少一个双向融合模块和输出模块； 其中， 所述输入模块用于对输入的训练图像进行下采样， 输出分辨率不同的R个第一特 征图， R是 大于或等于2的整数； 所述双向融合模块用于对输入的分辨率不同的R个图像分别进行第 一方向融合和第 二 方向融合， 输出分辨率不同的R个融合特征图， 其中， 所述第一方向融合是分辨率不同的R个 图像从低分辨率至高分辨率进行逐级融合， 所述第二方向融合是分辨率不同的R个图像从 高分辨率至低分辨 率进行逐级融合； 所述输出模块用于对所述R个 融合特征图分别进行像素分类， 输出分辨率不同的R个预 测语义分割图像。 3.根据权利要求2所述的方法， 其特征在于， 所述输入模块包括下采样倍数不同的R个 输入层， 一个所述输入层包括至少 两个输入卷积层， 所述输入层中的至少 两个卷积层采用 将输入的训练图像先增 加通道数 再降维的方式进行 特征提取。 4.根据权利要求2所述的方法， 其特征在于， 所述双 向融合模块包括基础模块、 第一融 合模块和第二融合模块， 其中， 所述基础模块包括R个基础子模块， 一个所述基础子模块用 于对一个所述第一特征图进行特征提取， 所述 R个基础子模块输出分辨率逐渐增大的R个第 二特征图， 第 1个基础子模块输出的第二特征图的分辨率最小， 第R个基础子模块输出 的第 二特征图的分辨 率最大； 所述第一融合模块用于对所述R个第二特征图进行所述第一方向融合， 输出分辨率不 同的R‑1个第一融合特征图； 所述第二融合模块用于对所述 R‑1个第一融合特征图和分辨率 最低的第二特 征图进行 所述第二方向融合， 输出分辨 率不同的R‑1个第二融合特 征图。 5.根据权利要求4所述的方法， 其特征在于， 所述基础子模块包括至少一个基础层， 所 述基础层包括级联的多个基础卷积层和基础融合层， 其中， 输入所述基础层的图像经过所 述多个基础卷积层逐层特征提取后得到的特征图， 输入所述基础融合层与所述输入所述基 础层的图像进行融合， 得到所述第二特 征图。 6.根据权利要求4所述的方法， 其特征在于， 所述第一融合模块包括级联的R ‑1个第一 融合层， 其中， 第1个第一融合层与第1个基础子模块、 第2个基础子模块连接， 所述第1个第 一融合层用于对所述第 1个基础子模块和第2个基础子模块输出 的第二特征图进行特征融 合； 第2个第一融合层至第R ‑1个第一融合层还分别与第3个基础子模块至第R个基础子模权　利　要　求　书 1/2 页 2 CN 115294337 A 2块一一对应连接； 对于第2个第一融合层至第R ‑1个第一融合层中的任意一个， 用于将上一个第一融合层 的融合结果与对应的基础子模块输出的第二特 征图进行 特征融合。 7.根据权利要求4所述的方法， 其特征在于， 所述第二融合模块包括级联的R ‑1个第二 融合层， 其中， 第1个第二融合层与第R ‑2个第一融合层、 第R ‑1个第一融合层连接， 所述第1 个第二融合层用于对 所述第R‑2个第一融合层、 所述第R ‑1个第一融合层输出的融合结果进 行特征融合； 第2个第二融合层至第R ‑2个第二融合层还分别与第R ‑3个至第1个第二融合层一一对 应连接； 对于第2个第二融合层至第R ‑2个第二融合层中的任意一个， 用于将上一个第二融合层 的融合结果与对应的第一融合层输出 的融合结果进行特征融合； 第R ‑1个第二融合层还与 第1个基础子模块连接， 用于将上一个第二融合层的融合结果与所述第1个基础子模块输出 的第二特 征图进行 特征融合。 8.一种图像 语义分割方法， 其特 征在于， 包括： 获取待分割图像； 将所述待分割图像输入语义分割模型， 输出语义分割图像， 其中， 所述语义分割模型是 采用如权利要求1 ‑7任意一项所述的训练语义分割模型的方法训练得到 。 9.一种电子设备， 其特 征在于， 包括： 至少一个处 理器， 以及 与所述至少一个处 理器通信连接的存 储器， 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑8任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机可 执行指令， 所述计算机可执行指令用于使计算机设备执行如权利要求1 ‑8任一项所述的方 法。权　利　要　求　书 2/2 页 3 CN 115294337 A 3