(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211206676.7 (22)申请日 2022.09.30 (71)申请人 中国农业银行股份有限公司 地址 100005 北京市东城区建国门内大街 69号 (72)发明人 田金月　沈湛　杨阳　司林　 吴宇轩　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 刘慧　刘芳 (51)Int.Cl. G06V 10/26(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01)G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 图像分割模型训练、 图像分割方法、 装置及 电子设备 (57)摘要 本申请提供一种图像 分割模型训练、 图像 分 割方法、 装置及电子设备。 方法包括： 获取样本图 像集； 基于样本图像集中的样 本图像和每个样本 图像对应的标签， 对神经网络模型进行训练， 得 到训练好的图像分割模型； 其中， 进行第i轮训练 包括： 通过轻量级特征提取子模型中的M个轻量 级特征提取器对样本图像进行特征提取， 得到M 组语义分割特征图； 通过特征融合子模型对M组 语义分割特征图进行特征融合， 得到融合特征 图； 通过特征复原子模型中的至少一层转置卷积 层， 将融合特征图的分辨率增大至样本图像的分 辨率， 得到 预测分割结果； 根据预测分割结果， 以 及， 样本图像对应的标签对神经网络模型进行下 一轮训练。 本申请提高了图像语义分割的准确性 和效率。 权利要求书3页 说明书15页 附图5页 CN 115471661 A 2022.12.13 CN 115471661 A 1.一种图像分割模型训练方法， 其特 征在于， 所述方法包括： 获取样本图像集； 所述样本图像集中包括： 至少一个样本图像， 以及， 每个所述样本图 像对应的标签； 所述标签用于表征 所述样本图像中待分割出的对象； 基于所述样本图像集中的样本图像和每个所述样本图像对应的标签， 对神经网络模型 进行N轮训练， 得到训练好的图像分割模型； 所述神经网络模型包括： 轻量级特征提取子模 型、 特征融合子模型， 以及， 特 征复原子模型， 其中， 进行第i轮训练包括： 通过所述轻量级特征提取子模型中的M个轻量级特征提取器对所述样本图像进行特征 提取， 得到 M组语义分割特 征图； 所述 N≥1， 且所述M≥2； 通过所述特征融合子模型对所述M组语义分割特征图进行特征融合， 得到 融合特征图； 所述融合特 征图的分辨 率小于所述样本图像的分辨 率； 通过所述特征复原子模型中的至少一层转置卷积层， 将所述融合特征图的分辨率增大 至所述样本图像的分辨 率， 得到预测分割结果； 根据所述预测分割结果， 以及， 所述样本图像对应的标签对所述神经网络模型进行第i +1轮训练。 2.根据权利要求1所述的方法， 其特征在于， 所述轻量级特征提取器包括： 至少一层多 通道卷积层、 第一预设数量的卷积层， 以及， 第二预设数量的空洞卷积层； 所述第一预设数 量大于所述第二预设数量； 所述第二预设数量的空洞卷积层穿插在所述第一预设数量的卷 积层中； 所述通过所述轻量级特征提取子模型中的M个轻量级特征提取器对所述样本图像进行 特征提取， 得到 M组语义分割特 征图， 包括： 针对第j个所述轻量级特征提取器， 通过所述至少一层多通道卷积层从第j ‑1组语义分 割特征图的多个颜色通道进行特征提取， 得到子语义分割特征图； 所述j大于1且小于或等 于所述M； 第1个所述轻量级 特征提取器的所述至少一层多通道卷积层的输入为所述样 本图 像； 通过所述卷积层和所述空洞卷积层对所述子语义分割特征图进行特征提取， 得到第j 组语义分割特 征图。 3.根据权利要求1或2所述的方法， 其特征在于， 所述M等于3， 第1组语义分割特征图的 分辨率大于第2组语义分割特征图的分辨率， 且第2组语义分割特征图的分辨率大于第3组 语义分割 特征图的分辨率， 所述通过所述特征融合子模型对所述M组语义分割特征图进行 特征融合， 得到融合特 征图， 包括： 对所述第3组语义分割特征图进行转置卷积， 得到所述第3组对应的中间特征图； 所述 第3组对应的中间特 征图的分辨 率与所述第2组语义分割特 征图的分辨 率相同； 对所述第3组对应的中间特征图， 以及， 所述第2 组语义分割特征图进行特征融合， 得到 第一融合特征图； 所述第一融合特征图的分辨率与所述第2组语义分割 特征图的分辨率相 同； 对所述第一融合特征图进行转置卷积， 得到所述分辨率增大后的第一融合特征图； 所 述分辨率增大后的第一融合特 征图的分辨 率与所述第1组语义分割特 征图的分辨 率相同； 对所述分辨率增大后的第 一融合特征图， 以及， 所述第1组语义分割特征图进行特征融 合， 得到融合特 征图。权　利　要　求　书 1/3 页 2 CN 115471661 A 24.根据权利要求3所述的方法， 其特征在于， 所述对所述分辨率增大后的第 一融合特征 图， 以及， 所述第1组语义分割特 征图进行 特征融合， 得到融合特 征图， 包括： 对所述分辨率增大后的第 一融合特征图， 以及， 所述第1组语义分割特征图进行特征融 合， 得到初始融合特 征图； 对所述初始融合特 征图进行空间维度卷积， 得到空间维度改变的初始融合特 征图； 对所述空间维度改变的初始融合特征图进行语义特征提取， 得到所述空间维度改变的 初始融合特 征图对应的图像 语义特征图； 对所述空间维度改变的初始融合特征图对应的图像语义特征图， 进行空间维度 卷积以 及语义特 征提取， 得到融合特 征图。 5.一种图像分割方法， 其特 征在于， 所述方法包括： 接收目标图像； 所述目标图像包括待分割出的目标对象； 将所述目标图像输入至训练好的图像分割 模型中， 得到所述目标图像对应的图像分割 结果； 所述训练好的图像分割模型为采用如权利要求 1‑4任一项所述的方法训练得到的； 所 述图像分割结果中， 所述目标对象对应的像素值， 与， 除了所述目标对象之外的区域的像素 值不同。 6.一种图像分割模型训练装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取样本图像集； 所述样本图像集中包括： 至少一个样本图像， 以及， 每 个所述样本图像对应的标签； 所述标签用于表征 所述样本图像中待分割出的对象； 训练模块， 用于基于所述样本 图像集中的样本 图像和每个所述样本 图像对应的标签， 对神经网络模型进行N轮训练， 得到训练好的图像分割模型； 所述神经网络模型包括： 轻量 级特征提取子模 型、 特征融合子模 型， 以及， 特征复原子模型， 其中， 进 行第i轮训练， 训练模 块， 具体用于： 通过所述轻量级特征提取子模型中的M个轻量级特征提取器对所述样本图像进行特征 提取， 得到 M组语义分割特 征图； 所述 N≥1， 且所述M≥2； 通过所述特征融合子模型对所述M组语义分割特征图进行特征融合， 得到 融合特征图； 所述融合特 征图的分辨 率小于所述样本图像的分辨 率； 通过所述特征复原子模型中的至少一层转置卷积层， 将所述融合特征图的分辨率增大 至所述样本图像的分辨 率， 得到预测分割结果； 根据所述预测分割结果， 以及， 所述样本图像对应的标签对所述神经网络模型进行第i +1轮训练。 7.一种图像分割装置， 其特 征在于， 所述装置包括： 接收模块， 用于 接收目标图像； 所述目标图像包括待分割出的目标对象； 处理模块， 用于将所述目标图像输入至训练好的图像分割模型中， 得到所述目标图像 对应的图像分割结果； 所述训练好的图像分割模型为采用如权利要求1 ‑4任一项所述的方 法训练得到的； 所述图像分割结果中， 所述 目标对象对应的像素值， 与， 除了所述 目标对象 之外的区域的像素值 不同。 8.一种电子设备， 其特 征在于， 所述电子设备包括存 储器和处 理器； 所述存储器中存 储有计算机程序； 所述处理器被设置为 通过所述计算机程序执 行权利要求1 ‑5中任一项所述的方法。权　利　要　求　书 2/3 页 3 CN 115471661 A 3