(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210654528.5 (22)申请日 2022.06.10 (71)申请人 湖南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路1号 (72)发明人 方乐缘　吴林山　刘强　 (74)专利代理 机构 长沙市护航专利代理事务所 (特殊普通 合伙) 43220 专利代理师 莫晓齐 (51)Int.Cl. G06V 10/22(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 20/70(2022.01) (54)发明名称 一种基于跨图像一致性的图像语义分割方 法及其系统 (57)摘要 本发明公开了一种基于跨图像一致性的图 像语义分割方法及其系统， 所述方法包括： 1、 训 练语义分割网络； 2、 选择一张未标记图像， 并到 找一张具有相同类别k的标记图像， 得到伪标签 上区域为类别k的第二掩膜， 和标签上区域为类 别k的第一掩膜； 3、 用语义分割网络提取标记图 像的第一深度特征， 并找到第一深度特征中属于 类别k的特征； 4、 共同优 化语义分割网络； 5、 依据 伪标签的可靠性修正未标注图像的伪标签； 6、 重 复2至5， 直至未标注图像库所对应的伪标签集全 部修正完毕。 本发明提出的图像语义分割方法， 仅用少量的标记 图像和大量的未标记 图像进行 训练， 减少人工标注标签成本的同时， 能准确地 对图像进行语义分割。 权利要求书2页 说明书7页 附图4页 CN 115049817 A 2022.09.13 CN 115049817 A 1.一种基于跨图像一 致性的图像 语义分割方法， 其特 征在于， 包括如下步骤： 步骤S10、 用标记图像库xl及其标签集yl训练第一语义分割网络N1， 训练次数达到设定 值后， 得到第二语义分割网络N2， 用第二语义分割网络N2预测未标注图像库xu并生成相应 的伪标签 集yu； 然后用标记图像库xl及其标签集yl和未标注图像库xu及其伪标签 集yu共同训 练第二语义分割网络N2， 直至训练的次数达 到设定值， 得到第三语义分割网络N3； 步骤S20、 在未标注图像库xu中选择一张未标记图像 根据未标记图像 其对应的伪 标签 在标记图像库xl中随机查找一张与伪标签 具有相同类别k的标记图像 得到伪 标签 上区域为类别k的第二掩膜 和标签 上区域为类别k的第一掩膜 步骤S30、 用第三语义分割网络N3提取标记图像 的第一深度特征 用第一掩膜 对 第一深度特 征 进行均值池化得到第一深度特 征 中属于类别k的类别特 征 步骤S40、 用第三语义分割网络N3提取未标记图像 的第二深度特征 计算第二深度 特征 与类别特征 的相似度区域得到跨图像一致性掩膜mi， 用第二掩膜 约束跨图像 一致性掩膜mi， 共同优化第三语义分割网络N3； 步骤S50、 计算第二掩膜 和跨图像一致性掩膜mi之间的欧式距离， 并作为权重判断伪 标签的可靠性， 依据伪标签的可靠性 修正未标注图像 的伪标签 步骤S60、 重复步骤S20至步骤S50， 直至未标注图像库xu所对应的伪标签集yu全部修正 完毕， 图像 语义分割完成。 2.根据权利要求1所述的图像语义分割方法， 其特征在于， 所述步骤S10中语义分割网 络N使用De eplabV3+网络， 其中ResNet101网络为De eplabV3+网络的支 架网络。 3.根据权利要求2所述的图像语义分割方法， 其特征在于， 所述步骤S20中的随机查找 一张标记图像 的过程包括如下步骤： 步骤S21、 根据未 标记图像 找到对应的伪标签 步骤S22、 判断伪标签 的类别， 并将该类别并记为 k； 步骤S23、 在标记图像库xl中随机查找一张与伪标签 具有相同类别k的标记图像 4.根据权利要求3所述的图像语义分割方法， 其特征在于， 所述步骤S20中的生成掩膜 的实现方式为： 将伪标签 上所有类别为k的区域都置 为1， 其余置 为0， 从而得到伪标签 中属于类别k的掩膜 5.根据权利要求4所述的图像语义分割方法， 其特征在于， 所述步骤S20中的生成掩膜 的实现方式为： 将 标签 上所有类别为k的区域都置为1， 其余置为0， 从而得到标签 中 属于类别k的第一掩膜 6.根据权利要求5所述的图像语义分割方法， 其特征在于， 所述步骤S30具体包含如下 步骤：权　利　要　求　书 1/2 页 2 CN 115049817 A 2步骤S31、 用第三语义分割网络N提取标记图像 的第一深度特征 其中第一深度特征 为一个H×W×C大小的张量， H， W， C分别为第一深度特 征 的长、 宽和通道数量； 步骤S32、 使用第一掩膜 对第一深度特征 进行均值池化得到大小为1 ×1×C的类别 特征 7.根据权利要求6所述的图像语义分割方法， 其特征在于， 所述步骤S40中的用第二掩 膜 约束跨图像一 致性掩膜mi， 优化第三语义分割网络N3的过程 为： 步骤S41、 首 先用第三语义分割网络N3提取 未标记图像 的第二深度特 征 步骤S42、 使用类别特征 与第二深度特征 计算相似度区域得到跨图像一致性掩膜 mi， 跨图像一致性掩膜 mi的计算过程为： 将H ×W×C大小的第二深度特征 上每一个位置与 1×1×C的类别特 征 进行余弦相似度计算； 步骤S43、 计算并建立 跨图像一 致性掩膜mi和第二掩膜 的交叉熵的损失函数LCIC； 步骤S44、 依据损失函数LCIC建立总的损失函数L， 并用总的损失函数L优化第三语义分 割网络N3 。 8.根据权利要求7所述的图像语义分割方法， 其特征在于， 所述步骤S50具体包含如下 步骤： 步骤S51、 计算 跨图像一 致性掩膜mi与第二掩膜 之间的欧式距离； 步骤S52、 使用欧式距离判断伪标签 满足一致性的概率大小； 步骤S53、 将伪标签 满足一致性的概率大小作为伪标签 准确率的概率大小， 并依据 伪标签 准确率的概 率大小修 正未标注图像 的伪标签 9.根据权利要求8所述的图像语义分割方法， 其特征在于， 所述步骤S10中训练第一语 义分割网络N1和训练第二语义分割网络N2的次数均为80次。 10.一种基于跨图像一致性的图像语义分割系统， 包括相互连接的微处理器和存储器， 其特征在于， 所述微处理器执行权利要求 1至9中任一项所述的基于跨图像一致性的图像语 义分割方法。权　利　要　求　书 2/2 页 3 CN 115049817 A 3