(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211343731.7 (22)申请日 2022.10.31 (71)申请人 南京理工大 学 地址 210018 江苏省南京市玄武区孝陵卫 街道孝陵卫 街200号 (72)发明人 彭湃　黄丹　陈涛　姚亚洲　 (74)专利代理 机构 南京创略知识产权代理事务 所(普通合伙) 32358 专利代理师 徐晓莲 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于非显著区域对象挖掘的弱监督语 义分割方法 (57)摘要 本发明公开了一种基于非显著区域对象挖 掘的弱监督语义分割方法， 包括给定带有图像级 标签的图像， 训练分类网络并利用类别激活图生 成用于学习分割网络的像素级伪标签， 其中在分 类网络中引入基于图推理的多尺度特征融合模 块。 本发明提供了一种基于非显著区域对象挖掘 的弱监督语义分割方法， 该方法引入了一个基于 图推理的多尺度特征融合模块来帮助分类网络 捕获不连续和远距离区域之间的全局关系， 从而 增强网络激活散布在角落或图像边缘附近的目 标对象的能力； 为了进一步挖掘非显著区域内的 目标， 通过潜在对象挖掘子步骤来降低伪标签的 假负率进一 步发挥分割网络的自我校正能力。 权利要求书2页 说明书7页 附图2页 CN 115393598 A 2022.11.25 CN 115393598 A 1.一种基于非显著区域对象挖掘的弱监 督语义分割方法， 其特 征在于： 包括以下步骤， 步骤1、 给定带有图像级标签的图像， 训练分类网络并利用类别激活图生成用于学习分 割网络的像素级伪标签， 其中在分类网络中引入基于图推理的多尺度特征融合模块， 所述 基于图推理的多尺度特征融合模块在分类网络中的分类器之前聚合不同尺度的特征， 以提 高注意力图的分辨 率； 所述基于图推理 的多尺度特征融合模块中还嵌入有基于图的全局推理单元， 帮助分类 网络激活显著区域外的对象部分； 所述帮助分类网络激活显著区域外的对象部分具体为： 对于多个经过全局推理单元后 得到的不同尺度的特征， 进一步利用卷积层进行特征增强， 并通过上采样将它们转换到相 同的分辨 率后将它 们融合实现潜在表示； 步骤2、 然后采用潜在对象挖掘和非显著区域掩码， 以通过提高伪标签质量来帮助挖掘 非显著区域对象。 2.根据权利要求1所述的基于非显著区域对象挖掘的弱监督语义分割方法， 其特征在 于： 所述步骤1中， 对于全局推理单元， 首先将特征编码 器生成的特征进 行降维， 将降维后的 特征从坐标空间投影到潜在交互空间； 将特征从坐标空间投影到交互空间后， 捕获相 应节 点的特征之间的交 互。 3.根据权利要求2所述的基于非显著区域对象挖掘的弱监督语义分割方法， 其特征在 于： 所述捕获相 应节点的特征之间的交互具体是将特征视为全连通图的节点， 并通过学习 对应于每个节点的潜在全局聚合特征交互的边权重， 然后在全连通图上进行推理， 最后应 用图卷积来捕捉 新空间中特 征之间的关系。 4.根据权利要求3所述的基于非显著区域对象挖掘的弱监督语义分割方法， 其特征在 于： 所述应用图卷积来捕捉 新空间中特 征之间的关系， 具体为： , Ag表示在训练期间通过梯度下降学习的N ×N节点邻接矩阵， Wg表示状态更新函数， I是 单位矩阵， V是潜在交 互空间中的节点； 在获得节点特 征 后， 执行反向投影将特 征投影回原 始空间并进行维度恢复。 5.根据权利要求1所述的基于非显著区域对象挖掘的弱监督语义分割方法， 其特征在 于： 所述步骤2中的潜在对象挖掘具体为： 在获得OA ‑CAM后， 通过它们提取对象线索， 并使用显著图来提取背景线索， 然后通过比 较每个OA ‑CAM的值为每个像素赋予类别标签， 借助显著图提供的边缘信息， 通过背景提取 过程得到的初始标签； 在得到初始标签后， 发掘CAM中被激活的对象区域。 6.根据权利要求1所述的基于非显著区域对象挖掘的弱监督语义分割方法， 其特征在 于： 所述发掘CAM中被激 活的对象区域具体为： 一个类自适应阈值Tc被提出来为图像中存在 的类别 提取潜在对象区域： ,其中v是CAM 中像素的注意力值的集合， 对于权　利　要　求　书 1/2 页 2 CN 115393598 A 2其位置p的选择如下： ,其中， aij是CAM中位置(i,j)处的注意 力值， lij是位置(i,j)处初始标签中的值， 表示像素的伪标签; 如上方两个公式所示， 如果初始标签包含类c， 则在其CAM中选择这些像素， 并选择它们 的注意力值的中值 为Tc； 否则， 在其CAM中选择注意值大于0.3的像素， 并将其注意值的上四分位点选择为Tc； 然 后， 按照下式调整初始标签： ,这里， ac表 示第c个类别的CAM 。 7.根据权利要求6所述的基于非显著区域对象挖掘的弱监督语义分割方法， 其特征在 于： 所述步骤2中的非显著区域掩码具体为： 基于显著区域内的目标标签是正确的这一假 设， 首先在伪标签的指导下对初始预测中的目标区域进行扩展； 然后 从扩展的预测图中提 取目标对象掩码， 紧接着用一个膨胀操作来对掩码进 行膨胀， 最后， 对扩展后的预测图进 行 掩码过滤， 得到最终的掩码伪标签。权　利　要　求　书 2/2 页 3 CN 115393598 A 3