(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210660752.5 (22)申请日 2022.06.13 (65)同一申请的已公布的文献号 申请公布号 CN 114758136 A (43)申请公布日 2022.07.15 (73)专利权人 深圳比特微电子科技有限公司 地址 518000 广东省深圳市南 山区高新 南 六道航盛科技大厦801 (72)发明人 高思斌　范晓　杨作兴　艾国　 (74)专利代理 机构 北京德琦知识产权代理有限 公司 11018 专利代理师 衣淑凤　宋志强 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/82(2022.01)G06V 10/774(2022.01) G06V 10/776(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) 审查员 陈琪蒙 (54)发明名称 目标去除模 型建立方法、 装置及可读存储介 质 (57)摘要 本发明实施例提出目标去除模 型建立方法、 装置及可读存储介质。 方法包括： 将各原始图像 分别输入已训练好的目标分割神经网络， 将得到 的二值掩膜预测图像和对应的原始图像输入待 训练的第一目标去除神经网络， 将得到的目标去 除粗略图像和对应的二值掩膜预测图像输入待 训练的第二目标去除神经网络， 将得到的目标去 除精细图像和对应的标准图像输入待训练的判 别器神经网络进行目标去除判别处理； 调整第一 目标去除神经网络、 第二目标去除神经网络和判 别器神经网络的参数， 直至收敛， 将收敛时的目 标分割神经网络、 第一目标去除神经网络和第二 目标去除神经网络构成的模型作为最终使用的 目标去除模 型。 本发明实施例提高了目标去除的 精度。 权利要求书4页 说明书14页 附图2页 CN 114758136 B 2022.10.18 CN 114758136 B 1.一种目标去除模型建立方法， 其特 征在于， 该 方法包括： 获取原始图像集， 该原始图像集中包含多帧原始图像， 每帧原始图像中包含至少一个 目标； 获取每帧原始图像分别对应的不包含目标的标准图像， 得到原始图像集对应的标准图 像集； 将原始图像集中的各原始图像分别输入已训练好的目标分割神经网络进行目标和背 景的分割， 得到对应的二 值掩膜预测图像； 将二值掩膜预测图像和对应的原始图像输入待训练的第一目标去除神经网络进行目 标去除处 理， 得到对应的目标去除粗略图像； 将目标去除粗略图像和对应的二值掩膜预测图像输入待训练的第二目标去除神经网 络进行目标去除处 理， 得到对应的目标去除精细图像； 将目标去除精细图像和对应的标准图像输入待训练的判别器神经网络进行目标去除 判别处理， 得到目标去除判别结果； 调整所述目标分割神经网络、 第一目标去 除神经网络、 第二目标去 除神经网络和判别 器神经网络的参数， 直至 收敛， 将收敛时的目标分割神经网络、 第一目标去除神经网络、 第 二目标去除神经网络、 和判别器神经网络构成的模型作为 最终使用的目标去除模型； 所述第一目标去除神经网络和第二目标去除神经网络的结构和参数相同； 所述得到对应的目标去 除粗略图像之后、 所述调整所述第一目标去 除神经网络、 第二 目标去除神经网络和判别器神经网络的参数之前， 进一 步包括： 根据目标去除粗略图像和对应的标准图像， 计算第二损失函数值； 所述得到对应的目标去 除精细图像之后、 所述调整所述第一目标去 除神经网络、 第二 目标去除神经网络和判别器神经网络的参数之前， 进一 步包括： 根据目标去除精细图像和对应的标准图像， 计算第三损失函数值； 所述调整所述第 一目标去除神经网络、 第 二目标去除神经网络和判别器神经网络的参 数， 包括： 根据第二损失函数值同时调整第一目标去除神经网络和第二目标去除神经网络的参 数， 根据第三损失函数值同时调整第一目标去除神经网络和第二目标去除神经网络的参 数。 2.根据权利要求1所述的方法， 其特征在于， 所述获取原始图像集之后、 所述将原始图 像集中的各原始图像分别输入已训练好的目标分割神经网络进行目标分割处理之前， 进一 步包括： 分别对每帧原始图像中的目标和背景进行二值掩膜 处理， 得到原始图像集对应的二值 掩膜标注图像集； 将原始图像集中的各原始图像分别输入待训练的目标分割神经网络进行目标分割处 理； 根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图 像， 计算第一损失函数值； 根据第一损失函数值调整待训练的目标分割神经网络的参数， 直至目标分割神经网络 收敛。权　利　要　求　书 1/4 页 2 CN 114758136 B 23.根据权利要求2所述的方法， 其特征在于， 所述根据待训练的目标分割神经网络输出 的二值掩膜预测图像和对应的二 值掩膜标注图像， 计算第一损失函数值， 包括： 根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图 像， 计算所述目标分割神经网络的像素角度的损失函数值； 计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图 像的局部相似度； 计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图 像的整体相似度； 对所述目标分割神经网络的像素角度的损失函数值、 所述局部相似度和所述整体相似 度进行加权求和计算， 得到第一损失函数值。 4.根据权利要求3所述的方法， 其特征在于， 所述根据待训练的目标分割神经网络输出 的二值掩膜预测图像和对应的二值掩膜标注图像， 计算所述目标分割神经网络的像素角度 的损失函数值， 包括： 计算： 其中，lpixel为所述目标分割神经网络的像素角度的损失函数值， P(a,b)为待训练的目 标分割神经网络输出的二值掩膜预测图像上的像素点( a,b)的像素值， a、b分别为像素点的 纵坐标、 横坐标， L(a,b)为对应的二值掩膜标注图像上的像素点( a,b)的像素值， ln为自然 对数运算符， H、W分别为待训练的目标分割神经网络输出 的二值掩膜预测图像和对应的二 值掩膜标注图像的高度和宽度， H、W的单位为像素，α和γ为预设超参数； 所述计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标 注图像的局部相似度， 包括： 计算： 其中，lssim为待训练的目标分割神经网络输出的二值掩膜预测图像和 对应的二值掩膜 标注图像的局部相似度； I为分别在二值掩膜预测图像和 二值掩膜标注图像上滑动的滑动 窗的总数， i为滑动窗的序号； µxi为待训练的目标分割神经网络输出的二值掩膜预测图像中 的第i个滑动窗内所有 像素点的像素值均值， µyi为对应的二值掩膜标注图像中的第 i个滑动 窗内所有像素点的像素值均值； σxi为待训练的目标分割神经网络输出的二值掩膜预测图像 中的第i个滑动窗内所有像素点的像素值 方差，σyi为对应的二值掩膜标注图像中的第 i个滑 动窗内所有像素点的像素值方差； σxyi表示待训练的目标分割神经网络输出的二值掩膜预 测图像和对 应的二值掩膜标注图像中的第 i个滑动窗内所有像素点的像素值协方差； C1和C2 为预设常数； 所述计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标 注图像的整体相似度， 包括：权　利　要　求　书 2/4 页 3 CN 114758136 B 3