(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210647722.0 (22)申请日 2022.06.08 (71)申请人 上海商汤智能科技有限公司 地址 200233 上海市徐汇区桂平路391号3 号楼1605A室 (72)发明人 杨昆霖　邱增玉　宗道明　侯军　 伊帅　 (74)专利代理 机构 北京林达刘知识产权代理事 务所(普通 合伙) 11277 专利代理师 刘新宇 (51)Int.Cl. G06V 10/778(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01)G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像处理模 型的训练方法、 装置、 设备、 介质 和程序产品 (57)摘要 本公开涉及一种图像处理模 型的训练方法、 装置、 设备、 介质和程序产品。 所述方法包括： 获 取训练图像的第一特征图和第二特征图， 其中， 所述第一特征图通过第一图像处理模 型输出， 所 述第二特征图通过第二图像处理模 型输出； 根据 所述第一特征图中的部分特征和所述第二特征 图中的部分特征， 生成第三特征图； 根据所述第 三特征图和所述第一特征图， 确定所述第二图像 处理模型对应的损失函数的值； 根据所述损失函 数的值， 训练所述第二图像处 理模型。 权利要求书3页 说明书26页 附图2页 CN 114998694 A 2022.09.02 CN 114998694 A 1.一种图像处 理模型的训练方法， 其特 征在于， 包括： 获取训练图像的第一特征图和第二特征图， 其中， 所述第一特征图通过第一图像处理 模型输出， 所述第二特 征图通过第二图像处 理模型输出； 根据所述第一特征图中的部分特征和所述第二特征图中的部分特征， 生成第三特征 图； 根据所述第 三特征图和所述第 一特征图， 确定所述第 二图像处理模型对应的损失函数 的值； 根据所述损失函数的值， 训练所述第二图像处 理模型。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述第 一特征图中的部分特征和 所述第二特 征图中的部分特 征， 生成第三特 征图， 包括： 从所述第一特征图中， 确定用于生成第三特征图的第一特征块集合， 并从所述第二特 征图中， 确定用于生成所述第三特征图的第二特征块集合， 其中， 所述第一特征块集合表 示 所述第一特征图中用于生成所述第三特征图的特征块的集合， 且所述第一特征块集合包括 所述第一特征图的部分特征， 所述第二特征块集合表示所述第二特征图中用于生成所述第 三特征图的特 征块的集 合， 且所述第二特 征块集合包括所述第二特 征图的部分特 征； 根据所述第一特 征块集合和所述第二特 征块集合， 生成所述第三特 征图。 3.根据权利要求2所述的方法， 其特征在于， 所述从所述第一特征图中， 确定用于生成 第三特征图的第一特征块集合， 并从所述第二特征图中， 确定用于生成所述第三特征图的 第二特征块集合， 包括： 根据所述第 一特征图和所述第 二特征图， 确定用于合并所述第 一特征图和所述第 二特 征图的掩码比例； 根据所述掩码比例， 确定掩码区域； 根据所述掩码区域， 从所述第一特征图中， 确定用于生成第三特征图的第一特征块集 合， 并从所述第二特征图中， 确定用于生成所述第三特征图的第二特征块集合， 其中， 所述 第一特征块集合与所述第二特 征块集合中的特 征块的位置互补。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述第 一特征图和所述第 二特征 图， 确定用于合并所述第一特 征图和所述第二特 征图的掩码比例， 包括： 确定所述第一特 征图与所述第二特 征图之间的相似性信息； 根据所述相似性信息， 确定用于合并所述第一特 征图和所述第二特 征图的掩码比例。 5.根据权利要求 4所述的方法， 其特 征在于， 所述确定所述第一特征图与所述第二特征图之间的相似性信息， 包括： 确定所述第一 特征图与所述第二特 征图之间的中间核对齐CKA相似性指数； 所述根据 所述相似性信 息， 确定用于合并所述第 一特征图和所述第 二特征图的掩码比 例， 包括： 根据所述CKA相 似性指数， 确定用于合并所述第一特征图和所述第二特征图的掩 码比例。 6.根据权利要求4或5所述的方法， 其特征在于， 所述确定所述第一特征图与所述第二 特征图之间的相似性信息， 包括： 对齐所述第一特 征图与所述第二特 征图； 确定对齐后的所述第一特 征图与所述第二特 征图之间的相似性信息 。权　利　要　求　书 1/3 页 2 CN 114998694 A 27.根据权利要求6所述的方法， 其特征在于， 所述对齐所述第 一特征图与所述第 二特征 图， 包括： 响应于所述第 二特征图与 所述第一特征图的通道数不同， 对所述第 二特征图进行卷积 处理， 使卷积处理后的第二特征图与所述第一特征图的通道数相同， 和/或， 响应于所述第 二特征图与所述第一特征图的尺寸不同， 对所述第二特征图进行双线性插值， 使双线性插 值后的第二特 征图与所述第一特 征图的尺寸相同； 或者， 响应于所述第 二特征图与 所述第一特征图的通道数不同， 对所述第 一特征图进行卷积 处理， 使卷积处理的第一特征图与所述第二特征图的通道数相同， 和/或， 响应于所述第二 特征图与所述第一特征图的尺寸不同， 对所述第一特征图进行双线性插值， 使双线性插值 后的第一特 征图与所述第二特 征图的尺寸相同。 8.根据权利要求3至7中任意一项所述的方法， 其特征在于， 所述根据 所述掩码区域， 从 所述第一特征图中， 确定用于生成第三特征图的第一特征块集合， 并从所述第二特征图中， 确定用于生成所述第三特 征图的第二特 征块集合， 包括： 对应所述掩码区域的位置信 息或者对应所述掩码区域以外的位置信 息， 从所述第 一特 征图中确定用于生成第三特 征图的第一特 征块集合； 从所述第二特征图中， 选取与所述第一特征块集合中的特征块的位置互补的特征块， 得到用于生成所述第三特 征图的第二特 征块集合。 9.根据权利要求2至8中任意一项所述的方法， 其特征在于， 所述根据所述第一特征块 集合和所述第二特 征块集合， 生成所述第三特 征图， 包括： 对所述第一特征块集合和所述第 二特征块集合分别进行位置编码， 得到所述第 一特征 块集合对应的第一 位置信息和所述第二特 征块集合对应的第二 位置信息； 结合所述第一 位置信息， 对所述第一特 征块集合进行编码， 得到第一特 征块编码结果； 结合所述第二 位置信息， 对所述第二特 征块集合进行编码， 得到第二特 征块编码结果； 根据所述第一特 征块编码结果和所述第二特 征块编码结果， 生成第三特 征图。 10.根据权利要求1至9中任意一项所述的方法， 其特征在于， 所述根据 所述第三特征图 和所述第一特 征图， 确定所述第二图像处 理模型对应的损失函数的值， 包括： 对所述第三特 征图进行位置编码， 得到所述第三特 征图对应的第三 位置信息； 将所述第三 位置信息和所述第三特 征图输入解码网络， 得到第四特 征图； 根据所述第四特征图和所述第 一特征图， 确定所述第 二图像处理模型对应的损失函数 的值。 11.根据权利要求1至10中任意 一项所述的方法， 其特 征在于， 所述获取训练图像的第一特征图和第二特征图， 包括： 获得所述第一图像处理模型的 至少两个第一中间层提取的所述训练图像对应的至少两个第一特征图， 以及所述第二图像 处理模型 的至少两个第二中间层提取 的所述训练图像对应的至少 两个第二特征图， 其中， 所述至少两个第一特征图与所述至少两个第二特征图组成至少两个特征图对， 所述至少两 个特征图对中的任一特 征图对包括一个第一特 征图和一个第二特 征图； 所述根据 所述第一特征图中的部分特征和所述第 二特征图中的部分特征， 生成第 三特 征图， 包括： 对于所述至少两个特征图对中的任一特征图对， 根据所述特征图对中的第一特权　利　要　求　书 2/3 页 3 CN 114998694 A 3