(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210981983.6 (22)申请日 2022.08.16 (65)同一申请的已公布的文献号 申请公布号 CN 115063875 A (43)申请公布日 2022.09.16 (73)专利权人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦二层 (72)发明人 郭若愚　杜宇宁　赖宝华　于佃海　 马艳军　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 孟洋 (51)Int.Cl. G06V 40/16(2022.01)G06V 40/20(2022.01) G06V 20/62(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) (56)对比文件 CN 111582500 A,2020.08.25 CN 113361572 A,2021.09.07 CN 111090756 A,2020.0 5.01 CN 112733879 A,2021.04.3 0 KR 20200128938 A,2020.1 1.17 US 2021124881 A1,2021.04.2 9 审查员 刘海莺 (54)发明名称 模型训练方法、 图像处理方法、 装置和电子 设备 (57)摘要 本公开提供了一种模 型训练方法、 图像处理 方法、 装置和电子设备， 涉及人工智能技术领域， 尤其涉及深度学习、 图像处理、 计算机视觉技术 领域。 具体实现方案为： 将训练样本分别输入至 学生模型和n个教师模型中， 获取学生模型的第 一输出， 并获取n个教师模型的第二输出； 基于训 练样本的标签和n个第二输出， 确定训练样本对 应的权重； 基于第一输出和权重， 获取学生模型 的总损失函数； 基于总损失函数对 学生模型的模 型参数进行更新， 得到训练后的目标模型。 由此， 可综合考虑到训练样本的标签和教师模型的第 二输出， 来确定训练样本对应的权重， 进而基于 学生模型的第一输出和权重， 得到学生模型的总 损失函数， 提高了模型训练的精度。 权利要求书3页 说明书12页 附图5页 CN 115063875 B 2022.12.16 CN 115063875 B 1.一种图像处 理方法， 包括： 获取待处 理图像； 将所述待处理图像输入目标图像模型中， 由所述目标图像模型输出所述待处理图像的 处理结果； 其中， 通过下述步骤训练所述目标图像模型： 将训练样本分别输入至学生模型和n个教 师模型中， 获取所述学生模型的第一输出， 并获取n个所述教师模型的第二输出， 其中， n为 正整数； 基于所述训练样本的标签和n个所述第二输出， 确定所述训练样本对应的权 重； 基于所述第一输出和所述权 重， 获取所述学生模型的总损失函数； 基于所述总损失函数对所述学生模型的模型参数进行 更新， 得到训练后的目标模型； 其中， 所述权 重包括第一权 重和所述教师模型对应的第二权 重； 其中， 所述基于所述第一输出和所述权 重， 获取所述学生模型的总损失函数， 包括： 基于所述第一输出、 所述标签和所述第一权 重， 获取所述学生模型的第一损失函数； 基于所述第 一输出、 n个所述第 二输出和所述第 二权重， 获取所述学生模型的第 二损失 函数； 基于所述第一损失函数和所述第二损失函数， 获取 所述总损失函数； 其中， 所述基于所述训练样本的标签和n个所述第 二输出， 确定所述训练样本对应的权 重， 包括： 将所述标签和n个所述第二输出进行比对， 获取与所述标签一致的第二输出的目标数 量； 基于所述目标 数量， 确定所述第一权 重， 其中， 所述第一权 重与所述目标 数量正相关； 其中， 所述基于所述训练样本的标签和n个所述第 二输出， 确定所述训练样本对应的权 重， 包括： 将所述标签和第i个教师模型的第二输出进行比对； 响应于所述标签与所述第 i个教师模型的第二输出一致， 确定所述第 i个教师模型对应 的第二权 重为1； 或者， 响应于所述标签与所述第i个教师模型的第二输出不一致， 获取与所述标签一致的第 二输出的目标 数量； 基于所述目标数量， 确定所述第i个教师模型对应的第二权重， 其中， 所述第二权重与 所述目标 数量正相关。 2.根据权利要求1所述的方法， 其中， 所述基于所述第一输出、 所述标签和所述第一权 重， 获取所述学生模型的第一损失函数， 包括： 基于所述第一输出和所述标签， 获取 所述学生模型的第一初始损失函数； 基于所述第一初始损失函数和所述第一权 重， 获取所述第一损失函数。 3.根据权利要求1所述的方法， 其中， 所述基于所述第 一输出、 n个所述第 二输出和所述 第二权重， 获取所述学生模型的第二损失函数， 包括： 基于所述第 一输出和第i个教师模型的第二输出， 获取所述学生模型的第 i个第三初始 损失函数， 其中， 1≤i≤n， i 为正整数； 基于所述第 i个第三初始损失函数和所述第i个教师模型对应的第二权重， 获取所述学权　利　要　求　书 1/3 页 2 CN 115063875 B 2生模型的第i个第三损失函数； 基于所述学生模型的n个第三损失函数， 获取 所述第二损失函数。 4.根据权利要求3所述的方法， 其中， 所述基于所述学生模型的n个第 三损失函数， 获取 所述第二损失函数， 包括： 获取所述学生模型的n个第三损 失函数的平均值， 并将所述平均值确定为所述第二损 失函数。 5.根据权利要求1所述的方法， 其中， 所述基于所述训练样本的标签和n个所述第二输 出， 确定所述训练样本对应的权 重， 包括： 按照所述标签的数据格 式， 将n个所述第二输出转换为所述标签的数据格 式的n个第二 转换输出； 基于所述标签和n个所述第二 转换输出， 确定所述权 重。 6.根据权利要求1所述的方法， 其中， 所述基于所述第一损失函数和所述第二损失函 数， 获取所述总损失函数， 包括： 对所述第一损失函数和所述第二损失函数进行加权求和， 获取 所述总损失函数。 7.一种图像处 理装置， 包括： 获取模块， 用于获取待处 理图像； 处理模块， 用于将所述待处理图像输入目标图像模型中， 由所述目标图像模型输出所 述待处理图像的处理结果， 其中， 通过下述步骤训练所述目标图像模型： 第一获取模块， 用 于将训练样本 分别输入至学生模 型和n个教师模型中， 获取所述学生模型的第一输出， 并获 取n个所述教师模型的第二输出， 其中， n 为正整数； 确定模块， 用于基于所述训练样本的标签和n个所述第 二输出， 确定所述训练样本对应 的权重； 第二获取模块， 用于基于所述第一输出和所述权 重， 获取所述学生模型的总损失函数； 训练模块， 用于基于所述总损 失函数对所述学生模型的模型参数进行更新， 得到训练 后的目标模型； 其中， 所述权 重包括第一权 重和所述教师模型对应的第二权 重； 其中， 所述第二获取模块， 还用于： 基于所述第一输出、 所述标签和所述第一权 重， 获取所述学生模型的第一损失函数； 基于所述第 一输出、 n个所述第 二输出和所述第 二权重， 获取所述学生模型的第 二损失 函数； 基于所述第一损失函数和所述第二损失函数， 获取 所述总损失函数； 其中， 所述确定模块， 还用于： 将所述标签和n个所述第二输出进行比对， 获取与所述标签一致的第二输出的目标数 量； 基于所述目标 数量， 确定所述第一权 重， 其中， 所述第一权 重与所述目标 数量正相关； 其中， 所述确定模块， 还用于： 将所述标签和第i个教师模型的第二输出进行比对； 响应于所述标签与所述第 i个教师模型的第二输出一致， 确定所述第 i个教师模型对应 的第二权 重为1； 或者，权　利　要　求　书 2/3 页 3 CN 115063875 B 3