(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211337465.7 (22)申请日 2022.10.28 (71)申请人 北京有竹居网络技 术有限公司 地址 101299 北京市平谷区林荫北街13号 信息大厦802室 (72)发明人 江毅　田柯宇　袁泽寰　 (74)专利代理 机构 北京英创嘉友知识产权代理 事务所(普通 合伙) 11447 专利代理师 王修雨 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) (54)发明名称 图像模型训练方法、 装置、 介质及电子设备 (57)摘要 本公开涉及一种图像模型的训练方法、 装 置、 介质及电子设备， 方法包括： 获取第一样本图 像； 对第一样本图像进行裁剪， 得到第一子图像 和第二子图像； 根据第一子图像和第二子图像在 第一样本图像中的位置信息， 以重构与第二子图 像对应的第三子图像为训练目标， 对初始网络模 型进行预训练， 得到预训练完成的初始网络模型 中的编码器； 将编码器确定为图像处理模型的特 征提取器， 并利用获取的第二样本图像， 对图像 处理模型进行训练， 训练完成的图像处理模型用 于对目标图像进行处理， 第一子图像、 第二样本 图像和目标图像均是未经掩码的图像， 提升了预 训练效果， 从而提升了以预训练完成的编码器作 为特征提取器的图像处理模型在训练完成后的 图像处理效果。 权利要求书2页 说明书10页 附图3页 CN 115546487 A 2022.12.30 CN 115546487 A 1.一种图像模型训练方法， 其特 征在于， 包括： 获取第一样本图像； 对所述第一样本图像进行裁 剪， 得到第一子图像和第二子图像； 根据所述第 一子图像和所述第 二子图像在所述第 一样本图像中的位置信 息， 以重构与 所述第二子图像对应的第三子图像为训练目标， 对初始网络模型进行预训练， 得到预训练 完成的初始网络模型中的编码器； 将所述编码器确定为图像处理模型的特征提取器， 并利用获取的第二样本 图像， 对所 述图像处理模型进 行训练， 其中， 训练完成的图像处理模型用于对目标图像进 行处理， 所述 第一子图像、 所述第二样本图像和所述目标图像均是 未经掩码的图像。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述第 一子图像和所述第 二子图 像在所述第一样本图像中的位置信息， 以重构与所述第二子图像对应的第三子图像为训练 目标， 对初始网络模型进行 预训练， 得到预训练完成的初始网络模型中的编码器， 包括： 将所述第一子图像和所述第二子图像在所述第一样本图像中的位置信息输入至初始 网络模型， 得到所述初始网络模型重构的与所述第二子图像对应的第三子图像； 根据所述第三子图像与所述第二子图像的像素差异， 对所述初始网络模型进行预训 练， 得到预训练完成初始网络模型中的编码器。 3.根据权利要求2所述的方法， 其特征在于， 所述将所述第 一子图像和所述第 二子图像 在所述第一样本图像中的位置信息输入至初始网络模型， 得到所述初始网络模型重构的与 所述第二子图像对应的第三子图像， 包括： 将所述第一子图像输入至初始网络模型中的初始编码器， 得到所述初始编码器基于所 述第一子图像提取的第一图像特 征； 将所述第一图像特征和所述第二子图像在所述第一样本图像中的位置信息输入至所 述初始网络模型中的初始解码器， 得到所述初始解码器输出的第二图像特 征； 将所述第二图像特征输入至所述初始网络模型中的初始预测网络， 得到所述初始预测 网络重构的与所述第二子图像对应的第三子图像。 4.根据权利要求2所述的方法， 其特征在于， 所述根据所述第 三子图像与所述第 二子图 像的像素差异， 对所述初始网络模型进行 预训练， 包括： 确定所述第一子图像与所述第二子图像的重 叠区域； 计算所述第二子图像与所述第三子图像中除所述重叠区域之外的对应位置的像素的 差异； 根据确定的所有所述差异之和， 对所述初始网络模型进行 预训练。 5.根据权利要求2所述的方法， 其特 征在于， 对所述初始网络模型进行 预训练， 包括： 根据所述像素差异， 调整所述初始网络模型中的初始编码器的网络参数、 所述初始网 络模型中的初始解码器的网络参数以及所述初始网络模型中的初始预测网络的网络参数。 6.根据权利要求1所述的方法， 其特征在于， 所述第 一子图像与 所述第二子图像的重叠 区域的大小 小于所述第一子图像或所述第二子图像所对应的大小。 7.根据权利要求1所述的方法， 其特征在于， 所述将所述编码器确定为图像处理模型的 特征提取器， 并利用获取的第二样本图像， 对所述图像处 理模型进行训练， 包括： 将所述编码器确定为图像处 理模型的特 征提取器， 并获取第二样本图像；权　利　要　求　书 1/2 页 2 CN 115546487 A 2根据所述特征提取器对所述第 二样本图像进行特征提取， 得到所述第 二样本图像的特 征表示； 根据所述图像处 理模型的处 理网络对所述特 征表示进行处 理， 得到图像处 理结果； 根据所述图像处理结果和所述第 二样本图像的标签结果， 调 整所述图像处理模型的网 络参数， 以对所述图像处 理模型进行训练。 8.一种图像模型训练装置， 其特 征在于， 包括： 获取模块， 用于获取第一样本图像； 裁剪模块， 用于对所述第一样本图像进行裁 剪， 得到第一子图像和第二子图像； 第一训练模块， 用于根据所述第 一子图像和所述第 二子图像在所述第 一样本图像 中的 位置信息， 以重构与所述第二子图像对应的第三子图像为训练目标， 对初始网络模型进行 预训练， 得到预训练完成的初始网络模型中的编码器； 第二训练模块， 用于将所述编码器确定为图像处理模型的特征提取器， 并利用获取的 第二样本图像， 对所述图像处理模型进 行训练， 其中， 训练完成的图像处理模型用于对目标 图像进行处 理， 所述第一子图像、 所述第二样本图像和所述目标图像均是 未经掩码的图像。 9.一种计算机可读介质， 其上存储有计算机程序， 其特征在于， 该程序被处理装置执行 时实现权利要求1 ‑7中任一项所述方法的步骤。 10.一种电子设备， 其特 征在于， 包括： 存储装置， 其上存 储有计算机程序； 处理装置， 用于执行所述存储装置 中的所述计算机程序， 以实现权利要求1 ‑7中任一项 所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115546487 A 3