(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210684795.7 (22)申请日 2022.06.16 (71)申请人 京东科技信息技 术有限公司 地址 100176 北京市大兴区经济技 术开发 区科创十一 街18号院2号楼6层6 01 (72)发明人 曹琼　陈夏宁　陶大程　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 赵迎迎 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种图像优化方法、 装置、 设备和存 储介质 (57)摘要 本发明实施例公开了一种图像优化方法、 装 置、 设备和存储介质， 该方法包括： 基于预训练网 络确定噪声图像的预测分类， 根据预测分类和为 噪声图像设置的分类标签确定噪声图像的分类 损失； 其中， 预训练网络用于图像分类； 对噪声图 像进行畸变约束和正则化处理， 得到正则损失； 根据分类损失和正则损失确定损失函数； 对噪声 图像进行优化处理， 根据处理后的噪声图像计算 损失函数的函数值， 并在损失函数的函数值满足 预设条件时， 将处理后的噪声图像确定为优化图 像。 上述技术方案， 优化噪声 图像得到的优化图 像， 可以作为训练图像对预训练网络进行再次训 练， 以提升预训练网络的分类精确度， 解决现有 技术中难以获取到用于模型训练的真实图像的 问题。 权利要求书2页 说明书13页 附图5页 CN 114937187 A 2022.08.23 CN 114937187 A 1.一种图像优化方法， 其特 征在于， 包括： 基于预训练网络确定噪声图像的预测分类， 根据 所述预测分类和为所述噪声图像设置 的分类标签确定所述噪声图像的分类损失； 其中， 所述预训练网络用于图像分类； 对所述噪声图像进行畸变约束和正则化处 理， 得到正则损失； 根据所述分类损失和所述 正则损失确定损失函数； 对所述噪声图像进行优化处理， 根据处理后的噪声图像计算所述损 失函数的函数值， 并在所述损失函数的函数值满足预设条件时， 将所述处 理后的噪声图像确定为优化图像。 2.根据权利要求1所述的图像优化方法， 其特征在于， 在基于预训练网络确定噪声图像 的预测分类之前， 还 包括： 构建用于图像分类的网络模型， 并对所述网络模型进行 预训练， 得到所述预训练网络 。 3.根据权利要求1所述的图像优化方法， 其特征在于， 根据 所述预测分类和为所述噪声 图像设置的分类标签确定所述噪声图像的分类损失， 包括： 确定所述分类标签和所述预测分类的交叉熵损失函数， 并将所述交叉熵损失函数确定 为所述分类损失。 4.根据权利要求1所述的图像优化方法， 其特征在于， 对所述噪声图像进行畸变约束和 正则化处 理， 得到正则损失， 包括： 确定所述噪声图像的正则损失函数， 根据所述 正则损失函数确定畸变约束结果； 根据所述预训练网络确定所述噪声图像的图像特征的输入统计值和存储统计值， 根据 所述输入统计值和所述存储统计值确定正则化处理结果， 其中， 所述输入统计值包括所述 噪声图像所属批次噪声图像中各图像的图像特征 的均值和/或方差， 存储统计值包括所述 预训练网络中存 储的图像特 征的均值和/或方差； 将所述畸变约束结果和所述 正则化处 理结果的和值确定为所述 正则损失。 5.根据权利要求1所述的图像优化方法， 其特征在于， 在根据所述分类损失和所述正则 损失确定损失函数之前， 还 包括： 根据所述噪声图像的最简单正样本、 最困难正样本和最困难负样本确定所述噪声图像 的多样化损失； 相应地， 根据所述分类损失和所述 正则损失确定损失函数， 包括： 对所述分类损 失、 所述正则损 失和所述多样化损 失进行求和， 并将求和结果确定为所 述损失函数。 6.根据权利要求5所述的图像优化方法， 其特征在于， 根据 所述噪声图像的最简单正样 本、 最困难正样本和最困难负 样本确定所述噪声图像的多样化损失， 包括： 确定所述噪声图像的所述 最简单正样本、 所述 最困难正样本和所述 最困难负 样本； 根据所述噪声图像和所述最简单正样本确定第一多样化损 失； 根据所述噪声图像、 所 述最困难正样本和所述 最困难负 样本确定第二多样化损失； 通过所述第一多样化损失和所述第二多样化损失确定所述多样化损失。 7.根据权利要求6所述的图像优化方法， 其特征在于， 确定所述噪声图像的所述最简单 正样本、 所述 最困难正样本和所述 最困难负 样本， 包括： 确定所述噪声图像的图像特征与所述噪声图像所属批次噪声图像中其他图像的图像 特征的特征欧式距离；权　利　要　求　书 1/2 页 2 CN 114937187 A 2将特征欧式距离最小的图像确定为所述最简单正样本， 并将特征欧式距离最大的同类 图像确定为所述最困难正样本， 且将特征欧式距离最小的不同类图像确定为所述最困难负 样本。 8.根据权利要求6所述的图像优化方法， 其特征在于， 根据 所述噪声图像和所述最简单 正样本确定第一多样化损失； 根据所述噪声图像、 所述最困难正样本和所述最困难负样本 确定第二多样化损失， 包括： 确定所述噪声图像与 所述最简单正样本的第 一特征欧式距离， 并根据 所述第一特征欧 式距离确定所述第一多样化损失； 确定所述噪声图像与 所述最困难正样本的第 二特征欧式距离， 以及所述噪声图像与 所 述最困难负样本的第三特征欧式距离， 并根据所述第二特征欧式距离和所述第三特征欧式 距离确定所述第二多样化损失。 9.根据权利要求1所述的图像优化方法， 其特征在于， 在所述损失函数的函数值满足预 设条件时， 将所述处 理后的噪声图像确定为优化图像， 包括： 在所述损失函数的函数值收敛时， 将所述处 理后的噪声图像确定为所述优化图像。 10.根据权利要求2所述的图像优化方法， 其特征在于， 构建用于图像分类的网络模型， 并对所述网络模型进行 预训练， 得到所述预训练网络， 包括： 基于卷积神经网络构建用于图像分类的所述网络模型； 通过公共数据集对所述网络模型进行 预训练， 并计算预损失函数； 基于反向传播 算法进行网络优化， 直至所述预损失函数收敛， 得到所述预训练网络 。 11.一种图像优化装置， 其特 征在于， 包括： 确定模块， 用于基于预训练网络确定噪声图像的预测分类， 根据所述预测分类和为所 述噪声图像设置的分类标签确定所述噪声图像的分类损失； 其中， 所述预训练网络用于图 像分类； 处理模块， 用于对所述噪声图像进行畸变约束和正则化处 理， 得到正则损失； 执行模块， 用于根据所述分类损失和所述 正则损失确定损失函数； 优化模块， 用于对所述噪声图像进行优化处理， 根据处理后的噪声图像计算所述损 失 函数的函数值， 并在所述损失函数 的函数值满足预设条件时， 将所述处理后的噪声图像确 定为优化图像。 12.一种计算机设备， 其特 征在于， 所述设备包括： 至少一个处 理器； 以及与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序， 所述计算机程 序被所述至少一个处理器执行， 以使 所述至少一个处理器能够执行权利要求 1‑10中任一项 所述的图像优化方法。 13.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行时实现如权利要求1 ‑10中任一所述的图像优化方法。 14.一种计算机程序产品， 其特征在于， 所述计算机程序产品包括计算机程序， 所述计 算机程序在被处 理器执行时实现根据权利要求1 ‑10中任一项所述的图像优化方法。权　利　要　求　书 2/2 页 3 CN 114937187 A 3