(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210912661.6 (22)申请日 2022.07.30 (71)申请人 北京市商汤科技 开发有限公司 地址 100080 北京市海淀区北四环西路58 号11层1101-1117室 (72)发明人 关英妲　常蕙滢　汪旻　刘文韬　 钱晨　 (74)专利代理 机构 北京中知恒瑞知识产权代理 事务所(普通 合伙) 11889 专利代理师 尹礼 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/52(2022.01)G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 3/00(2006.01) (54)发明名称 图像处理、 神经网络生成、 样本图像的生成 方法及装置 (57)摘要 本公开提供了一种图像处理、 神经网络生 成、 样本图像的生成方法及装置、 电子设备及存 储介质， 其中， 该图像处理方法包括： 获取待处理 图像； 利用预先训练好的目标神经网络， 对所述 待处理图像进行目标检测处理， 得到对所述待处 理图像的目标检测结果； 所述目标神经网络是利 用第一样 本图像、 以及对所述第一样本图像进行 风格迁移处理后得到的第二样本图像对原始神 经网络进行迭代训练， 以使 得到的所述目标神经 网络为所述第一样本图像提取的第一特征数据、 和为所述第二样本图像提取的第二特征数据满 足预设的相似度条件。 权利要求书5页 说明书22页 附图4页 CN 115100504 A 2022.09.23 CN 115100504 A 1.一种图像处 理方法， 其特 征在于， 包括： 获取待处 理图像； 利用预先训练好的目标神经网络， 对所述待处理图像进行目标检测 处理， 得到对所述 待处理图像的目标检测结果； 所述 目标神经网络是利用第一样本图像、 以及对所述第一样 本图像进 行风格迁移处理后得到的第二样本图像对原始神经网络进行迭代训练， 以使得到 的所述目标神经网络为所述第一样本图像提取的第一特征数据、 和为所述第二样本图像提 取的第二特 征数据满足预设的相似度条件。 2.根据权利要求1所述的方法， 其特征在于， 对所述待训练神经网络执行至少一个迭代 周期的训练， 得到所述目标神经网络， 并在每 个迭代周期中， 执 行下述过程： 获取所述第 一样本图像、 和对所述第 一样本图像进行风格迁移 处理后得到的所述第 二 样本图像； 利用当前迭代周期对应的待训练的神经网络， 对所述第 一样本图像和所述第 二样本图 像分别进行特征提取， 分别得到所述第一特征数据和所述第二特征数据； 所述当前迭代周 期对应的待训练的神经网络包括： 所述原始神经网络、 或者所述当前迭代周期对应的前一 迭代周期的已训练神经网络； 基于所述第 一特征数据和所述第 二特征数据， 确定第 一损失； 其中， 所述第 一损失用于 描述所述第一特 征数据和所述第二特 征数据之间的相似度； 基于所述第 一损失以及所述相似度 条件， 对所述当前迭代周期对应的待训练 的神经网 络进行训练， 得到当前迭代周期对应的已训练神经网络； 基于最后一个迭代周期得到的待训练神经网络， 得到所述目标神经网络 。 3.根据权利要求2所述的方法， 其特 征在于， 所述获取 所述第一样本图像， 包括： 对现实目标场景进行三维建模， 得到场景三维模型； 将目标对象的三维模型 添加至所述场景三维模型， 得到目标场景三维模型； 基于所述目标场景三维模型获得包括所述目标对象的所述第一样本图像。 4.根据权利要求3所述的方法， 其特征在于， 所述将目标对象的三维模型添加至所述场 景三维模型， 得到目标场景三维模型， 包括： 确定所述目标对象在所述场景三维模型中部署信息； 所述部署信息包括下述至少一 种： 所述目标对象的三维模型在所述场景三维模型中的尺寸、 长宽比、 分布位置、 数量以及 摆放密度； 基于所述部署信息， 将所述目标对象的三维模型添加至所述场景三维模型中， 得到所 述目标场景三维模型。 5.根据权利要求3或4所述的方法， 其特征在于， 所述基于所述目标场景三维模型获得 包括所述目标对象的所述第一样本图像， 包括： 控制所述目标对象的三维模型按照预设移动轨迹在所述目标场景三维模型对应的模 型坐标系中移动， 和/或， 基于虚拟摄像机在所述 目标场景三维模型中的不同位姿， 得到备 选图像； 基于所述备选图像， 生成所述第一样本图像。 6.根据权利要求5所述的方法， 其特征在于， 所述基于所述备选 图像， 生成所述第一样 本图像， 包括：权　利　要　求　书 1/5 页 2 CN 115100504 A 2确定所述备选图像中的各个目标对象是否满足预设的遮挡条件； 响应于所述备选图像中的各个目标对象满足预设的遮挡条件， 将所述备选图像确定为 所述第一样本图像。 7.根据权利要求5或6所述的方法， 其特征在于， 所述基于所述备选图像， 生成所述第一 样本图像， 包括： 为所述备选图像添加随机色块、 和/或添加非目标对象， 得到所述第一样本图像。 8.根据权利要求5 ‑7任一项所述的方法， 其特征在于， 所述基于所述备选图像， 生成所 述第一样本图像， 包括： 利用所述备选图像训练生成辅助目标检测模型； 以及， 对所述备选图像中的第一备选图像施加随机 干扰， 得到 干扰图像； 利用所述辅助目标检测模型对所述干扰图像进行目标检测处理， 得到所述干扰图像的 目标检测结果； 响应于所述干扰图像的目标检测结果的准确度满足预设的准确度 条件， 记录所述干扰 图像的干扰信息； 基于所述干扰信息、 和所述备选图像中的第二备选图像， 生成所述第一样本图像， 和/ 或， 将准确度满足所述 准确度条件的干扰图像作为所述第一样本图像。 9.根据权利要求2 ‑8任一项所述的方法， 其特征在于， 获取对所述第 一样本图像进行风 格迁移处 理后得到的所述第二样本图像， 包括： 随机从多个备选的风格迁移类型中， 确定目标风格迁移类型； 基于与所述目标风格迁移类型对应的风格迁移网络， 对所述第 一样本图像进行风格迁 移处理， 得到所述第二样本图像。 10.根据权利要求2 ‑9任一项所述的方法， 其特征在于， 所述当前迭代周期对应的待训 练的神经网络包括： 待训练的特 征提取子网络； 所述利用当前迭代周期对应的待训练 的神经网络， 对所述第 一样本图像和所述第 二样 本图像分别进行 特征提取， 分别得到所述第一特 征数据和所述第二特 征数据， 包括： 利用所述当前迭代周期对应的待训练 的特征提取子网络， 对所述第 一样本图像进行特 征提取， 得到所述当前迭代周期对应的待训练的特征提取子网络的多个目标网络层分别输 出的第一特征图； 多个所述目标网络层分别输出的所述第一特征图构成所述第一特征数 据； 以及 利用所述当前迭代周期对应的待训练 的特征提取子网络， 对所述第 二样本图像进行特 征提取， 得到多个所述 目标网络层分别输出 的第二特征图； 多个所述 目标网络层分别输出 的所述第二特 征图构成所述第二特 征数据。 11.根据权利要求10所述的方法， 其特征在于， 所述基于所述第 一特征数据和所述第 二 特征数据， 确定第一损失， 包括： 基于所述第一特征数据和所述第二特征数据， 确定特征距离； 所述特征距离用于描述 所述第一特征数据和所述第二特征数据之间的第一特征距离、 和/或不同第二特征数据之 间的第二特 征距离； 基于所述特 征距离， 确定所述第一损失。权　利　要　求　书 2/5 页 3 CN 115100504 A 3