(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210660681.9 (22)申请日 2022.06.10 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 周佳乐　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 杜维 (51)Int.Cl. G06F 16/532(2019.01) G06F 16/583(2019.01) G06F 16/953(2019.01) G06F 40/30(2020.01) G06K 9/62(2022.01)G06V 10/74(2022.01) G06V 10/774(2022.01) (54)发明名称 一种模型优化方法、 装置、 设备、 存储介质及 程序产品 (57)摘要 本申请公开了一种模型优化方法、 装置、 设 备、 存储介质及程序产品， 适于云技术、 人工智 能、 智慧交通等场景。 方法包括： 获取训练图像、 训练图像的相似图像、 训练图像的非相似图像、 相似图像的第一描述文本及非相似图像的第二 描述文本； 采用图像检索模型分别将第一描述文 本、 第二描述文本与训练图像进行跨模态匹配， 得到第一描述文本与训练图像相匹配的概率， 及 第二描述文本与训练图像不匹配的概率； 分别确 定相似图像及非相似图像与训练图像之间的相 似度； 根据确定出的各个相似度及各个概率， 确 定图像检索模 型的目标损失值； 基于目标损失值 优化图像检索模型， 得到优化后的图像检索模 型， 采用优化后的图像检索模型可检索到更准确 的图像检索结果。 权利要求书3页 说明书25页 附图7页 CN 115129908 A 2022.09.30 CN 115129908 A 1.一种模型优化方法， 其特 征在于， 包括： 获取训练图像、 所述训练图像的相似图像、 所述训练图像的非相似图像、 所述相似图像 的第一描述文本以及所述非相似图像的第二描述文本； 采用图像检索模型分别将所述第 一描述文本、 所述第 二描述文本与 所述训练图像进行 跨模态匹配， 得到所述第一描述文本与所述训练图像相匹配的第一概率， 及所述第二描述 文本与所述训练图像不匹配的第二 概率； 分别确定所述相似图像与 所述训练图像之间的第 一相似度， 以及所述非相似图像与 所 述训练图像之间的第二相似度； 根据所述第一相似度、 所述第 二相似度、 所述第 一概率及所述第二概率， 确定所述图像 检索模型的目标损失值； 基于所述目标损失值对所述图像检索模型进行模型优化， 得到优化后的图像检索模 型， 所述优化后的图像检索模型用于检索出与输入图像的图像相似度满足相似度条件的目 标图像。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述第一相似度、 所述第二相似 度、 所述第一 概率及所述第二 概率， 确定所述图像 检索模型的目标损失值， 包括： 采用第一损失函数根据 所述第一相似度及所述第 二相似度确定第 一损失值， 所述第 一 损失值用于指示所述图像 检索模型的图像准确率与图像准确率优化目标之间的差异； 采用第二损失函数根据 所述第一概率和所述第 二概率确定第 二损失值， 所述第 二损失 值用于指示所述图像 检索模型的文本准确率与文本准确率优化目标之间的差异； 根据所述第一损失值和所述第二损失值， 得到所述目标损失值。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述第 一损失值和所述第 二损失 值， 得到所述目标损失值， 包括： 获取所述第一损失值的权 重以及所述第二损失值的权 重； 根据获取到的各个权重， 对所述第一损 失值和所述第二损 失值进行加权求和， 得到所 述目标损失值。 4.根据权利要求1所述的方法， 其特 征在于， 获取 所述第一描述文本的方式包括： 采用所述图像检索模型， 对所述相似图像进行图像特征提取， 得到所述相似图像的图 像全局特 征； 根据所述相似图像的图像全局特 征进行文本预测， 得到所述第一描述文本 。 5.根据权利要求4所述的方法， 所述根据所述相似图像的图像全局特征进行文本预测， 得到所述第一描述文本， 包括： 根据所述相似图像的图像全局特征预测得到所述相似图像的参考描述文本， 所述参考 描述文本包括多个参 考文本词； 采用掩码符号对所述多个参 考文本词中的目标 数量个参 考文本词进行掩盖； 基于所述相似图像的图像全局特征及所述参考描述文本中未被掩码符号掩盖的参考 文本词， 对所述目标数量个掩码符号掩盖的参考文本词进行预测， 得到各个掩码符号掩盖 的参考文本词所对应的预测文本词； 采用所述各个掩码符号掩盖的参考文本词所对应的预测文本词， 对所述参考描述文本 中相应参 考文本词进行 更新， 得到所述第一描述文本 。权　利　要　求　书 1/3 页 2 CN 115129908 A 26.根据权利要求1、 4、 5 中任一项所述的方法， 其特征在于， 获取所述第 一描述文本与所 述训练图像相匹配的第一 概率的方式包括： 获取所述第 一描述文本的文本特征、 所述训练图像的图像区域特征以及所述训练图像 的对象标签特 征； 根据所述文本特征、 所述图像区域特征以及所述对象标签特征， 生成所述训练图像的 第一图像 语义特征； 获取所述第 一图像语义特征所指示的语义信 息与所述训练图像相匹配的概率， 得到所 述第一概率。 7.根据权利要求1所述的方法， 其特征在于， 针对所述相似图像以及所述非相似图像中 的任一图像， 所述任一图像与所述训练图像之间的相似度获取 方式包括： 获取所述任一图像的图像全局特 征以及所述训练图像的图像全局特 征； 确定所述任一图像的图像全局特征与所述训练图像的图像全局特征之间的特征相似 度； 将所述特 征相似度作为所述任一图像与所述训练图像之间的相似度。 8.根据权利要求1 ‑7任一项所述的方法， 其特 征在于， 所述方法还 包括： 接收图像 检索请求， 所述图像 检索请求携带输入图像； 采用所述优化后的图像检索模型， 基于所述输入图像从至少一个候选图像中选取出与 所述输入图像的图像相似度满足所述相似度条件的目标图像； 输出所述目标图像。 9.根据权利要求8所述的方法， 其特征在于， 所述基于所述输入图像从至少一个候选图 像中选取 出目标图像， 包括： 获取所述输入图像的图像全局特 征及任一 候选图像的图像全局特 征； 当所述输入图像的图像全局特征与所述任一候选图像的图像全局特征之间的特征相 似度满足所述相似度条件时， 将所述任一 候选图像作为所述目标图像。 10.一种模型优化装置， 其特 征在于， 包括： 获取单元， 用于获取训练图像、 所述训练图像的相似图像、 所述训练图像的非相似图 像、 所述相似图像的第一描述文本以及所述非相似图像的第二描述文本； 匹配单元， 用于采用图像检索模型分别将所述第一描述文本、 所述第二描述文本与所 述训练图像进行跨模态匹配， 得到所述第一描述文本与所述训练图像相匹配的第一概率， 及所述第二描述文本与所述训练图像不匹配的第二 概率； 相似度确定单元， 用于分别确定所述相似图像与所述训练图像之间的第一相似度， 以 及所述非相似图像与所述训练图像之间的第二相似度； 损失值确定单元， 用于根据 所述第一相似度、 所述第 二相似度、 所述第 一概率及所述第 二概率， 确定所述图像 检索模型的目标损失值； 模型优化单元， 用于基于所述目标损 失值对所述图像检索模型进行模型优化， 得到优 化后的图像检索 模型， 所述优化后的图像检索 模型用于检索出与输入图像的图像相似度满 足相似度条件的目标图像。 11.一种计算机设备， 其特 征在于， 包括： 处理器， 所述处 理器用于实现一条或多条计算机程序；权　利　要　求　书 2/3 页 3 CN 115129908 A 3