(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210760357.4 (22)申请日 2022.06.29 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518000 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 许剑清　 (74)专利代理 机构 北京市立方律师事务所 11330 专利代理师 张筱宁　张海秀 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 特征提取模 型的训练方法、 卡通对象 的识别 方法及装置 (57)摘要 本申请实施例提供了一种特征提取模型的 训练方法、 卡通对象识别方法、 装置及设备， 涉及 人工智能、 大数据、 多媒体及云技术领域。 该训练 方法包括： 获取包含多个图像集的第一训练集和 待训练的神经网络模型， 每个图像集包括同一卡 通对象的至少两张第一图像， 神经网络模型包括 级联的第一特征提取模块和特征映射模块； 基于 第一训练集对神经网络模型重复执行第一训练 操作直至满足第一预设条件； 获取包括多个带有 标签的第二图像的第二训练集， 基于第二训练集 对满足第一预设条件的第一特征提取模块进行 监督训练， 得到训练好的目标特征提取模型。 基 于本申请实施例提供的方法， 能够有效提升训练 得到的特征提取模型的性能， 且能够有效降低训 练成本。 权利要求书3页 说明书20页 附图5页 CN 115100717 A 2022.09.23 CN 115100717 A 1.一种特 征提取模型的训练方法， 其特 征在于， 所述方法包括： 获取第一训练集和待训练的神经网络模型， 所述第一训练集包括多个图像集， 每个所 述图像集包括同一卡通对象的至少两张第一图像， 所述神经网络模型包括级联的第一特征 提取模块和特 征映射模块； 基于所述第 一训练集对所述神经网络模型重复执行第 一训练操作， 直至满足第 一预设 条件， 其中， 所述第一训练操作包括： 将各个图像集中的第 一图像分别输入到所述神经网络模型中， 得到每个第 一图像对应 的卡通对象的对象特征向量； 基于同一图像集中的第一图像对应的对象特征向量之 间的相 似度、 以及不同图像集中的第一图像对应的对 象特征向量之间的相似度， 确定所述神经网 络模型的第一训练损失； 若不满足所述第一预设条件， 则基于所述第一训练损失对所述神 经网络模型的模型参数进行调整； 获取第二训练集， 其中， 所述第 二训练集中包括多个标注有标签的第 二图像， 每个所述 第二图像的标签表征了该第二图像中包 含的卡通对象的真实对象类别； 将满足所述第 一预设条件的第 一特征提取模块作为第 二特征提取模块， 基于所述第 二 训练集对所述第二特征提取模块进行监督训练， 将训练好的第二特征提取模块作为训练好 的目标特征提取模型。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 获取目标类别特征矩阵， 其中， 所述目标类别特征矩阵中包括所述第二训练集对应的 各个真实对象类别的目标类别特 征向量； 所述基于所述第二训练集对所述第二特 征提取模块进行监 督训练， 包括： 基于所述第 二训练集对所述第 二特征提取模块重复执行第 二训练操作， 直至满足第 二 预设条件， 得到训练好的第二特 征提取模块， 其中， 所述第二训练操作包括： 将所述第二训练集中的各个第 二图像分别 输入到所述第 二特征提取模块中， 得到每个 所述第二图像的特 征向量； 对于每个所述第 二图像， 基于该第 二图像的特征向量与 所述目标类别特征矩阵中的各 个目标类别特 征向量之间相似度， 确定该第二图像对应的卡 通对象的第一类别预测结果； 基于各所述第二图像的第一类别预测结果和标签， 确定第二训练损失； 若不满足所述第 二预设条件， 则 基于所述第 二训练损失对所述第 二特征提取模块的模 型参数进行调整。 3.根据权利要求2所述的方法， 其特 征在于， 所述获取目标类别特 征矩阵， 包括： 获取初始类别特征矩阵， 所述初始类别特征矩阵包括所述第 二训练集对应的各个真实 对象类别的初始类别特 征向量； 将所述初始类别特征矩阵作为待训练 的模型参数， 基于所述第 二训练集重复执行第 三 训练操作， 直至满足第三预设条件， 将满足所述第三预设条件的类别特征矩阵作为所述 目 标类别特 征矩阵； 其中， 所述第三训练操作包括： 将所述第二训练集中的各个第 二图像分别 输入到所述第 二特征提取模块中， 得到每个 所述第二图像的特 征向量； 对于每个所述第 二图像， 基于该第 二图像的特征向量与 所述初始类别特征矩阵中各个权　利　要　求　书 1/3 页 2 CN 115100717 A 2初始类别特 征向量之间相似度， 确定该第二图像对应的卡 通对象的第二类别预测结果； 基于各所述第二图像的第二类别预测结果和标签， 确定第三训练损失； 若不满足所述第 三预设条件， 则 基于所述第 三训练损失对所述初始类别特征矩阵的元 素值进行调整。 4.根据权利要求2所述的方法， 所述获取目标类别特 征矩阵， 包括： 基于所述第二训练集， 获取每 个真实对象类别对应的多张样本图像； 将每个真实对象类别对应的多 张样本图像分别输入到所述第 二特征提取模块中， 得到 每个所述样本图像对应的特 征向量； 对于每个所述真实对象类别， 基于该真实对象类别对应的多 张样本图像对应的特征向 量， 确定该真实对象类别的目标类别特 征向量。 5.根据权利要求2所述的方法， 其特征在于， 所述基于所述第 二训练损失对所述第 二特 征提取模块的模型参数进行调整， 包括： 基于所述第二训练损失对所述第二特征提取模块的模型参数和所述目标类别特征矩 阵中的元 素值进行调整。 6.根据权利要求2至5中任一项所述的方法， 其特征在于， 所述第一特征提取模块包括 多个级联的特 征提取子模块； 所述基于所述第二训练损失对所述第二特 征提取模块的模型参数进行调整， 包括： 基于所述第二训练损 失对所述第二特征提取模块的目标参数进行调整， 其中， 所述目 标模型的目标参数为所述第二特征提取模块中靠后的设定数量的特征提取子模块的模型 参数。 7.根据权利要求1至4中任一项所述的方法， 其特 征在于， 所述获取第一训练集， 包括： 获取初始训练集， 所述初始训练集中包括多个初始图像， 每个所述初始图像为一个卡 通对象的图像； 通过对每个所述初始图像进行图像增强处理， 得到每个所述初始图像对应的至少两张 第一图像。 8.一种卡 通对象的识别方法， 其特 征在于， 所述方法包括； 获取包含卡通对象的待处 理图像； 调用目标特征提取模型对所述待处理图像进行特征提取， 得到所述待处理图像的特征 向量； 其中， 所述目标 特征提取模型 是采用权利要求1至7中任一项所述的方法训练得到的； 基于提取到的特 征向量， 确定所述 卡通对象的识别结果。 9.一种特 征提取模型的训练装置， 其特 征在于， 所述装置包括： 训练数据获取模块， 用于获取第 一训练集、 待训练的神经网络模型以及第 二训练集， 所 述第一训练集包括多个图像集， 每个所述图像集包括同一卡通对 象的至少 两张第一图像， 所述神经网络模型包括级联的第一特征提取模块和特征映射模块， 所述第二训练集中包括 多个标注有标签的第二图像， 每个所述第二图像的标签表征了该第二图像中包含的卡通对 象的真实对象类别； 第一模型训练模块， 用于基于所述第 一训练集对所述神经网络模型重复执行第 一训练 操作， 直至满足第一预设条件， 其中， 所述第一训练操作包括： 将各个图像集中的第 一图像分别输入到所述神经网络模型中， 得到每个第 一图像对应权　利　要　求　书 2/3 页 3 CN 115100717 A 3