(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211259139.9 (22)申请日 2022.10.14 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 董鑫　吴睿泽　熊超　李海　程磊　 何勇　莫林剑　 (74)专利代理 机构 北京君慧知识产权代理事务 所(普通合伙) 11716 专利代理师 肖鹏 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种模型的训练方法、 装置以及设备 (57)摘要 本说明书实施例公开了一种模型的训练方 法、 装置以及设备。 通过 获取第j层对于训练样本 的输出特征xj， 生成由M个输出特征所组成的特 征矩阵， 1≤j≤M； 针对第i个任务， 根据稀疏矩阵 中的第i行与所述输出特征矩阵生成对应该任务 的稀疏特征vi， 其中， 所述稀疏矩阵中包含K*M个 可训练的稀疏参数Z； 获取所述多任务模型对所 述第i个任务的初始预测特征， 融合所述初始预 测特征和所述稀疏特征vi生成第i个任务的目标 预测特征yi； 根据所述 目标预测特征yi和训练样 本的标签的差异确定第i个任务的损失值Li； 融 合所产生的K个任务的损失值生成总损失值， 根 据所述总损失值对所述稀疏参数Z 进行训练。 权利要求书2页 说明书9页 附图3页 CN 115496162 A 2022.12.20 CN 115496162 A 1.一种模型的训练方法， 应用于包含M层和K个任务的多任务模型中， M和K为大于1的自 然数， 所述方法包括： 获取第j层对于训练样本的输 出特征xj， 生成由M个输出特征所组成的特征矩阵， 1≤j≤ M； 针对第i个任务， 根据稀疏矩阵中的第i行与所述输出特征矩阵生成对应该任务的稀疏 特征vi， 其中， 所述稀疏矩阵中包 含K*M个可训练的稀疏参数Z； 获取所述多任务模型对所述第i个任务的初始预测特征， 融合所述初始预测特征和所 述稀疏特征vi生成第i个任务的目标 预测特征yi； 根据所述目标 预测特征yi和训练样本的标签的差异确定第i个任务的损失值 Li； 融合所产生的K个任务的损失值生成总损失值， 根据所述总损失值对所述稀疏参数Z进 行训练。 2.如权利要求1所述的方法， 其中， 根据所述总损失值对所述稀疏参数Z进行训练， 包 括： 获取所述稀疏参数Z的预期分布， 确定预期分布 的近似分布， 其中， 所述预期分布为离 散型， 所述近似分布为连续型； 根据所述总损失值和所述近似分布对所述稀疏参数Z进行训练。 3.如权利要求1所述的方法， 其中， 根据所述总损失值和所述近似分布对所述稀疏参数 Z进行训练， 包括： 根据所述总损失值对所述稀疏参数Z和所述M层中所包 含的可训练参数进行同步训练。 4.如权利要求2所述的方法， 其中， 根据所述总损失值和所述近似分布对所述稀疏参数 Z进行训练， 包括： 确定所述近似分布中所包 含的待训练的分布参数； 根据所述总损失值中确定所述待训练的分布参数的梯度； 根据所述梯度对所述分布参数进行训练， 其中， 所述分布参数用于在每一轮训练中调 整所述稀疏参数Z的取值至稀疏值。 5.如权利要 求1所述的方法， 其中， 融合所述初 始预测特征和所述稀疏特征vi生成第i个 任务的目标 预测特征yi， 包括： 拼接所述初始预测特 征和所述稀疏 特征vi生成第i个任务的目标 预测特征yi； 或者， 叠加所述初始预测特 征和所述稀疏 特征vi生成第i个任务的目标 预测特征yi。 6.如权利要求1所述的方法， 其中， 融合所产生的K个任务的损失值生成总损失值， 包 括： 基于预设的权 重分布加权求和K个任务的损失值 生成总损失值。 7.一种模型的训练装置， 应用于包含M层和K个任务的多任务模型中， M和K为大于1的自 然数， 所述装置包括： 输出特征获取模块， 获取第j层对于训练样本的输 出特征xj， 生成由M个输 出特征所组成 的特征矩阵， 1≤j≤ M； 稀疏特征模块， 针对第i个任务， 根据稀疏矩阵中的第i行与所述输出特征矩阵生成对 应该任务的稀疏 特征vi， 其中， 所述稀疏矩阵中包 含K*M个可训练的稀疏参数Z； 目标预测特征模块， 获取所述多任务模型对所述第 i个任务的初始预测特征， 融合所述权　利　要　求　书 1/2 页 2 CN 115496162 A 2初始预测特 征和所述稀疏 特征vi生成第i个任务的目标 预测特征yi； 单任务损失模块， 根据所述目标预测特征yi和训练样本的标签的差异确定第i个任 务的 损失值Li； 训练模块， 融合所产生的K个任务的损失值生成总损失值， 根据 所述总损失值对所述稀 疏参数Z进行训练。 8.一种电子设备， 包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所所述指令被所述至少一个 处理器执行， 以使所述至少一个处 理器能够执 行如权利要求1至 6任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115496162 A 3