(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211109955.1 (22)申请日 2022.09.13 (71)申请人 恒生电子股份有限公司 地址 310053 浙江省杭州市滨江区江南大 道3588号恒生大厦1 1楼 (72)发明人 程丁儒　李红敏　王豪杰　王琳　 (74)专利代理 机构 北京智信禾专利代理有限公 司 11637 专利代理师 张瑞 (51)Int.Cl. G06F 16/35(2019.01) G06F 16/901(2019.01) G06F 40/289(2020.01) G06K 9/62(2022.01) (54)发明名称 标签预测模型训练方法及装置 (57)摘要 本说明书提供标签预测模型训练方法及装 置， 其中标签预测模型训练方法包括： 确定文本 语料包含的文本特征， 以及 文本特征对应的特征 标签； 根据所述文本特征和所述特征标签生成特 征标签节 点， 并根据所述特征标签节 点构建链状 结构的多链无向图， 其中， 所述多链无向图中的 每个节点对应至少两条边； 在 多链无向图中确定 至少一个子图， 根据每个子图与所述多链无向图 之间的分布关系构建目标函数； 根据目标函数、 所述文本 特征以及所述特征标签， 对初始标签预 测模型进行调参， 直至获得满足训练条件的目标 标签预测模 型。 实现了基于多链无向图进行模型 训练时， 将特征标签之间的上下文联系 作为标签 预测的参考条件， 进而提高了对文本进行标签预 测的准确率。 权利要求书3页 说明书22页 附图8页 CN 115470349 A 2022.12.13 CN 115470349 A 1.一种标签预测模型训练方法， 其特 征在于， 包括： 确定文本语料包 含的文本特 征， 以及所述文本特 征对应的特 征标签； 根据所述文本特征和所述特征标签生成特征标签节点， 并根据 所述特征标签节点构建 链状结构的多链无向图， 其中， 所述多链无向图中的每 个节点对应至少两条边； 在所述多链无向图中确定至少一个子图， 根据每个子图与所述多链无向图之间的分布 关系构建目标函数； 根据所述目标函数、 所述文本特征以及所述特征标签， 对初始标签预测模型进行调参， 直至获得满足训练条件的目标 标签预测模型。 2.根据权利要求1所述的方法， 其特征在于， 在所述特征标签为至少一个的情况下， 所 述根据所述文本特征和所述特征标签生成特征标签节点， 并根据所述特征标签节点构建链 状结构的多链无向图， 包括： 将所述文本特 征和每个特征标签分别进行组合， 获得至少一个特 征标签对； 根据所述至少一个特征标签对生成特征标签集合， 并将所述特征标签集合作为特征标 签节点； 将所述文本特征之间的文本关联关系作为节点关联边， 其中， 所述文本关联关系为所 述文本语料中， 具有词单 元衔接关系的文本特 征之间的关系； 根据所述特 征标签节点和所述节点关联边构建多链无向图。 3.根据权利要求1所述的方法， 其特征在于， 所述根据每个子图与所述多链无向图之间 的分布关系构建目标函数， 包括： 构建每个子图对应的子图函数； 根据每个子图与所述多链无向图之间的分布关系， 以及每个子图对应的子图函数构建 联合子图函数； 根据所述多链无向图对应的图结构， 对所述多链无向图中特征标签节点包含的特征标 签对进行全排列处 理， 并根据处 理结果确定全排列函数； 根据所述联合子图函数和所述全排列函数构建目标函数。 4.根据权利要求3所述的方法， 其特征在于， 每个子图对应的子图函数通过下述方法构 建： 确定子图中每 个子图特 征标签节点对应的子图文本特 征； 根据每个子图特征标签节点对应的子图文本特征之间的特征关联关系， 确定子图特征 标签节点之间的节点关联关系； 基于所述节点关联关系构建所述子图对应的子图函数。 5.根据权利要求3所述的方法， 所述子图函数的表达式为公式(1)： Ψ(t)＝e∑kωk*fk(Yt‑1…Yt‑1， Yt， X， t)    (1) 其中， ψ(t)表示子图相对于多链无向图的出现概率； fk表示特征函数， ωk表示k个未知 参数， 代表k个特征函数各自的权重； X表示文本特征集合； Y表示特征标签节点； t表示多链 无向图中第t个特征标签节点， n表示多链无向图的链数量， Yt表示子图中的目标特征标签 节点， Yt‑n表示与目标 特征标签节点具有间接关联关系的第n个特 征标签节点。 6.根据权利要求5所述的方法， 所述全排列函数的表达式为公式(2)， 所述目标函数的 表达式为公式(3)：权　利　要　求　书 1/3 页 2 CN 115470349 A 2其中， Z(X)表示特征标签节点包含的特征标签对按照全排列策略连接后得到的所有无 向图的目标函数值之和； Pω(Y|X)表示全部特征标签节点中特定的特征标签对构成的多链 无向图， 相对于对全部特征标签节点包含的特征标签对进 行全排列获得的无向图出现的概 率。 7.根据权利要求1所述的方法， 其特征在于， 所述多链无向图中的任意一个子图通过下 述方法确定： 确定所述多链无向图中包含的链数量， 以及在所述多链无向图中确定初始特征标签节 点； 在所述多链无向图中确定与所述初始特征标签节点具有直接联通关系的第一特征标 签节点， 以及基于所述链数量在所述多链无向图中， 确定与所述初始特征标签节点具有间 接联通关系的第二特 征标签节点； 在所述多链无向图中确定包含文本特征节点、 所述第 一特征标签节点和所述第 二特征 标签节点的子图。 8.根据权利要求1所述的方法， 其特征在于， 所述根据所述目标函数、 所述文本特征以 及所述特征标签， 对初始标签预测模型进行调参， 直至获得满足训练条件的目标标签预测 模型， 包括： 根据所述文本特征和所述特征标签以及当前计算周期对应的第i模型参数， 计算参数 确定函数对应的第Li函数值， 其中， i 为正整数； 根据第Li函数值和第Li‑1函数值计算差值； 在所述差值大于预设差值阈值的情况下， i+1， 并执行根据 所述文本特征和所述特征标 签以及当前计算周期对应的第i模型参数， 计算 参数确定函数对应的第Li函数值的步骤； 在所述差值小于等于所述预设差值阈值的情况下， 将所述第i模型参数作为目标模型 参数， 并基于所述 目标模型参数对所述初始标签预测模型 的模型参数进行更新， 根据更新 结果获得 所述目标 标签预测模型。 9.根据权利要求8所述的方法， 其特征在于， 当前计算周期对应的第i模型参数的确定， 包括： 确定上一计算周期对应的第i ‑1模型参数， 以及所述上一计算周期对应的梯度值； 根据所述第i ‑1模型参数和所述上一计算周期对应的梯度值， 计算当前计算周期对应 的第i模型参数。 10.根据权利要求8所述的方法， 所述 参数确定函数通过 下述公式(4)确定： L(ω)＝logΠX， YPω(Y|X)P(X， Y)＝∑X， YP^(X， Y)l ogPω(Y|X)    (4) 其中， Pω(Y|X)表示全部特征标签节点中特定的特征标签对构成的多链无向图相对于 对全部特征标签节 点进行全排列获得的无向图出现的概率； P ^(x， y)表示文本特征X和特征 标签Y的联合概率； L(ω)为参数确定函数对应的函数值； ω表示未知参数； X表示文本特征权　利　要　求　书 2/3 页 3 CN 115470349 A 3