(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210987428.4 (22)申请日 2022.08.17 (71)申请人 大连大学 地址 116622 辽宁省大连市经济技 术开发 区学府大街10号 (72)发明人 吕亚娜　秦旭桐　杜秀丽　邱少明　 李森　 (74)专利代理 机构 大连智高专利事务所(特殊 普通合伙) 2123 5 专利代理师 马庆朝 (51)Int.Cl. G06F 40/279(2020.01) G06F 16/36(2019.01) G06N 5/04(2006.01) (54)发明名称 一种基于知识图谱问答面向多跳问答的多 路径推理方法 (57)摘要 一种基于知识图谱问答面向多跳问答的多 路径推理方法， 属于自然语言处理技术领域， 设 置前向推理和后向推理两条推理路径， 共用一组 指令模块， 前向推理以主题节点为起点， 向答案 节点方向搜索， 后向推理以答案节点为起点， 向 主题节点方向搜索， 通过约束前向推理路径和后 向推理所经过的中间节点一致使模型学习到正 确的推理信息， 生成学生模型所需要的监督信 号， 构造新型教师NSM ‑novel模型结构， 虚线双向 箭头代表对应的实体表示与实体概率分布应一 致。 相比于平行推理， 新型教师模型指令模块参 数共享， 参数量小， 计算速度更快， 相比于混合推 理， 解决了误差传递的问题。 权利要求书2页 说明书7页 附图3页 CN 115293151 A 2022.11.04 CN 115293151 A 1.一种基于知识图谱问答面向多跳问答的多路径推理方法， 其特征在于， 构造多路径 推理知识问答NSM ‑mp模型结构， NSM ‑mp模型结构由指令模块和推理模块组成， 指令模块向 推理模块发送指令 向量， 推理模块推理更新实体分布并学习实体表示， 指令模块的输入由 问题的表示向量和上一个推理步生成的指令向量组成， 利用GloVe得到问题中的词嵌入向 量， 并使用标准LSTM编码， 将LSTM的最后一个隐藏层状态向量作为问题的表 示向量， 其余隐 藏层状态向量用于指 令模块中的注意力机制， 使当前推理步生成的指 令向量倾向表示某一 个词汇， 初始指令 向量设置为零向量， 推理模块根据当前推理步生成的指令 向量更新实体 分布与实体表示， 将推理方向抽象为推理路径， 设置三组双向推理， 六条推理路径之 间相互 约束， 并且六 条推理路径上的推理模块共用一组指令模块。 2.根据权利要求1所述的基于知识图谱问答面向多跳问答的多路径推理方法， 其特征 在于， 构造新型教师NSM ‑novel模型结构， 设置前向推理和后向推理两条推理路径， 共用一 组指令模块， 前向推理以主题节点为起点， 向答案节点方向搜索， 后向推理以答案节点为起 点， 向主题节点方向搜索， 通过约束前向推理路径和后向推理所经过 的中间节点一致使模 型学习到正确的推理信息， 生成学生模型 所需要的监 督信号。 3.根据权利要求1所述的基于知识图谱问答面向多跳问答的多路径推理方法， 其特征 在于， 训练策略如下： NSM‑mp模型的损失函数设置， 前向推理损失Lf如式(1)： 表示前向推理最终所得的实体分布， 表示真实实体分布， DKL(·,·)表示KL散 度， 表示第i条前向推理路径， Lf表示前向推理总损失， Lf为各自3条推理路径产生的推理 损失之和。 4.根据权利要求1所述的基于知识图谱问答面向多跳问答的多路径推理方法， 其特征 在于， NSM ‑mp模型的后向推理损失Lb如式(2)： 其中， 表示后向推理最终所得的实体分布， 表示真实实体分布， DKL(·,·)表示KL 散度， 表示第i条后向推理路径， Lb表示后向推理总损失， Lb为各自3条推理路径产 生的推 理损失之和。 5.根据权利要求1所述的基于知识图谱问答面向多跳问答的多路径推理方法， 其特征 在于， 推理路径对应损失Lc如式(3)： 其中， i表示第i条推理路径， k表示相应关系跳数， DJS表示JS散度。 6.根据权利要求1所述的基于知识图谱问答面向多跳问答的多路径推理方法， 其特征 在于， 训练策略如下： NSM‑mp模型的损失函数设置， 前向推理损失Lf如式(1)：权　利　要　求　书 1/2 页 2 CN 115293151 A 2表示前向推理最终所得的实体分布， 表示真实实体分布， DKx(·,·)表示KL散 度， 表示第i条前向推理路径， Lf表示前向推理总损失， Lf为各自3条推理路径产生的推理 损失之和； NSM‑mp模型的后向推理损失Lb如式(2)： 其中， 表示后向推理最终所得的实体分布， 表示真实实体分布， DKL(·,·)表示 KL散度， 表示第i条后向推理路径， Lb表示后向推理总损失， Lb为各自3条推理路径产生的 推理损失之和； 推理路径对应损失Lc如式(3)： 其中， i表示第i条推理路径， k表示相应关系跳数， DJS表示JS散度。 7.根据权利要求6所述的基于知识图谱问答面向多跳问答的多路径推理方法， 其特征 在于， 使六条推理路径之 间两两约束， 共产生 15个推理路径对应损失， 总推理路径对应损失 为上述15个损失之和； 总损失如式(4)： L＝Lf+λbLb+λcLc                (4) 其中λb∈(0,1)和 λc∈(0,1)为控制后向推理损失和路径对应损失权 重的超参数。权　利　要　求　书 2/2 页 3 CN 115293151 A 3