(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210161027.3 (22)申请日 2022.02.22 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 张力文　孙萌　何中军　李芝　 (74)专利代理 机构 北京易光知识产权代理有限 公司 11596 专利代理师 金爱静　武晨燕 (51)Int.Cl. G06F 40/58(2020.01) G06F 40/30(2020.01) G06F 40/211(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 翻译模型训练方法、 翻译 方法、 装置、 设备以 及存储介质 (57)摘要 本公开提供了一种翻译模型的训练方法、 翻 译方法、 装置、 设备以及存储介质， 涉及计算机技 术领域， 尤其涉及自然语言处理、 机器翻译等人 工智能领域。 具体实现方案为： 对样本文档进行 处理， 得到该样本文档的依存形式的RST篇章结 构树， 该依存形式的RST篇章结构树的边表示该 样本文档的篇章中的RST关系； 基于该依存形式 的RST篇章结构树中的RS T关系， 确定待训练的翻 译模型的注意力机制； 将该依存形式的RST篇章 结构树和该样本文档输入该待训练的翻译模型 进行训练， 得到训练后的翻译模型。 本公开实施 例可以使得翻译 模型的翻译结果更加准确。 权利要求书3页 说明书13页 附图7页 CN 114580439 A 2022.06.03 CN 114580439 A 1.一种翻译模型的训练方法， 包括： 对样本文档进行处理， 得到所述样本文档的依存形式的RST篇章结构树， 所述依存形式 的RST篇章结构树的边表示所述样本文档的篇 章中的RST关系； 基于所述依存形式的RST篇章结构树中的RST关系， 确定待训练的翻译模型的注意力机 制； 将所述依存形式的RST篇章结构树和所述样本文档输入所述待训练的翻译模型进行训 练， 得到训练后的翻译模型。 2.根据权利 要求1所述的方法， 其 中， 所述翻 译模型采用变换Transformer模型， 基于所 述依存形式的RST篇 章结构树中的RST关系， 确定待训练的翻译模型的注意力机制， 包括： 基于查询矩阵、 键矩阵、 值矩阵和所述依存形式的RST篇章结构树中的边对应的RST关 系矩阵得到注意力值。 3.根据权利 要求2所述的方法， 基于所述依存形式的RST篇章结构树中的RST关系， 确定 待训练的翻译模型的注意力机制， 还 包括： 对所述样本文档的篇章表示进行线性变换， 得到所述查询矩阵、 所述键矩阵和所述值 矩阵。 4.根据权利要求2或3所述的方法， 其中， 基于所述依存形式的RST篇章结构树中的RST 关系， 确定待训练的翻译模型的注意力机制， 还 包括： 基于单词wi对应的查询向量Qi、 单词wi和单词wj所在的句子之间的RST关系矩阵Rij以及 单词wj对应的键向量的转置 确定所述样本文档中的单词wi和单词wj的注意力得分。 5.根据权利要 求4所述的方法， 其中， 单词wi和单词wj所在的句子之间的RS T关系矩阵Rij 包括单词wi和单词wj所在的句子在所述依存形式的RST篇章结构树中的边对 应的RST关系矩 阵。 6.根据权利要求4或5所述的方法， 其中， 在所述RST篇章结构树中单词wi和单词wj所在 的句子不具有对应的边 的情况下， 单词wi和单词wj所在的句子之间的RST关系矩阵Rij为负 无穷。 7.根据权利要求1至6中任一项所述的方法， 对样本文档进行处理， 得到RST篇章结构 树， 包括： 解析所述样本文档， 得到所述样本文档的选区形式的RST篇 章结构树； 将所述选区形式的RST篇 章结构树 转换为所述依存形式的RST篇 章结构树。 8.一种翻译方法， 包括： 对待处理文档， 得到所述待处理文档的依存形式的RST篇章结构树， 所述依存形式的 RST篇章结构树的边表示所述待处 理文档的篇 章中的RST关系； 将所述依存形式的RST篇章结构树和所述待处理文档输入训练后的翻译模型进行翻 译， 得到目标文档； 其中， 所述训练后的翻译模型采用权利要求1至7中任一项所述的翻译模型的训练方法 训练得到 。 9.一种翻译模型的训练装置， 包括： 处理模块， 用于对样本文档进行处理， 得到所述样本文档的依存形式的RST篇章结构权　利　要　求　书 1/3 页 2 CN 114580439 A 2树， 所述依存形式的RST篇 章结构树的边表示所述样本文档的篇 章中的RST关系； 确定模块， 用于基于所述依存形式的RST篇章结构树中的RST关系， 确定待训练的翻译 模型的注意力机制； 训练模块， 用于将所述依存形式的RST篇章结构树和所述样本文档输入所述待训练的 翻译模型进行训练， 得到训练后的翻译模型。 10.根据权利要求9所述的装置， 其中， 所述翻译模型采用变换Transformer模型， 所述 确定模块包括： 注意力值确定子模块， 用于基于查询矩阵、 键矩阵、 值矩阵和所述依存形式的RST篇章 结构树中的边对应的RST关系矩阵得到注意力值。 11.根据权利要求10所述的装置， 其中， 所述确定模块还 包括： 线性变换子模块， 用于对所述样本文档的篇章表示进行线性变换， 得到所述查询矩阵、 所述键矩阵和所述 值矩阵。 12.根据权利要求10或1 1所述的装置， 其中， 所述确定模块还 包括： 得分确定子模块， 用于基于单词wi对应的查询向量Qi、 单词wi和单词wj所在的句子之间 的RST关系矩阵Rij以及单词wj对应的键向量的转置 确定所述样本文档中 的单词wi和单 词wj的注意力得分。 13.根据权利要求12 所述的装置， 其中， 单词wi和单词wj所在的句子之间的RST 关系矩阵 Rij包括单词wi和单词wj所在的句子在所述依存形式的RST篇章结构树中的边对应的RST关 系矩阵。 14.根据权利要求12或13所述的装置， 其中， 在所述RST篇章结构 树中单词wi和单词wj所 在的句子不具有对应的边 的情况下， 单词wi和单词wj所在的句子之间的RST关系矩阵Rij为 负无穷。 15.根据权利要求9至14中任一项所述的装置， 其中， 所述处 理模块包括： 解析子模块， 用于解析所述样本文档， 得到所述样本文档的选区形式的RST篇章结构 树； 转换子模块， 用于将所述选区形式的RST篇章结构树转换为所述依存形式的RST篇章结 构树。 16.一种翻译装置， 包括： 处理模块， 用于对待处理文档， 得到所述待处理文档的依存形式的RST篇章结构树， 所 述依存形式的RST篇 章结构树的边表示所述待处 理文档的篇 章中的RST关系； 翻译模块， 用于将所述依存形式的RST篇章结构树和所述待处理文档输入训练后的翻 译模型进行翻译， 得到目标文档； 其中， 所述训练后的翻译模型采用权利要求9至15中任一项所述的翻译模型的训练装 置训练得到 。 17.一种电子设备， 包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处权　利　要　求　书 2/3 页 3 CN 114580439 A 3