(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210124898.8 (22)申请日 2022.02.10 (71)申请人 北京京东尚科信息技 术有限公司 地址 100086 北京市海淀区知春路76号8层 (72)发明人 李浩然　 (74)专利代理 机构 中国贸促会专利商标事务所 有限公司 1 1038 专利代理师 刘剑波 (51)Int.Cl. G06F 16/34(2019.01) G06F 40/30(2020.01) G06N 20/00(2019.01) (54)发明名称 关联性预测模 型训练方法和装置、 摘要生成 方法和装置 (57)摘要 本公开提供一种关联性预测模型训练方法 和装置、 摘要生成方法和装置。 关联性预测模型 训练方法包括： 提取第一语句样 本的第一语义特 征向量， 以及第二语句样本的第二语义特征向 量； 生成训练样本， 其中所述训练样本包括所述 第一语义特征向量和所述第二语义特征向量， 以 及预设的所述第一语句样本和所述第二语句样 本的语义关联性标注； 将训练样 本输入机器学习 模型， 以得到第一语句样本和第二语句样本的语 义关联性预测结果； 根据语义关联性标注和语义 关联性预测结果确定损失函数； 利用损失函数对 机器学习模型进行训练， 以得到关联性预测模 型。 权利要求书2页 说明书6页 附图4页 CN 114461789 A 2022.05.10 CN 114461789 A 1.一种关联性预测模型训练方法， 包括： 提取第一语句样本的第一语义特 征向量， 以及第二语句样本的第二语义特 征向量； 生成训练样本， 其中所述训练样本包括所述第 一语义特征向量和所述第 二语义特征向 量， 以及预设的所述第一语句样本和所述第二语句样本的语义关联性标注； 将所述训练样本输入机器学习 模型， 以得到所述第 一语句样本和所述第 二语句样本的 语义关联性预测结果； 根据所述语义关联性标注和所述语义关联性预测结果确定损失函数； 利用所述损失函数对所述机器学习模型进行训练， 以得到所述关联性预测模型。 2.根据权利要求1所述的方法， 其中， 所述训练样本还包括分隔符， 所述分隔符设置在所述第 一语义特征向量和所述第 二语 义特征向量之间。 3.根据权利要求1或2所述的方法， 其中， 所述机器学习模型为基于转换器的双向编码表征BERT模型。 4.一种关联性预测模型训练装置， 包括： 第一处理模块， 被配置为提取第一语句样本的第一语义特征向量， 以及第二语句样本 的第二语义特征向量， 生成训练样本， 其中所述训练样本包括所述第一语义特征向量和所 述第二语义特征向量， 以及预设的所述第一语句样本和所述第二语句样本的语义关联性标 注； 第二处理模块， 被配置为将所述训练样本输入机器学习模型， 以得到所述第一语句样 本和所述第二语句样本的语义关联性预测结果， 根据所述语义关联性标注和所述语义关联 性预测结果确定损失函数， 利用所述损失函数对所述机器学习模型进行训练， 以得到所述 关联性预测模型。 5.根据权利要求 4所述的装置， 其中， 所述训练样本还包括分隔符， 所述分隔符设置在所述第 一语义特征向量和所述第 二语 义特征向量之间。 6.根据权利要求 4或5所述的装置， 其中， 所述机器学习模型为基于转换器的双向编码表征BERT模型。 7.一种关联性预测模型训练装置， 包括： 存储器， 被配置为存 储指令； 处理器， 耦合到存储器， 处理器被配置为基于存储器存储的指令执行实现如权利要求 1‑3中任一项所述的方法。 8.一种摘要生成方法， 包括： 提取目标文本中的全部语句； 按照各语句在所述目标文本中的先后 顺序， 将所有相邻 两个语句的语义特征向量输入 关联性预测模型， 以获得所有相邻两个语句的语义关联性预测结果， 其中所述关联性预测 模型通过权利要求1 ‑3中任一项所述的训练方法得到； 将所有语义关联性预测结果大于预设门限的相邻两个 语句作为 候选摘要； 计算所有候选摘要中的每 个语句在所述目标文本中的权 重值； 根据每个候选摘要中包括的全部语句的权 重值确定所述每 个候选摘要的权 重值；权　利　要　求　书 1/2 页 2 CN 114461789 A 2将具有最大权 重值的候选摘要作为所述目标文本的摘要。 9.根据权利要求8所述的方法， 其中， 在计算所有候选摘要中的每个语句在所述目标文 本中的权 重值之前， 还 包括： 判断是否存在具有相同语句的两个候选摘要； 若存在具有相同语句的两个候选摘要， 则将所述两个候选摘要合并。 10.根据权利要求8所述的方法， 其中， 所述每个候选摘要的权重值为所述每个候选摘要中包括的全部语句的权重值的平均 值。 11.根据权利要求8 ‑10中任一项所述的方法， 其中， 计算所有候选摘要中的每个语句在 所述目标文本中的权 重值包括： 利用文本排序TextRank算法计算所有候选摘要中的每个语句在所述目标文本中的权 重值。 12.一种摘要生成装置， 包括： 提取模块， 被 配置为提取目标文本中的全部语句； 预测模块， 被配置为按照各语句在所述目标文本中的先后顺序， 将所有相邻两个语句 的语义特征向量输入关联性预测模型， 以获得所有相邻两个语句的语义关联性预测结果， 其中所述关联性预测模型通过权利要求1 ‑3中任一项所述的训练方法得到； 生成模块， 被配置为将所有语义关联性预测结果大于预设门限的相邻 两个语句作为候 选摘要， 计算所有候选摘要中的每个语句在所述 目标文本中的权重值， 根据每个候选摘要 中包括的全部语句的权重值确定所述每个候选摘要的权重值， 将具有最大权重值的候选摘 要作为所述目标文本的摘要。 13.根据权利要求12所述的装置， 其中， 所述生成模块被配置为判断是否存在具有相同语句的两个候选摘要， 若存在具有相同 语句的两个候选摘要， 则将所述两个候选摘要合并。 14.根据权利要求12所述的装置， 其中， 所述每个候选摘要的权重值为所述每个候选摘要中包括的全部语句的权重值的平均 值。 15.根据权利要求10 ‑14中任一项所述的装置， 其中， 所述生成模块被配置为利用文本排序TextRank算法计算所有候选摘要中的每个语句 在所述目标文本中的权 重值。 16.一种摘要生成装置， 包括： 存储器， 被配置为存 储指令； 处理器， 耦合到存储器， 处理器被配置为基于存储器存储的指令执行实现如权利要求 8‑11中任一项所述的方法。 17.一种计算机可读存储介质， 其中， 计算机可读存储介质存储有计算机指令， 指令被 处理器执行时实现如权利要求1 ‑3、 8‑11中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114461789 A 3