(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210009601.3 (22)申请日 2022.01.05 (71)申请人 华能贵诚信托有限公司 地址 550081 贵州省贵阳市观山湖区长岭 北路55号贵州金融城一期商务区10号 楼23、 24层 (72)发明人 蔡传宏　胡沛弦　 (74)专利代理 机构 北京正理专利代理有限公司 11257 专利代理师 张帆 (51)Int.Cl. G06F 40/295(2020.01) G06F 16/35(2019.01) G06F 40/30(2020.01) G06N 3/04(2006.01) (54)发明名称 一种基于多模型融合的多元关系抽取方法 和抽取系统 (57)摘要 本发明公开了一种基于多模型融合的多元 关系抽取方法、 抽取系统、 计算机设备和存储介 质， 其中一实施例的多元关系抽取方法包括： S1： 对输入的文本进行预处理并使用共享编码层进 行语义特征提取并输出语义特征向量； S2： 分别 使用各深度关系模型对所述语义特征向量进行 关系抽取并输出关系类型， 每个深度关系模型包 括用于关系抽取的至少一个关系子模 型、 以及用 于决策并输出关系类型的决策单元； S3： 使用关 系汇聚单元对各深度关系模型输出的关系类型 进行汇聚并生成关系类型结果。 本发 明提供的实 施例能够快速识别非结构化文档中的实体关系， 特别是金融领域的非结构化文档中的实体关系， 从而发现其中的风险和机会， 具有实际应用价 值。 权利要求书2页 说明书13页 附图6页 CN 114925693 A 2022.08.19 CN 114925693 A 1.一种基于多模型融合的多元关系抽取 方法， 其特 征在于， 包括： S1： 对输入的文本进行预处理并使用共享编码层进行语义特征提取并输出语义特征向 量； S2： 分别使用各深度关系模型对所述语义特征向量进行关系抽取并输出关系类型， 每 个深度关系模型包括用于关系抽取的至少一个关系子模型、 以及用于决策并输出关系类型 的决策单元； S3： 使用关系汇聚单元对各深度关系模型输出的关系类型进行汇聚并生成关系类型结 果。 2.根据权利要求1所述的多元关系抽取方法， 其特征在于， 所述深度关系 模型包括第 一 关系子模型， 所述第一关系子模型包括第一枚举 器、 第一分类 器和第二分类 器， 所述S1进一 步包括： S111： 对输入的文本按照字符拆分为多个字输入向量， 所述字输入向量包括字向量、 段 落向量和位置向量； S112： 使用共享编码层进行语义特征提取并输出语义特征向量， 所述语义特征向量包 括第一整体特 征向量和多个第二语义特 征向量； 所述S2进一 步包括： S211： 使用所述第一枚举器对所述输入的文本进行片段枚举并输出多个第一实体候选 片段； S212： 使用所述第一分类器分别根据各第一实体候选片段的组合向量和所述第一整体 特征向量进行运算并输出多个第一实体向量和多个第一上下文文本特征向量， 其中， 所述 组合向量包括所述第一实体候选片段的文本特征向量、 位置 向量和宽度向量， 所述第一实 体向量包括文本特 征向量、 位置向量和宽度向量； S213： 使用所述第二分类器分别根据所述多个第一实体向量和所述多个第一上下文文 本特征向量进行运 算并输出第一关系类型。 3.根据权利要求2所述的多元关系抽取 方法， 其特 征在于， 所述S212进一 步包括： S2121： 使用所述第一分类器分别根据各第一实体候选片段的组合向量和所述第一整 体特征向量进行运 算生成第一 候选实体； S2122： 使用Softmax判断所述第一候选实体是否为实体， 若所述第一候选实体为实体 则输出第一实体向量； 所述S213进一步包括： 使用所述第二分类器分别根据所述多个第 一实体向量中的两个 第一实体向量、 以及所述两个第一实体向量之 间的所述第一上下文文本特征向量进行两两 关系分类并生成对应的第一关系类型。 4.根据权利要求2所述的多元关系抽取方法， 其特征在于， 所述第 一关系子模型的损失 函数为所述第一分类 器的损失函数和所述第二分类 器的损失函数的加权平均。 5.根据权利要求2所述的多元关系抽取方法， 其特征在于， 所述深度关系 模型包括第 二 关系子模型， 所述第二关系子模型包括条件随机场模型、 第三分类 器和第四分类 器， 所述S2进一 步包括： S221： 使用所述条件随机场模型根据所述语义特征向量进行路径判断并输出识别的多权　利　要　求　书 1/2 页 2 CN 114925693 A 2个第二实体向量； S222： 使用所述第三分类器对所述多个第二实体向量进行运算并生成多个第三实体向 量和多个第二上 下文文本特征向量； S223： 使用所述第四分类器分别根据所述多个第三实体向量中的两个第三实体向量、 所述两个第三实体向量之 间的所述第二上下文文本特征向量、 所述两个第三 实体向量中的 第一个第三 实体向量的位置特征向量、 以及所述两个第三实体向量之 间的距离特征向量进 行两两关系分类并生成对应的第二关系类型。 6.根据权利要求5所述的多元关系抽取方法， 其特征在于， 所述深度关系 模型包括第 三 关系子模型， 所述第三关系子模型包括第五分类 器和关系抽取器， 所述S2进一 步包括： S231： 使用所述第五分类器根据所述语义特征向量进行分类并输出标注的第四实体向 量， 所述第四实体向量包括关系主体标识向量、 关系客体标识向量和内部标识向量； S232： 使用所述关系抽取器根据所述关系主体标识向量、 关系客体标识向量和内部标 识向量进 行抽取以获得关系的主体和客体， 并根据所述关系的主体和客体输出第三关系类 型。 7.根据权利要求6所述的多元关系抽取方法， 其特征在于， 所述S2进一步包括： 使用决 策单元根据所述第一关系类型、 第二关系类型和 第三关系类型进 行决策并输出所述关系类 型。 8.根据权利要求1 ‑7中任一项所述的多元关系抽取方法， 其特征在于， 所述共享编码层 为BERT‑wwm模型、 RoBERTa模型、 ERN IE模型、 NEZHA模型和XL Net模型中的一个。 9.根据权利要求8所述的多元关系抽取方法， 其特征在于， 所述共享编码层包括12层编 码器， 所述S1进一 步包括： 使用最后3层编码器的输出 结果的平均值作为所述语义特 征向量。 10.一种应用如权利要求1 ‑9中任一项所述的多元关系抽取方法的多元关系抽取系统， 其特征在于， 包括： 文档预处理模型， 配置为对输入的文本进行预处理并使用共享编码层进行语义特征提 取并输出语义特 征向量； 关系抽取模型， 配置为对所述语义特征向量进行关系抽取并输出关系类型， 包括多个 深度关系模型和用于决策并输出关系类型的决策单元， 每个深度关系模型包括用于 关系抽 取的至少一个关系子模型； 以及 关系汇聚模型， 配置为对各深度关系 模型输出的关系类型进行汇聚并生成关系类型结 果。 11.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行时实现如权利要求1 ‑9中任一项所述的方法。 12.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑9中任一项 所述的方 法。权　利　要　求　书 2/2 页 3 CN 114925693 A 3