(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211047628.8 (22)申请日 2022.08.30 (71)申请人 南京大学 地址 210093 江苏省南京市 鼓楼区汉口路 22号 (72)发明人 麦丞程　王宇翔　陈宇　黄宜华　 (74)专利代理 机构 苏州威世朋知识产权代理事 务所(普通 合伙) 32235 专利代理师 沈晓敏 (51)Int.Cl. G06F 40/186(2020.01) G06F 40/289(2020.01) G06K 9/62(2022.01) G06F 16/35(2019.01) (54)发明名称 一种基于动态提示学习的小样本嵌套关系 抽取方法 (57)摘要 本发明公开了一种基于动态提示学习的小 样本嵌套关系抽取方法， 包括以下步骤： 给定嵌 套关系任务的原 输入句子； 经过Pro mpt模板转换 函数得到Pro mpt输入语句； 再输入到 预训练语言 模型， 通过预训练语言模型在语句中的掩码位置 预测出标签词； 将预测出的标签词转化为对应的 嵌套关系任 务关系类型标签； 迭代地使用Pro mpt 模版将原任务输入句子与每层嵌套关系转化为 Prompt输入句子并进行迭代式预测， 最终得到 所 有层次的嵌套关系。 本发明通过将嵌套关系抽取 任务转化为掩码语 言模型任务， 充分发挥预训练 模型和提示学习在小样本场景下的有效性， 提升 模型在小样本场景 下的嵌套关系抽取准确性。 权利要求书1页 说明书11页 附图4页 CN 115409011 A 2022.11.29 CN 115409011 A 1.一种基于动态提 示学习的小样本嵌套关系抽取 方法， 包括以下步骤： (1)提示模板设计， 给定嵌套关系任务的原输入句子， 对原输入句子按照提示模版设计 进行相应转换， 经 过Prompt模版转换函数， 得到Prompt输入语句； (2)答案搜索， 将得到的Prompt输入语句输入到预训练语言模型， 通过预训练语言模型 在语句中的掩码位置预测出 标签词集 合中概率最高的标签词； (3)答案映射， 通过预训练语言模型在Prompt输入语句的掩码位置预测出最终的标签 词之后， 将预测出的标签词映射 为对应的嵌套关系任务的关系类型 标签； (4)迭代抽取， 逐层迭代地预测具有嵌套结构的关系三元组， 并将当前层预测出的嵌套 关系关系三元组用于下一层关系的预测， 直到没有新的嵌套关系三元组产生。 2.根据权利要求1所述的一种基于动态提示学习的小样本嵌套关系抽取方法， 其特征 在于， 所述步骤(1)中， 将嵌套关系抽取任务转化为掩码语言模型任务形式， 生成每层嵌套 关系的候选左、 右元素对； 然后， 使用Prompt模版转换函数将原始输入句子与每层候选左、 右元素对结合， 转换为Prompt输入语句。 3.根据权利要求1所述的一种基于动态提示学习的小样本嵌套关系抽取方法， 其特征 在于， 所述步骤(2)中， 使用预训练语言模型对Prompt输入语句 进行编码， 根据掩码位置的 编码词向量进行掩码预测， 从标签词集合中选择预测 概率最高的标签词， 从而实现对每层 嵌套关系候选左右元 素对的关系类型分类。权　利　要　求　书 1/1 页 2 CN 115409011 A 2一种基于动态提示学习的小样本嵌套关系抽取方 法 技术领域 [0001]本发明属于人工智能和自然语言处理领域， 涉及 一种基于动态提示学习的小样本 嵌套关系抽取 方法。 背景技术 [0002]随着互联网的高速发展， 网络上每天都会产生大量非结构化的数字文本， 例如新 闻文章、 电子邮件、 社 交媒体、 政府文件等。 如何帮助人类理解所有这些数据？ 一种流行的想 法是通过注释语义信息将非结构化文本转换为结构化文本。 然而， 数据的绝对量和异构性 使得人工注释变得不可能。 相反， 我们希望有一台计算机用我们感兴趣的结构注释所有数 据。 通常， 我们对实体(人， 组织， 位置等)之间的关系(个人归属， 组织结构等)感兴趣。 当前 最先进的命名实体识别(NER)模型， 可以高精度地自动标记数据。 然而， 整个关系 提取过程 并不是一项简单 的任务。 为了做出正确的注释， 计算机需要知道如何识别具有感兴趣语义 属性的文本。 因此， 提取自然语言文本中实体之间的语义关系 是实现自然语言理解应用的 关键步骤。 关系抽取就是指识别非结构化文本中实体之 间关系的任务， 在构建知识图谱， 知 识库问答、 对话 生成与事实抽取等领域有着广泛应用。 [0003]关系抽取技术根据任务复杂性主要分为三种， 由简单到复杂依次分别为： 扁平关 系抽取(Flat  Relation)， 重叠关系抽取(Overlapping  Relation)和嵌套关系抽取(Nested   Relation)。 [0004]1)扁平关系抽取： 该研究面向实体之间扁平结构的关系抽取， 并且只需要抽取出 句子中两个指定实体之间的关系。 [0005]2)重叠关系抽取： 该研究面向实体之间扁平结构的关系抽取， 并且在此基础上， 需 要抽取出句 子中多个实体之间所有的关系三元组， 即， 一个实体可能出现在多个不同的关 系三元组中。 [0006]3)嵌套关系抽取： 该研究不仅面向实体之间的关系抽取， 还面向关系三元组与实 体、 关系三元组之间构成的嵌套结构的关系抽取， 需要抽取出句 子中所有的嵌套关系三元 组， 即， 需要抽取实体与实体之间、 实体与关系之间以及关系与关系之间的关系三元组。 [0007]这三种关系抽 取任务中， 相同点是都研究需要抽 取出实体之间的关系； 不同点是 嵌套关系抽取还需要抽取关系三元组与实体、 关系三元组之间的嵌套关系。 [0008]现有关系抽取算法研究工作大多集中在扁平关系抽取与重叠关系抽取， 只关注实 体之间的关系。 但是， 在实际应用场景中， 以嵌套结构形式呈现的关系信息更加常见， 而现 有的面向扁平结构的关系抽取算法不能解决嵌套关系抽取 的问题。 因此， 嵌套关系抽取 的 研究开始受到广泛关注。 [0009]目前， 嵌套关系抽 取的相关研究还较少， 并且嵌套关系抽 取算法的准确性依赖于 大量的、 高质量的、 人工标注的训练数据， 这与缺少有 标注语料的研究现状互相矛盾， 所以， 亟需提出一种面向小样本场景 的嵌套关系抽取方法。 因此， 研究面向小样本领域的嵌套关 系抽取具有广阔的应用场景与较高的研究价 值。说　明　书 1/11 页 3 CN 115409011 A 3