(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210005419.0 (22)申请日 2022.01.05 (71)申请人 中国科学院软件研究所 地址 100190 北京市海淀区中关村南四街 4 号 (72)发明人 刘庆　陈家慰　林鸿宇　韩先培　 孙乐　郑佳　 (74)专利代理 机构 北京君尚知识产权代理有限 公司 11200 代理人 李文涛 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/216(2020.01) G06F 40/295(2020.01) G06F 16/35(2019.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 一种基于自描述网络的信息抽取方法及装 置 (57)摘要 本发明提出一种一种基于自描述网络的信 息抽取方法及装置， 属于自然语言技术领域。 本 发明基于自描述机制， 用一个统一的概念集合表 示抽取目标， 建立目标任务数据与外部网络数据 的关联， 从而解决标注数据稀 疏问题和外部知识 不准确问题； 通过描述生成任务， 生成抽取目标 的相关概念， 作为抽取目标的描述， 并以此构建 抽取类型的描述； 通过信息生 成任务进行生成式 的信息抽取， 从文本中获取 实体、 事件等信息； 利 用大规模网络数据对描述生成和信息生成进行 预训练， 以及利用特定的少量标注数据进行微 调， 从而能够快速泛化到缺乏标注数据的新任务 和新领域。 权利要求书2页 说明书6页 附图2页 CN 114398901 A 2022.04.26 CN 114398901 A 1.一种基于自描述网络的信息抽取 方法， 其特 征在于， 包括以下步骤： 构建基于自描述网络的序列到序列神经网络模型， 该序列到序列神经网络模型包括编 码器和解码器； 该序列到序列神经网络模型执行描述生成任务， 将标注数据和前缀提示符输入到编码 器， 由编码器捕捉标注数据的语义信息， 得到语义特征表示； 解码器处理语义特征表示， 在 每个预测时间步通过预测每个词语的概率分布， 将概率最大 的词语作为预测出 的词语， 生 成文本序列， 通过解析将文本序列中针对每个实体提及生成的概念词汇作为 实体提及的描 述； 合并相同类别的实体提及的描述， 获得类别的描述； 该序列到序列神经网络模型执行信息生成任务， 将目标文本和前缀提示符输入编码 器， 由编码器捕捉标注数据的语义信息， 得到语义特征表示； 解码器处理语义特征表示， 在 每个预测时间步通过预测每个词语的概率分布， 将概率最大 的词语作为预测出 的词语， 生 成文本序列， 通过解析获得文本中的识别的实体。 收集外部标注数据， 构造描述生成任务的训练数据和信息生成任务的训练数据， 对序 列到序列神经网络模型进 行预训练， 预训练过程中序列到序列神经网络模 型采用多任务学 习形式， 同时执行描述生成任务和信息生成任务， 使 得两个任务之 间共享知识； 预训练好的 模型再在特定任务的标注数据上进行微调， 进一 步在未标注数据集上进行信息抽取。 2.如权利要求1所述的方法， 其特征在于， 序列到序列神经网络模型的编码器基于自注 意力机制。 3.如权利要求1所述的方法， 其特征在于， 序列到序列神经网络模型的解码器基于混合 注意力机制。 4.如权利要求1所述的方法， 其特征在于， 对序列到序列神经网络模型进行预训练时， 对于描述生成任务， 每次随机采样训练数据的句子中的实体加入到前缀提示中； 对于信息 生成任务， 每次随机采样部分类别加入到前缀 提示中。 5.一种基于自描述网络的信息抽取装置， 其特征在于， 基于自描述网络的序列到序列 神经网络模型， 该序列到序列神经网络模型包括编码器和解码器； 该序列到序列神经网络模型执行描述生成任务， 将标注数据和前缀提示符输入到编码 器， 由编码器捕捉标注数据的语义信息， 得到语义特征表示； 解码器处理语义特征表示， 在 每个预测时间步通过预测每个词语的概率分布， 将概率最大 的词语作为预测出 的词语， 生 成文本序列， 通过解析将文本序列中针对每个实体提及生成的概念词汇作为 实体提及的描 述； 合并相同类别的实体提及的描述， 获得类别的描述； 该序列到序列神经网络模型执行信息生成任务， 将目标文本和前缀提示符输入编码 器， 由编码器捕捉标注数据的语义信息， 得到语义特征表示； 解码器处理语义特征表示， 在 每个预测时间步通过预测每个词语的概率分布， 将概率最大 的词语作为预测出 的词语， 生 成文本序列， 通过解析获得文本中的识别的实体。 其中， 对该序列到序列神经网络模型进行预训练， 预训练过程中序列到序列神经网络 模型采用多任务学习 形式， 同时执行描述生成任务和信息生成任务， 使得两个任务之间共 享知识； 对预训练好的序列到序列神经网络模型进行微调。 6.如权利要求5所述的装置， 其特征在于， 序列到序列神经网络模型的编码器基于自注 意力机制。权　利　要　求　书 1/2 页 2 CN 114398901 A 27.如权利要求5所述的装置， 其特征在于， 序列到序列神经网络模型的解码器基于混合 注意力机制。 8.如权利要求5所述的装置， 其特征在于， 对序列到序列神经网络模型进行预训练时， 对于描述生成任务， 每次随机采样训练数据的句子中的实体加入到前缀提示中； 对于信息 生成任务， 每次随机采样部分类别加入到前缀 提示中。权　利　要　求　书 2/2 页 3 CN 114398901 A 3