(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210131493.7 (22)申请日 2022.02.14 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路2号 (72)发明人 王健　孙逸　林鸿飞　杨志豪　 (74)专利代理 机构 大连星河彩舟专利代理事务 所(普通合伙) 2126 3 专利代理师 刘斌　杨阳 (51)Int.Cl. G06F 16/35(2019.01) G06F 16/36(2019.01) G06F 16/31(2019.01) G06F 40/30(2020.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多头注意力和图卷积网络结合R-Drop 机制的生物医学关系抽取方法、 装置和介质 (57)摘要 本发明涉及一种基于多头注意力和图卷积 网络结合R‑Drop机制的生物医学关系抽取方法、 装置和介质， 要点是包括以下步骤： (1)构建医学 语料的关系实例， (2)构建句法依存树， (3)使用 BERT预训练模型和多头注意力提取文本的加权 上下文语义表示， (4)使用ELMo预训练模型和图 卷积网络结合句法依存树提取文本的结构化表 示， (5)使用解码器对特征表示进行解码， (6)使 用R‑Drop机制对神经网络进行正则化， 最终得到 关系类别。 效果是使用端到端的训练方法， 可 以 自动学习医学文本中的语义特征和结构特征； 引 入R‑Drop机制， 提升模型的泛化性能； 在不引入 外部知识的情况下， 取得了较强的关系抽取性 能。 权利要求书3页 说明书9页 附图2页 CN 114547298 A 2022.05.27 CN 114547298 A 1.一种基于多头注意力和图卷积网络结合R ‑Drop机制的生物医学关系抽取方法， 其特 征在于， 包括以下步骤： 通过启发式规则对篇 章级医学语料构造医学实体关系的句子内和句子间实例； 通过BERT预训练模型和多头注意力网络与关系表示交互提取文本的加权上下文语义 特征表示， 通过ELMo预训练模型、 图卷积网络、 句法依存树 提取文本的结构化特 征表示； 拼接提取的语义特 征表示和结构化特 征表示并通过解码器进行解码； 使用R‑Drop正则化对网络进行增强得到生物医学关系类别。 2.如权利要求1所述的基于多头注意力和图卷积网络结合R ‑Drop机制的生物医学关系 抽取方法， 其特征在于， 构造的医学实体关系的实例的同一句 子中提到的每一对实体对都 是作为句内实例构建、 在同一文档中未同时出现在同一个句子中的实体对被作为句间实例 构造、 重复的实体对只选择距离最接近的一对作为 实例、 每个实例标注每个单词的POS标记 和句法依存标记和绝对位置 。 3.如权利要求1所述的基于多头注意力和图卷积网络结合R ‑Drop机制的生物医学关系 抽取方法， 其特征在于， 所述句法依存树的的节 点是来自文本的每个单词， 其节点间边的类 型包括： 由斯坦福语法分析器获得的句法依存边设置为句 子内部的有向的句法依存边、 将 相邻句中的作为依存根的单词连接形成的相邻句边、 每 个节点上 具有自节点的自节点 边。 4.如权利要求1所述的基于多头注意力和图卷积网络结合R ‑Drop机制的生物医学关系 抽取方法， 其特 征在于， 提取文本的加权上 下文语义特 征表示具体为： (a)多头注意力 模块的输入用BERT预训练语言模型作 为输入表示， 输入表示由公式(1) 进行描述： w1＝[wBERT； wPOS； wdis]                       (1) wBERT为BERT对输入文本进行编码后的表示， wPOS为词性标注嵌入表示文本中的词性信 息， wdis为位置嵌入表示实体在文档中的位置； (b)使用Bi ‑LSTM对输入表示进行前向和后向编码， 最终的文本表示为两个状态的拼 接， 由公式(2)进行描述： 为前向LSTM的隐状态， 为后向LSTM的隐状态； (c)将关系向量表示 为尾实体和头实体向量的差值， 由公式(3)表示： hrelation＝htail‑hhead                       (3) htail为尾实体经过Bi ‑LSTM编码后的输出向量， hhead为头实体经过Bi ‑LSTM编码后的输 出向量； (d)通过多头注意力网络将经过Bi ‑LSTM编码的文本表示和关系向量进行交互， 对于每 一个注意力头使用归一 化放缩点积注意力机制计算相关度， 由公式(4)表示： 其中Q,K,V∈Rn×d表示查询和 键值矩阵， 在多头注意力网络中的查询是由Bi ‑LSTM的输 出ht和权重矩阵Wq相乘得到， 表示为文本序列， 键和 值是由关系向量hrelation分别与权重矩权　利　要　求　书 1/3 页 2 CN 114547298 A 2阵Wk和Wv相乘得到， d是Bi ‑LSTM模型输出的维数， 是放缩因子； (e)将n个头的结果连接起来作为多头注意力层的输出表示作为加权上下文语义特征 表示， 由公式5描述： hatt＝[h1； h2；…； hn]                 (5) h1,h2,…,hn为n个注意力头的输出表示。 5.如权利要求4所述的基于多头注意力和图卷积网络结合R ‑Drop机制的生物医学关系 抽取方法， 其特 征在于， 提取文本的结构化特 征表示具体为： (a)图卷积网络的输入文本用ELMo预训练模型作为输入表示， 由公式(6)描述： w2＝[wELMo； wPOS； wdis]                       (6) wELMo为ELMo对输入文本进行编码后的表示， wPOS为词性标注嵌入表示文本中的词性信 息， wdis为位置嵌入表示实体在文档中的位置； (b)使用Bi ‑LSTM对输入表示进行前向和后向编码， 最终的文本表示为两个状态的拼 接； (c)将构造的句法依存树转换为邻接矩阵A， 其中Ai,j＝1表示单词i和单词j之间存在依 赖边， Ai,j＝0表示没有依赖关系， Ai,i＝1表示每个节 点的自节 点边， 第l层节 点i与邻接矩阵 的图卷积 操作由公式(7)描述： 其中W(l)是权重矩阵， b(l)是偏置向量， 是依存图中节点i 的度， ρ 是激活函 数， 图卷积网络的输入 是Bi‑LSTM的输出； 结构化特 征表示由下式描述： 6.如权利要求5所述的基于多头注意力和图卷积网络结合R ‑Drop机制的生物医学关系 抽取方法， 其特 征在于， 拼接提取的语义特 征表示和结构化特 征表示通过下式描述： hfinal＝[hatt； hGCN]                         (9) 输入到一个两层的感知机， 由公式(10)、 (1 1)表示： 为权重矩阵， 为偏置向量； 再通过Softmax函数来判别生物医学关系类型， 通过公式(12)描述： o＝softmax(Woh2+bo)                   (12) Wo为权重矩阵， bo为偏置向量。 7.如权利要求6所述的基于多头注意力和图卷积网络结合R ‑Drop机制的生物医学关系 抽取方法， 其特征在于， 通过R ‑Drop机制 对神经网络进行正则化得到更精确的生物医学关 系类别： 通过R ‑Drop机制修改损失函数为整个神经网络训练两次计算的交叉熵损失与双向 KL散度正则化结合的损失函数， 由公式(13)、 (14)、 (15)描述：权　利　要　求　书 2/3 页 3 CN 114547298 A 3