(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221016184 4.9 (22)申请日 2022.02.22 (71)申请人 科大国创云网科技有限公司 地址 230000 安徽省合肥市高新区文曲路 355号办公楼4层 (72)发明人 王颜颜　李飞　范文斌　周源　 张雨晴　冯影　方烨锟　 (74)专利代理 机构 合肥昊晟德专利代理事务所 (普通合伙) 3415 3 专利代理师 何梓秋 (51)Int.Cl. G06F 40/30(2020.01) G06F 16/35(2019.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于多层注意力的通信领域过程类事 件语义消岐方法 (57)摘要 本发明公开了一种基于多层注意力的通信 领域过程类事件语义消岐方法， 属于自然语言处 理技术领域， 包括： S1： 事件属性 分解； S2： 特征表 示； S3： 事件表示聚合； S4： 事件消岐。 本发明将通 信领域过程类事件按照不同属性 分为文本、 事件 元素、 触发词， 对每一种属性进行基于词汇注意 力的语义聚合， 然后再通过属性级注 意力将不同 属性特征的语义实现汇聚， 完成对事件的语义表 征， 最后通过两个事件的语义表征计算事件相似 度， 从而判断事件之间的关系标签， 实现事件消 岐； 可以在小数据量下实现对文本语义的快速捕 捉与微调， 在通信领域过程类数据共指消岐实验 中准确率较高。 权利要求书3页 说明书8页 附图1页 CN 114692643 A 2022.07.01 CN 114692643 A 1.一种基于多层注意力的通信领域过程类事 件语义消岐方法， 其特 征在于， 包括： S1： 事件属性分解 将每一个事 件分为三类属性， 包括事 件文本、 事 件触发词、 事 件元素； S2： 特征表示 对事件文本和事件元素基于词汇注意力 机制进行表示， 事件触发词直接使用词嵌入表 示； S3： 事件表示聚合 将事件的三个特 征通过异质特 征注意力机制进一 步整合， 获得事 件表示向量； S4： 事件消岐 不同事件的表示向量点乘计算事件相似度， 根据获取的相似性预测概率得到不同事件 的关系标签， 从而实现事 件语义消歧。 2.根据权利要求1所述的一种基于多层注意力的通信领域过程类事件语义消岐方法， 其特征在于： 在所述步骤S1中， 事件文本是一段短文本序列， 记为TexA； 事件触发词包括触 发类型、 触发位置以及触发词汇， 记为TriA； 事件元素包括元素类型、 元素位置以及元素名 称， 记为A rgA， 其中下标A表示事件EventA。 3.根据权利要求2所述的一种基于多层注意力的通信领域过程类事件语义消岐方法， 其特征在于： 在所述步骤S2中， 事件文本通过第一多层注意力模型进 行表示， 第一多层注 意 力模型包括三层， 分别为 故障文本初始嵌入层、 第一上下文语义表示层、 第一基于词汇注 意 力机制的文本信息聚合网络 。 4.根据权利要求3所述的一种基于多层注意力的通信领域过程类事件语义消岐方法， 其特征在于： 在故障文本初始嵌入层中， 对故障文本进行分词， 得到序列长度为Lt的文本 通过初始化嵌入矩阵Me， 其中， L表示词汇表中的词 汇数目， D1表示每一个词汇的初始向量维度， 获得文本序列TexA中词汇的语义表征 在第一上下文语义表示层中， 对文本序列 TexA的嵌入表示通 过卷积神经网络操作之后第i个词汇的上 下文语义表征 为： 其中， 表示第i个词汇上下k个词汇的拼接嵌入向量， 维度为(2k+1) ×D1， (2k+ 1)表示卷积神经网络上下文窗口长度， 和 是卷积神经网络滤波 器的参数矩阵， 是权重参数矩阵， 是偏置项， ft表示滤波器数目； 在所述第一基于注意力机制的文本信息聚合网络中， 定义文本序列TexA中第i个词汇的 重要性权 重 为： 其中， 和 是注意力机制训练过程中不断训练优化的参权　利　要　求　书 1/3 页 2 CN 114692643 A 2数矩阵， 下角标a表示以上参数为注意力相关的权重， 是权重参数矩阵， 是偏置项， 和 分别是文本序列第i和第j个词汇的重要性， 通过Softmax归一化得到最终的词汇注意 力权重， Lt是文本序列长度； 最终通过将事件文本中每一个词汇的上下文嵌入表示和注意 力权重相乘叠加实现信息的聚合， 得到事 件文本的表示rT： 5.根据权利要求4所述的一种基于多层注意力的通信领域过程类事件语义消岐方法， 其特征在于： 在所述步骤S2中， 事件 元素通过第二多层注意力模型进 行表示， 第二多层注 意 力模型包括三层， 分别为事件元素文本初始嵌入层、 第二上下文语义表示层、 第二基于词汇 注意力机制的事 件元素信息聚合网络 。 6.根据权利要求5所述的一种基于多层注意力的通信领域过程类事件语义消岐方法， 其特征在于： 在事件元素文本初始嵌入层中， 通过序列长度为La的事件元素 并通过初始化嵌入矩阵Me， 其中， D1表示每一个词汇的初 始向量维度， 获得文本序列ArgA中词汇的语义表征 在 第二上下文语义表示层中， 对事件元素文本ArgA的嵌入表示通过卷积神经网络操作之后第 i个词汇的上 下文语义表征为： 其中， 表示事件元素文本第i个词汇上下k个词汇的拼接嵌入向量， 维度为(2k +1)×D1， (2k+1)表示卷积神经网络 上下文窗口长度， 和 是卷积 神经网络滤波器的参数矩阵， 是权重参数矩阵， 是偏置项， fa表示滤波器数目； 在所述第二基于注意力机制的文本信息聚合网络中， 定义事件元素文本ArgA中第i个词 汇的重要性权 重 为： 其中， 和 是注意力机制训练过程中不断训练优 化的参数 矩阵， 下角标a表示 以上参数为注意力相关的权重， 上角标a表示这些是事件元素的文本， 是权重参数矩阵， 是偏置项， 最终通过将事件元素中每一个词汇的上下文嵌入表示 和注意力权 重相乘叠加实现信息的聚合， 得到事 件元素的表示ra： 7.根据权利要求6所述的一种基于多层注意力的通信领域过程类事件语义消岐方法， 其特征在于： 在所述步骤S2中， 直接使用词嵌入矩阵Me查询获得触发词嵌入表 示eTr， 再通过 dense层进行向量维度归一， 获得触发词的表示rTr。 8.根据权利要求1所述的一种基于多层注意力的通信领域过程类事件语义消岐方法， 其特征在于： 在所述步骤S 2中， 事件元素的表示为rA， 事件文本的表示为rT， 触发词的表示为权　利　要　求　书 2/3 页 3 CN 114692643 A 3