(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210108214.5 (22)申请日 2022.01.28 (71)申请人 大连民族大 学 地址 116600 辽宁省大连市经济技 术开发 区辽河西路18号 (72)发明人 孟佳娜　朱彦霖　刘爽　孙世昶　 (74)专利代理 机构 大连智高专利事务所(特殊 普通合伙) 2123 5 专利代理师 马庆朝 (51)Int.Cl. G06F 40/279(2020.01) G06F 16/35(2019.01) G06F 16/9536(2019.01) G06F 40/30(2020.01) (54)发明名称 一种基于卷积神经网络和注意力机制的反 讽识别模型 (57)摘要 本发明属于自然语 言处理领域， 涉及一种基 于卷积神经网络和注意力机制的反讽识别模型。 包括： S1.文本表示层； S2.语义特征提取层； S3. 反讽语义 关系建模层； S4.反讽意图判别层。 有 益 效果： 本发 明能够识别出社交媒体中潜在的反讽 表达， 挖掘出用户的真实情感倾向， 该模型弥补 了传统序列模 型的不足， 实现了句子内部序列之 间情感语义 关系的建模， 同时相比于现有的基于 词对矛盾的反讽识别方法， 该模 型更容易捕捉到 反讽效果产生的语义矛盾信息， 提高了反讽识别 任务的准确性， 通过卷积操作隐式地将句子分割 成短语片段来提取更高层次的语义特征； 可以更 准确的捕捉句子短语片段之间的语义不一致性 信息。 权利要求书2页 说明书9页 附图3页 CN 114722798 A 2022.07.08 CN 114722798 A 1.一种基于卷积神经网络和注意力机制的反讽识别模型， 其特 征在于， 包括： S1.文本表示层： 用于通过 预训练语言模型BERT生成单词的词向量； S2.语义特征提取层： 用于通过使用文本卷积神经网络CNN层隐式的将句子分割成短语 片段来提取语义特征， 通过注 意力Attent ion层机制协助模 型捕获与反讽任务相关度特征， 根据特征的重要程度分配不同的权值分数， 将特 征与权值进行重新加权组合； S3.反讽语义关系建模层： 通过对句子内部语义特征之间的语义联合信息进行建模， 对 句子内部的语义冲突信息进行捕捉； S4.反讽意图判别层： 通过线性层降低反讽语义的特征维数、 通过softmax层对线性层 的输出进行 预测， 判断文本序列属于是否包 含反讽修辞； 该模型通过文本表示层将输入文本序列S,通过添加分割标记、 转换、 训练得到该文本 序列的词向量表示矩阵E； 将词向量表示矩阵E作为语义特征提取层的输入， 利用卷积操作提取特征、 将得到的单 个短语片段特征拼接成一个特征矩阵M； 通过注 意力网络对矩阵M的不同语义特征的重要程 度进行分析， 并为其分配相对应的权值， 最后 将权值与特征进 行重新加权组合， 得到最 终的 语义特征V； 语义特征V作为反讽语义关系建模层的输入， 通过语义联合信息进行建模、 池化、 加权 求和得到文本序列的反讽语义表示fa； 文本序列的反讽语义表示fa为反讽意图判别层的输入， 通过线性层降低反讽语义的特 征表示fa的维数， softmax层对线性层的输出进行预测， 判断文本序列属于是否包含反讽修 辞， 得到模型的分类结果 2.根据权利要求1所述的一种基于卷积神经网络和注意力机制的反讽识别模型， 其特 征在于， 所述的文本表示层中： 使用预训练语言模型BERT对不同语境信息下的反讽文本进 行训练， 得到包 含上下文信息的词嵌入表示； 使用预训练语言模型BERT的步骤如下： 首先， 定义输入文本序列S， S＝{s1,s2,...,sn}， 其si代表文本序列的第i个单词， n代表 文本序列中包 含的单词个数； 其次， 在文本序列的开头和结尾分别添加 “[CLS]”和“[SEP]”分割标记， 将文本序列转 换成BERT模型 可以处理的特定格式； 最后， 将处理好的文本序列送入BERT模型进行训练， 得到该文本序列的词向量表示矩 阵E， 具体过程如公式3.1: E＝BERT(“[CLS]”+s1,s2,s3,...sn+“[SEP]”) (3.1) 其中， E＝{e1,e2,e3...,en}， ei∈Rk代表文本序列中第i个单词的词向量表示， k代表词 向量的维度。 3.根据权利要求2所述的一种基于卷积神经网络和注意力机制的反讽识别模型， 其特 征在于， 所述的预训练语言模型BERT包括令牌嵌入模型Token Embedding、 位置嵌入模型 Position Embedding、 分割嵌入 模型Segment Embed ding。 4.根据权利要求1所述的一种基于卷积神经网络和注意力机制的反讽识别模型， 其特 征在于， 所述的CN N层特征提取步骤 包括：权　利　要　求　书 1/2 页 2 CN 114722798 A 2(1)输入文本序列的二维词向量矩阵； (2)使用不同的卷积核不断与词向量矩阵进行 卷积操作， 提取文本序列的特 征图； (3)使用最大池化方法对不同尺寸的特 征图进行处 理， 得到定长的单特征； (4)将所有的单 特征拼接成一个简单的特 征向量； 过程如下: 首先， 输入文本序列的二维词向量矩阵E， E＝{ e1,e2,e3...,en}， 其中n代表文本序列中 所包含的单词个数， ei∈Rk代表文本序列中第i个单词的词向量表示， k 为词向量的维度； 其次， 将二维词向量矩阵E输入卷积模块， 利用卷积核与卷积窗口内文本序列的卷积操 作提取短语片段的特征。 在实验中， 定义卷积核W的大小为h*k， 其中h代表卷积核 窗口的大 小， 它决定了短语片段中所包含的单词个数， 短语片段的特征提取过程可以表示为如公式 3.2： ci＝f(W·Ei:i+h‑1+b) (3.2) 在这里我们定义了一个卷积的函数操作f， ci代表卷积核W与词向量矩阵E中第i个单词 到第i+h‑1个单词所组成的短语片段进行 卷积操作后提取到的短语特 征,b是偏置； 再次， 卷积核W自上而下地完成与整个词向量矩阵E的卷积操作后， 得到文本序列中所 有短语片段的单个特 征图c， c＝(c1,c2,c3,...cn‑h+1)； 最后， 使用k个与W尺寸相同的卷积核重复进行以上操作， 并将得到的特征图进行拼接 即可得到短语片段的语义特征矩阵M∈R(n‑h+1)*k,M＝(m1,m2,m3,...,mn‑h+1)， 其中mi∈Rk代表 文本序列中第i个短语片段的语义特 征表示。 5.根据权利要求1所述的一种基于卷积神经网络和注意力机制的反讽识别模型， 其特 征在于， 所述的Attention层， 通过给不同的语义特征赋予权重分数， 对关键的语义特征进 行强化， 步骤如下： 首先， 将特征提取层中提取到的语义特征mi输入到一个线性层中， 然后tanh函数对其 结果进行处理得到第i个短语的隐层特征表示示m ′i， 其中b为偏置， 具体过程可以表示为式 (3.3)所示： m′i＝tanh(W·mi+b) (3.3) 其次， 根据语义特征m ′i和上下文向量q的相似度计算出语义特征m ′i的权重分数si， 然 后使用softmax函数对所有特征的权重分数进行归一化处理， 得到最终的权重矩阵a， 具体 计算过程如公式3.4、 3.5、 3.6: a＝Softmax(s1,s2,s3,...,sn‑h+1) (3.5) a＝(a1,a2,a3,...,an‑h+1) (3.6) 最后， 将权重分数ai与语义特征mi关联起来得到最终的语义特征V， 具体计算方式如公 式3.7、 3.8： vi＝ai*mi (3.7) V＝(v1,v2,v3,...,vn‑h+1)， V∈R(n‑h+1)*k (3.8)。权　利　要　求　书 2/2 页 3 CN 114722798 A 3