(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210033958.5 (22)申请日 2022.01.12 (71)申请人 西安交通大 学 地址 710049 陕西省西安市咸宁西路28号 (72)发明人 徐亦飞　曹帅　朱利　尉萍萍　 张屿琪　程菊飞　张美丹　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 代理人 陈翠兰 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/126(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于RoBERTa模型的网络舆情情感分析 方法及系统 (57)摘要 本发明公开了一种基于RoBERTa模 型的网络 舆情情感分析方法及系统， 通过对网络舆情信息 进行分割， 获取文本分割后序列的input   embedding， 并在input  embedding层生成对抗网 络， 有效提升了模型的泛化能力， 再将分割后的 文本信息分别输入到预训练模型中获取文本信 息的词嵌入 特征， 并进一步获取长文本信息的更 高维度特征， 进而对长文本的情感进行分析， 提 高了对特征的抽取能力， 增强了获取网络舆情内 容的上下文信息和语义的能力， 提高了网络舆情 情感分析的准确率， 有助于对社会、 企业对网络 舆情进行管控和分析， 减少因网络舆情处理不当 造成的经济损失。 解决了 现有技术中网络舆情情 感分析的准确率 不理想的问题。 权利要求书3页 说明书8页 附图1页 CN 114372475 A 2022.04.19 CN 114372475 A 1.一种基于RoBERTa模型的网络 舆情情感分析 方法， 其特 征在于， 包括以下步骤： S1： 对文本信息进行分割， 获取文本分割后序列的input  embedding， 并在input   embedding层生成对抗网络； S2： 将分割后的文本信 息分别输入到预训练模型中分别获取分割后文本信息的词嵌入 特征； S3： 基于分割后文本信息的词嵌入特 征提取文本的高维特 征； S4： 根据分割后文本的高维特征， 获取整个长文本的高维特征， 进行长文本的情感分 析。 2.根据权利要求1所述的一种基于RoBERTa模型的网络舆情情感分析方法， 其特征在 于， 所述S1包括以下步骤： S1.1： 根据输入的长文本序列对文本信息进行分割， 根据分割后的信息分别进行3种不 同的词嵌入， 并将3种不同的词嵌入总和构成input  embedding， 作为预训练模型的输入向 量 S1.2： 对获取的每部分文本信息i nput embedding层采用生成对抗网络进行扰动： 其中， x表示inρ ut  embedding； g表示梯度， ||g||2表示梯度g两次归一化的结； L表示损 失函数。 3.根据权利要求2所述的一种基于RoBERTa模型的网络舆情情感分析方法， 其特征在 于， 所述3种不同的词嵌入 包括： 利用句子中的字进行编码生成to ken embeddings， 用来表示字的主 要语义信息； 利用句子的结构信息进行编码生成segmentati on embeddings； 利用句子中每个字的位置信息生成position  embeddings， 为注意力机制增加时序信 息。 4.根据权利要求2所述的一种基于RoBERTa模型的网络舆情情感分析方法， 其特征在 于， 所述S2包括以下步骤： S2.1： 预训练模型采用多层Transformer的encode进行特征提取， 每一层Transformer 的encode中都包含两个sub ‑layer， 一个 是Multi‑Head Attention层， 一个 是Feed Forward 层， 在Multi ‑Head Attention中将文本中的字融入到别的字信息， 并提取不同维度的特征， 即通过查询向量矩阵和键向量矩阵的点乘来确定值向量矩阵的权重 分布， 得到注意力机制 结果： MultiHead(Q， K， V)＝Co ncat(Attention(Q， K， V) )W    (4) 其中， Q表示 查询向量矩阵； K为键向量矩阵； V 表示值向量矩阵； dk表示embed ding维度； S2.2： 将注意力机制结果通过残差连接Add和 Layer Normalization再向前传递， 计算 方法见下式：权　利　要　求　书 1/3 页 2 CN 114372475 A 2Xa＝XAttention+Xh                          (5) Xb＝LayerNorm(Xa)                           (6) 其中， XAttention表示经过自注意力机制以后的结果； Xh表示字向量； Xa表示经过残差链接 后的结果； Xb表示归一 化后的结果。 5.根据权利要求4所述的一种基于RoBERTa模型的网络舆情情感分析方法， 其特征在 于， 所述S3包括以下步骤： S3.1： 将n个预训练模型最后一个隐藏层所有状态位信息输入到GRU神经网络中， 通过 GRU网络分别获取重 置门状态 r和更新门状态u， 计算方法见 下式： r＝σ(Wr·(xt， ht‑1))                  (7) u＝σ(Wu·(xt， ht‑1))                   (8) 其中， ht‑1表示上一个传输下来的状态； xt表示当前节点的输入； σ 表示sigmoid函数； Wr 和Wu表示权重； S3.2： 在重 置门r中， 通过长时信息进行局部信息的提取： 将h1t‑1与当前输入 xt进行拼接， 最后由tanh获取当前时间步的信息 h1t； 在更新门中将会遗忘一部分隐藏信息， 也会选择记忆一些信息， 生成新的信息ht， 计算 方法见下式： h1t‑1＝ht‑1⊙r                                 (9) h1t＝tanh(W·(xt， h1t‑1))               (10) ht＝(1‑u)⊙ht‑1+u⊙h1t                      (11) 其中， ht‑1表示上一个传输下来的状态； xt表示当前节点的输入； r表示从重置门状态； u 表示从重 置门状态； W表示权 重。 6.根据权利要求5所述的一种基于RoBERTa模型的网络舆情情感分析方法， 其特征在 于， 所述S4包括以下步骤： S4.1： 通过LSTM网络来获取长文本的全局特 征和语义信息， 计算方法见 下式： H(et， yt， ct)＝LSTM(et‑1， xt， ct‑1)                (12) 其中， et‑1表示上一个传输下来的状态； xt表示当前节点的输入； ct‑1表示上一个的全局 信息载体； et表示当前状态量； yt表示当前输出； ct表示当前的全局信息载体； S4.2： 使用softmax函数进行回归处 理： 其中， N表示预测类别的个数； b表示模型的输出； yi表示类别i的概 率； S4.3： 使用交叉熵作为损失函数： 其中， N表示预测类别的个数； p(xi)表示预测概 率。 7.根据权利要求1所述的一种基于RoBERTa模型的网络舆情情感分析系统， 其特征在 于， 包括文本信息进行分割模块、 词嵌入特 征模块、 高维特 征模块和长文本高维特 征模块； 文本信息进行分割模块， 用于对文本信息进行分割， 获取文本分割后序列的input  权　利　要　求　书 2/3 页 3 CN 114372475 A 3