(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211017366.0 (22)申请日 2022.08.23 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区黄桷垭崇文路2 号 (72)发明人 甘玲　陈祚杰　 (74)专利代理 机构 北京同恒源知识产权代理有 限公司 1 1275 专利代理师 廖曦 (51)Int.Cl. G06F 16/35(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于融合标签图的双 图卷积网络的文 本情感多分类方法 (57)摘要 本发明涉及一种基于融合标签图的双图卷 积网络的文本情感多分类方法， 属于计算机技术 领域。 该方法包括以下步骤： S1： 句子编码层； S2： 标签图嵌入； S3： 句法图卷积网络SynGCN； S4： 语 义图卷积网络SemGCN； S5： 双仿射变换。 本发明针 对现有的研究大都只考虑了句子的语义表示， 忽 略句子的语法信息， 发明了一种双图卷积网络， 即句法图卷积网络和语义图卷积网络， 该方法能 同时提取句子的句法信息和语义信息。 以往的模 型忽略了标签的语义信息， 基于此本发明了标签 图嵌入， 通过将标签图表示和语义图卷积网络融 合， 使得模 型能够学习更加精确的语义表示和捕 获标签和文本中单词之间的潜在关系。 权利要求书3页 说明书6页 附图2页 CN 115391529 A 2022.11.25 CN 115391529 A 1.一种基于融合标签图的双图卷积网络的文本情感多分类方法， 其特征在于： 该方法 包括以下步骤： S1： 建立句子编码层； S2： 嵌入标签图； S3： 建立句法图卷积网络SynGCN； S4： 建立语义图卷积网络Sem GCN； S5： 进行双仿射变换。 2.根据权利要求1所述的一种基于融合标签图的双图卷积网络的文本情感多分类方 法， 其特征在于： 所述S1具体为： 为获得每个句子的文本表示， 模型采用BERT和BiLSTM作 为句子编码器来提取隐藏的上 下文表示； 采用预训练模 型BERT来生 成词向量， 依据单词所在的语境生成动态词向量； 然后 将BERT得到的词向量输入到BiLSTM计算获得包含上下文信息的表隐藏状态向量表示H＝ [h1,h2,...,hn]将得到的隐藏状态向量用于后续模块的输入； 其中hi表示一个句子中第i个 单词的词向量表示， n表示输入句子的单词个数。 3.根据权利要求2所述的一种基于融合标签图的双图卷积网络的文本情感多分类方 法， 其特征在于： 所述S2具体为： 将标签图定义为G＝{V,e}； 其中V表示图中的结点， 即标签的表示[c1,c2,...,cm]， ci则 表示第i个标签的向量表示， m表示标签的个数， e表示图中的边， 即标签之间的语义关系； 为获得每个标签的表示， 使用标签的文本内容作为输入， 使用词向量平均函数来计算 标签的词向量表示， 计算如公式(1)所示； ci表示第i个情感标签的向量表示， ki表示第i个标签的样本数量Hj表示属于第i个标签 样本中的第 j个句子的 隐藏状态向量表示； 为得到标签之 间的关系， 使用标签之 间的相关性 系数作为 标签图的邻接矩阵Alabel； 使用两向量之间的余弦相似度计算不同标签之间的相似 性， 即 ci、 cj表示两个不同的标签的向量表示， ||  ||表示向量的模运算； 接 着使用GCN更新标签的表示， 公式如下： 其中l表示图卷积网络的层数， 表示图卷及网络第l层的第i个标签的表示， 表示图 卷积网络第l ‑1层第j个标签的表 示， W和b为学习的权重和偏 差， σ 为激活函数， m为标签的数 量； 为有效使用标签语义信息， 通过标签注意力计算句子中单词与标签相关的语义成分； 计算公式如下：权　利　要　求　书 1/3 页 2 CN 115391529 A 2Hlabel＝HUT      (5) hj表示句子中第j个单词的向量表示； ci表示公式(2)中经过GCN更新后的标签表示， T表 示向量的转置， αij表示句子中第j个单词特征向量对于第i个标签的信息量； U＝[u1, u2,...,um]， 其中ui表示第i个标签ci在句子中的语义信息携带量； H表示通过BiLSTM得到的 上下文隐藏表示； Hlabel表示每个句子中每 个单词的特定的标签表示。 4.根据权利要求3所述的一种基于融合标签图的双图卷积网络的文本情感多分类方 法， 其特征在于： 所述S3具体为： SynGCN模块以句子的句 法编码作为输入； 为对句 法信息进行编码， 使用句 法解析方法 PerturbedMasking； 给定一个输入文本X＝[x1,x2,...,xn]， xi表示句子中的第i个单词， 将 文本中的每个单词xi映射为一个上下文化表示Hθ(x)i； 首先， 使用[MASK]来替换单词xi， 并 将替换后的句子x\{xi}输入至BERT， 得到单词xi的向量表示Hθ(x\{xi})i； 其次， 计算xj∈x\ {xi}对Hθ(x\{xi})i的影响， 将xj替换为[MASK]来获得第二个句子x\{xi,xj}， 得到的xj新向量 表示Hθ(x\{xi,xj})i； 基于两个向量的表示， 定义 函数f(xi,xj)； f(xi,xj)＝d(Hθ(x\{xi})i,Hθ(x\{xi,xj})i)      (6) 其中d(x,y)是衡量两个向量距离的函数， 使用欧氏距离表示； 通过对句子中的单词xi， xj重复执行上述步骤， 得到一个影响矩阵Asyn； 将BiLSTM的隐状态向量H作为语法图中的初 始节点表示； 然后得到句法图表示 表示句子中第i个单词的句 法表示， 句法图中的节点计算如公式(7)所示； 其中l表示图卷积网络的层数， 表示图卷及网络第l层的第 i个单词的表示， W和b为学 习的权重和偏差， σ 为激活函数。 5.根据权利要求4所述的一种基于融合标签图的双图卷积网络的文本情感多分类方 法， 其特征在于： 所述S4具体为： 在SemGCN模块中， 使用自注意力机制计算每对元素的注意力分数， 将得到的注意力得 分矩阵Asem作为SemGCN模块的邻接矩阵， 具体的计算公式如下： soft max为归一化指数函数， Q、 K为注意力机制得到的特征向量， WQ、 WK为权重矩阵， T表 示向量转置， d表示特 征向量的维度；权　利　要　求　书 2/3 页 3 CN 115391529 A 3