(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210055580.9 (22)申请日 2022.01.18 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区黄桷垭崇文路2 号 (72)发明人 邓维斌　王智莹　高荣壕　 (74)专利代理 机构 北京同恒源知识产权代理有 限公司 1 1275 代理人 廖曦 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于注意力机制的多标签文本分类方 法及系统 (57)摘要 本发明涉及一种基于注意力机制的多标签 文本分类方法及系统， 属于计算机领域。 该方法 首先使用GloVe预训练嵌入模型对文本进行初始 化， 获得文本嵌入， 利用Bi ‑LSTM和自注意力机制 提取文本语义信息， 然后利用图注意力网络 (GAT)来捕获标签 之间的依 赖关系并且使用标签 注意力机制获取文本和标签 之间的语义关系， 最 后添加额外的CorNet模块， 该模块能够学习标签 相关性， 使用相关性知识增强原始标签预测， 并 输出增强的标签预测， 从而提高多标签 分类的预 测精度。 权利要求书2页 说明书5页 附图2页 CN 114328934 A 2022.04.12 CN 114328934 A 1.一种基于注意力机制的多标签文本分类方法， 其特 征在于： 所述方法包括以下步骤： S1： 获取文本数据集， 构建文本的训练数据集 合T并对数据集进行 预处理； S2： 对文本进行初始化， 获得文本嵌入； S3： 利用Bi ‑LSTM和多标签注意力机制提取文本语义信息； S4： 然后利用图注意力 网络GAT来捕获标签之间的依赖关系并且使用标签注意力机制 获取文本和标签之间的语义关系； S5： 添加额外的CorNet模块， 该模块能够 学习标签相关性， 使用相关性知识增强原始标 签预测， 并输出增强的标签预测。 2.根据权利要求1所述的一种基于注意力 机制的多标签文本分类方法， 其特征在于： 所 述S1中， 预 处理包括提取文本内容， 去除文本中的英文字符、 表情和乱码， 对文本进 行分句； 使用分词工具去除停用词； 对数据集进行整理并划分为训练集、 验证集和 测试集。 3.根据权利要求1所述的一种基于注意力 机制的多标签文本分类方法， 其特征在于： 所 述S2具体为： 利用Gl ove预训练嵌入 模型对文本进行初始化， 获得文本嵌入。 4.根据权利要求1所述的一种基于注意力 机制的多标签文本分类方法， 其特征在于： 所 述S3具体为： S31： 为捕获每个单词的前后上下文信息， 采用Bi ‑LSTM语言模型来学习每个输入文档 的单词嵌入， 并计算每 个单词的隐状态： 为获得文档的整体表示， 将文档中每 个单词的隐状态串联， 得到： S32： 一个文档中的单词对每个标签的贡献不同， 采用自注意力机制提取最相关的文本 语义信息 。 A(s)＝softmax(W2tanh(W1H))。 5.根据权利要求书1所述的一种基于注意力 机制的多标签文本分类方法， 其特征在于： 所述S4具体为： S41： 构建标签的邻接矩阵， 将标签的邻接矩阵和标签嵌入作为 图注意力网络的输入， 利用图注意力网络GAT来捕获标签之间的依赖关系。 S42： 使用标签注意力机制获取文本和标签之间的语义关系。 6.根据权利要求书1所述的一种基于注意力 机制的多标签文本分类方法， 其特征在于： 所述S5具体为： 添加额外 的CorNet模块， 将原有的标签预测作为CorNet模块的输入， 该模块能够学习 标签相关性， 使用相关性知识增强原 始标签预测， 并输出增强的标签预测。 y＝F(x)+x x,y分别是CorNet模块的输入和输出， F(x)是映射函数， x表示原始标签预测， y表示经 过CorNet模块的增强标签预测。 F(x)＝W2δ(W1σ(x)+b1)+b2权　利　要　求　书 1/2 页 2 CN 114328934 A 2w1,w2是权 重矩阵， b1,b2是偏置， σ, δ 分别是sigmo id和ELU激活函数。 7.基于权利要求1～6中任一项所述方法的基于注意力 机制的多标签文本分类系统， 其 特征在于： 所述系统包括数据集构建与预处理模块、 文本初始 化模块、 获取文本语义信息模 块、 获取标签间依赖关系模块和标签预测模块； 所述数据集构建与预处 理模块与文本初始化模块信号连接； 所述文本初始化模块一端与获取文本语义信 息模块信号连接， 另一端与 标签间依赖关 系模块信号连接； 所述文本语义信息模块和标签间依赖关系模块与标签预测模块信号连接 。权　利　要　求　书 2/2 页 3 CN 114328934 A 3