(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210150080.3 (22)申请日 2022.02.18 (71)申请人 浪潮云信息技 术股份公司 地址 250100 山东省济南市高新区浪潮路 1036号浪潮科技园S01号楼 (72)发明人 荣广胜　李明明　潘心冰　 (74)专利代理 机构 济南信达专利事务所有限公 司 37100 专利代理师 姜鹏 (51)Int.Cl. G06F 40/289(2020.01) G06F 40/211(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习和注意力模型的文本分 类方法及系统 (57)摘要 本发明公开了一种基于深度学习和注意力 模型的文本分类方法及系统， 属于自然语言处理 领域； 所述的方法具体步骤如下： S1对文本数据 进行清洗、 对词token进行Id转换的预处理操作； S2计算模型的损 失、 更新模型的参数； S3使用模 型对文本 数据进行分类预测； 本发 明使用文本分 类语料， 使用bert预训练模型提取文本语义表征 信息， 改变传统对Bert提取CLS维特征向量进行 线性分类器进行处理的方式； 增加Attention注 意力模型捕获Bert提取的语句特征信息， 后接线 性分类器对文本进行分类， 提高文本的准确率。 权利要求书2页 说明书6页 附图3页 CN 114925685 A 2022.08.19 CN 114925685 A 1.一种基于深度学习和注意力模型的文本分类方法， 其特征是所述的方法具体步骤如 下： S1对文本数据进行清洗、 对词to ken进行Id转换的预处 理操作； S2计算模型的损失、 更新模型的参数； S3使用模型对文本数据进行分类预测。 2.根据权利要求1所述的方法， 其特征是所述S1对文本数据进行清洗、 对词token进行 Id转换的预处 理操作的具体步骤如下： S101对文本数据中的特殊字符和停用词进行去除处 理； S102语句截取， 截取长度l,截取 方式， 前置并进行Pad填充； S103语句首尾添加 “CLS”和“SEP”； S104对语句进行分词、 将词进行id转 化为wi。 3.根据权利要求2所述的方法， 其特征是所述S2计算模型的损失、 更新模型的参数的具 体步骤如下： S201构建基于ber t的词嵌入网络向量表征信息； S202利用Ber t网络提取文本的表征信息： S203构建Attention注意力网络分类模型； S204对模型参数进行 更新； S205判断迭代条件； S206返回评估参数最优的模型。 4.根据权利要求3所述的方法， 其特征是所述S3使用模型对文本数据进行分类预测的 具体步骤如下： S301文本预处 理； S302使用词嵌入表征文本信息； S303使用提取层网络提取文本信息； S304使用注意力分类网络对文本信息进行处 理、 分类预测； S305取出分类得分最大的作为文本分类的标签。 5.一种基于深度学习和注意力模型的文本分类系统， 其特征是所述的系统具体包括预 处理模块、 模型训练模块和文本分类模块： 预处理模块： 对文本数据进行清洗、 对词to ken进行Id转换的预处 理操作； 数据处理模块： 计算模型的损失、 更新模型的参数； 文本分类模块： 使用模型对文本数据进行分类预测。 6.根据权利要求5所述的系统， 其特征是所述预处理模块具体包括数据处理模块、 语句 填充模块、 语句处 理模块和语句分词模块： 数据处理模块： 对文本数据中的特殊字符和停用词进行去除处 理； 语句填充模块： 语句截取， 截取长度l,截取 方式， 前置并进行Pad填充； 语句处理模块： 语句首尾添加 “CLS”和“SEP”； 语句分词模块： 对语句进行分词、 将词进行id转 化为wi。 7.根据权利要求6所述的系统， 其特征是所述数据处理模块具体包括信 息嵌入模块、 表 征提取模块、 模型分类模块、 模型 更新模块、 处 理判断模块和模型返回模块：权　利　要　求　书 1/2 页 2 CN 114925685 A 2信息嵌入 模块： 构建基于ber t的词嵌入网络向量表征信息； 表征提取模块： 利用Ber t网络提取文本的表征信息： 模型分类模块： 构建A ttention注意力网络分类模型； 模型更新模块： 对 模型参数进行 更新； 处理判断模块： 判断迭代条件； 模型返回模块： 返回评估参数最优的模型。 8.根据权利要求7所述的系统， 其特征是所述文本分类模块具体包括文本处理模块、 文 本嵌入模块、 文本提取模块、 信息处 理模块和标签分类模块： 文本处理模块： 文本预处 理； 文本嵌入 模块： 使用词嵌入表征文本信息； 文本提取模块： 使用提取层网络提取文本信息； 信息处理模块： 使用注意力分类网络对文本信息进行处 理、 分类预测； 标签分类模块： 取 出分类得分最大的作为文本分类的标签。权　利　要　求　书 2/2 页 3 CN 114925685 A 3