(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210126094.1 (22)申请日 2022.02.10 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区(西区) 西源大道 2006号 申请人 中国航发四川燃气涡轮 研究院 (72)发明人 李晓瑜　彭宇　胡世杰　冯旭栋　 张聪　陆超　 (74)专利代理 机构 成都华风专利事务所(普通 合伙) 51223 专利代理师 张巨箭 (51)Int.Cl. G06F 16/35(2019.01) G06F 16/215(2019.01) G06F 40/289(2020.01)G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于关键信息与动态路由的文本分类 方法、 分类 器及系统 (57)摘要 本发明公开了一种基于关键信息与动态路 由的文本分类方法、 分类器及系统， 属于文本分 类技术领域， 方法包括： 对待分类文本进行预处 理， 并提取待分类文本中的关键词； 将预处理后 的待分类文本和关键词一并输入预训练语言模 型BERT的嵌入层， 得到预分类输出； 将预分类输 出输入到BERT中进行深度编码， 得到再分类输 出； 在BERT中通过动态路由取代CNN中的池化操 作搭建下游的分类器， 并将预分类输出和再分类 输出分别输入到分类器中。 发明通过将BERT中嵌 入层的输出特征和BERT深度编码的最终输出特 征输入到 下游分类器中进行两次分类预测， 并通 过加权相加两次预测结果得到最终的分类结果， 充分利用了BERT内部的浅层特征表达， 在不改变 BERT内部结构的同时大幅提升 了分类准确率。 权利要求书2页 说明书7页 附图2页 CN 114461804 A 2022.05.10 CN 114461804 A 1.一种基于关键信息与动态路由的文本分类方法， 其特征在于， 所述方法包括以下内 容： 对待分类文本进行 预处理， 并提取待分类文本中的关键词； 将预处理后的待分类文本和所述关键词一并输入预训练语言模型BERT的嵌入层， 得到 预分类输出； 将所述预分类输出输入到BERT中进行深度编码， 得到再分类输出； 在BERT中通过动态路由取代CNN中的池化操作搭建下游的分类器， 并将所述预分类输 出和再分类输出分别输入到所述分类 器中， 分别得到预分类结果和再分类结果； 将预分类结果和再分类结果加权相加得到最终的文本分类结果。 2.根据权利要求1所述的一种基于关键信 息与动态路由的文本分类方法， 其特征在于， 所述对待分类文本进行 预处理， 包括： 对待分类文本进行数据清洗、 分词、 去停用词和特征处理， 并将每一个待分类文本转换 成单词序列的形式； 令T＝{t1,t2,...,tL}表示待分类文本经预处理后的单词序列， 其中ti表示单词序列中 第i个位置上的单词， L表示模型允许的待分类文本最大长度。 3.根据权利要求2所述的一种基于关键信 息与动态路由的文本分类方法， 其特征在于， 所述提取待分类文本中的关键词， 包括： 使用相关算法提取待分类文本的单词序列T中的M个关键词， 令K＝{k1,k2,...,kM}表示 提取出的M个关键词， 并按照其在原 始单词序列中的相对位置进行排列。 4.根据权利要求3所述的一种基于关键信 息与动态路由的文本分类方法， 其特征在于， 所述算法为TextRan k算法。 5.根据权利要求3所述的一种基于关键信 息与动态路由的文本分类方法， 其特征在于， 所述将预 处理后的待分类文本和所述关键词一并输入预训练语言模型BERT的嵌入层， 得到 预分类输出， 包括： 将文本单词序列T和关键词序列K按照以下 形式进行拼接： {[CLS],t1,t2,...,tL,[SEP],k1,...,kM,[SEP]}， 其中[CLS]和[SEP]是BERT中的两个特 殊位置标识， [CLS]用于标识输入的开始位置， [SEP]用于分隔不同序列以及标识输入的结 束位置； 将拼接好的序列输入BERT的嵌入层， 得到嵌入层输出： E＝{E[CLS],Et,Et,...,Et,E[SEP],Ek,...,Ek,E[SEP]}。 6.根据权利要求5所述的一种基于关键信 息与动态路由的文本分类方法， 其特征在于， 所述将所述预分类输出输入到BERT中进行深度编码， 得到再分类输出， 包括： 将所述嵌入层输出E输入到BERT内部多层双向Tranformer中进行深度编码， 得到深度 编码后的特 征表达： H＝{H[CLS],Ht,Ht,...,Ht,H[SEP],Hk,...,Hk,H[SEP]}。 7.根据权利要求1所述的一种基于关键信 息与动态路由的文本分类方法， 其特征在于， 所述将预分类结果和再分类结果加权相加得到最终的文本分类结果， 包括： 令oE表示基于嵌入层输出E的预预测分类结果， oH表示基于BERT最终输出H的再预测分 类结果；权　利　要　求　书 1/2 页 2 CN 114461804 A 2最终的文本分类结果由下式计算： o＝α·oH+β·oE， 其中， α +β ＝1， 所述 o,oH,oE∈RC， C表示文本分类的类别数目。 8.一种BERT下游文本分类器， 用于权利要求1 ‑7中任意一项所述的文本分类方法， 其特 征在于， 所述文本分类器包括依次连接的输入层、 双向LSTM操作层、 主胶 囊层、 动态路由层、 分类胶囊层以及Softmax层； 所述主胶囊层作为父胶囊层通过投票式的动态路 由机制建立 与分类胶囊层之间的非线性映射关系。 9.根据权利 要求8所述的一种BERT下游文本分类器， 其特征在于， 所述双向LSTM操作层 使用双向长短时序列记 忆网络对输入特 征进行序列建模捕获序列中双向的交 互关系。 10.一种基于关键信息与动态路由 的文本分类系统， 其特 征在于， 所述系统包括： 预处理模块， 用于对待分类文本进行 预处理， 并提取待分类文本中的关键词； 预分类模块： 用于将预处理后的待分类文本和所述关键词一并输入预训练语言模型 BERT的嵌入层， 得到预分类输出； 再分类模块， 用于将所述预分类输出输入到BERT中进行深度编码， 得到再分类输出； 最终分类模块， 在BERT中通过动态路由取代CNN中的池化操作搭建下游的分类器， 并将 所述预分类输出和再分类输出分别输入到所述分类器中， 分别得到预分类结果和再分类结 果； 所述最终分类模块还用于将预分类结果和再分类结果加权相加得到最终的文本分类 结果。权　利　要　求　书 2/2 页 3 CN 114461804 A 3