(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221015970 5.2 (22)申请日 2022.02.22 (71)申请人 广东外语外贸大学 地址 510006 广东省广州市番禺区小谷围 广州大学城外环东路178号 (72)发明人 曹丽红　彭三城　周咏梅　 (74)专利代理 机构 佛山市君创知识产权代理事 务所(普通 合伙) 44675 专利代理师 许菲菲 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/194(2020.01) G06F 40/205(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于MPNet、 Bi-LS TM和宽度学习的多源 跨领域情绪分类方法 (57)摘要 本发明公开一种基于MPNet、 Bi ‑LSTM和宽度 学习的多源跨领域情绪分类方法， 包括以下步 骤： (1)获取k个源领域和1个目标领域的产品评 论数据， 然后对它们进行预处理； (2)使用预训练 模型MPNet对文本进行向量化表示； (3)采用双向 长短期记忆网络Bi ‑LSTM对数据进行特征提取， 获取领域公共特征； (4)采用KL散度来度量特征 Fsj和Ftl分布之间的差异； (5)构建k个基于DCF的 情绪分类器； (6)将上述k个分类器进行协同训 练， 输出情绪分类结果； 本发明融合了MPNet、 Bi ‑ LSTM和宽度学习的多方面技术的优点， 使得系统 能有效地获取源 领域的特征， 有效提高了目标领 域的情绪分类效果， 实验结果表明本发明所提出 的方法实施的准确率上均优于 基线模型。 权利要求书3页 说明书8页 附图1页 CN 114647724 A 2022.06.21 CN 114647724 A 1.一种基于MPNet、 Bi ‑LSTM和宽度学习的多源跨领域情绪分类方法， 其特征在于包括 以下步骤： (1)获取k个源领域和1个目标 领域的产品评论数据， 然后对它 们进行预处理； (2)使用预训练模型MPNet对文本进行向量 化表示； (3)采用双向长短期记 忆网络Bi ‑LSTM对数据进行 特征提取， 获取 领域公共特 征； (4)采用KL散度来度量特 征Fsj和Ftl分布之间的差异； (5)构建k个 基于DCF的情绪分类 器； (6)将上述 k个分类器进行协同训练， 输出情绪分类结果。 2.根据权利 要求1所述的基于MPNet、 Bi ‑LSTM和宽度学习的多源跨领域情绪分类方法， 其特征在于： 所述 步骤(2)具体为： 采用预训练模型MPNet对第j个源领域样本Xsj和目标领域带标签样本Xtl进行编码表示 如下： 其中Hsj和Htl分别表示对Xsj和Xtl采用MPNet所生成的领域公共特征的向量， MP表示对领 域公共特征进行编码操作， 表示k个源领域带标签数据集且每个 领域有Nsj个样本， 其中 表示第j个源领域中第i个句子， 表示第j个源领域中第i个带标 签的one‑hot编码； 表示有Ntl个样本的目标领域带标签数据集， 其中 表示 目标领域中第i个句子， 表示目标领域中第i个句子带标签 的one‑hot编码； 表示有Ntu个样本的目标领域无标签数据集， 其中 表示目标领域中第i个句 子， 且Ntu远远 大于Ntl； 表示相应的模型参数， l表示文本 长度。 3.根据权利 要求1所述的基于MPNet、 Bi ‑LSTM和宽度学习的多源跨领域情绪分类方法， 其特征在于： 所述 步骤(3)具体为： 采用Bi‑LSTM对数据进行 特征提取： 其中Fsj和Ftl分别表示对Hsj和Htl采用Bi‑LSTM所生成 的特征向量， BiLSTM表示采用Bi ‑ LSTM对DCF进行编码 操作， 表示相应的参数， r 表示特征输出的维度。 4.根据权利 要求1所述的基于MPNet、 Bi ‑LSTM和宽度学习的多源跨领域情绪分类方法， 其特征在于： 所述 步骤(4)具体为： 采用KL散度来度量特 征Fsj和Ftl分布之间的差异， 它 们之间相应的损失函数表示如下： 权　利　要　求　书 1/3 页 2 CN 114647724 A 2其中Nsj表示第j个源领域的样本数量； 通过最小化 可以减少第j个源领域和目标领域特征分布的差异， 从而实现对领域公 共特征的提取。 5.根据权利 要求1所述的基于MPNet、 Bi ‑LSTM和宽度学习的多源跨领域情绪分类方法， 其特征在于： 所述 步骤(5)具体为： 采用宽度学习构建基于DCF的分类 器； 首先， 将Bi ‑LSTM所提取的特征进行非线性映射以生成宽度学习BL的多 组增强节点， 即 对Fsj和Ftl进行非线性映射操作， 生成n组增强节点； 第i组增强节点表示如下： 其中 表示非线性激活函数， θi和βi分别表示随机生成的权 重矩阵和偏置矩阵； 因此， n组增强节点的集合可表示为 则分类器的估计输出表示如 下： 其中 与表示第j个估计输出， Aj表示第j个分类器的全部输入特征， 表示第j个分类 器的输出层权 重； 然后， 再对Xtu进行预测， 即对每个分类器的输出进行加权求和， 以获取目标领域未标记 样本的情绪分类结果， 具体表示 为： 其中 表示总实际输出Y的估计输出。 6.根据权利 要求1所述的基于MPNet、 Bi ‑LSTM和宽度学习的多源跨领域情绪分类方法， 其特征在于： 所述 步骤(6)具体为： 步骤6‑1： 更新每个源目标对的共有特征， 并更新相应的分类器， 以下训练的目的就是 为了减小参数 和 损失； 其中Lj表示第j个源领域的损失函数， 表示领域公共特征的损失函数， δj表示损失函 数 的权重； 采用源领域与目标领域之间 的实际标签与预测标签之间的差异性来表示 具体表示 如下： 权　利　要　求　书 2/3 页 3 CN 114647724 A 3