(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210018206.1 (22)申请日 2022.01.07 (71)申请人 国泰君安证券股份有限公司 地址 200041 上海市 静安区南京西路768号 国泰君安大厦20层 (72)发明人 俞枫　黄韦　梅龙　 (74)专利代理 机构 上海智信专利代理有限公司 31002 代理人 王洁　郑暄 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/151(2020.01) G06F 40/205(2020.01) G06F 40/216(2020.01) G06F 40/30(2020.01)G06N 3/04(2006.01) (54)发明名称 基于Transformer实现细粒度 情感分析的方 法、 装置、 处 理器及其存 储介质 (57)摘要 本发明涉及一种基于Transformer实现细粒 度情感分析的方法， 其中， 该方法包括以下步骤： (1)获取Sem ‑Eval 2014 Task 4的Laptop和 Restaurant两个领域的数据集进行模型验证； (2)对获取到的相应数据集进行数据解析以及转 换处理； (3)基于正文文本、 主体以及主体情感类 别进行情感分析模型的构建； (4)加入预设的初 始参数进行情感分析模型的模型训练； (5)获取 模型训练得到的细粒度情感分析输出结果。 本发 明还涉及一种相应的装置、 处理器及其存储介 质。 采用了本发明的该基于Transformer实现细 粒度情感分析的方法、 装置、 处理器及其存储介 质， 通过针对性地判别不同方面的情感类别， 从 而准确的识别判断出文本中某一方面级的情感 倾向， 相较于其他模型而言， 具有更为突出的识 别预测优势。 权利要求书2页 说明书8页 附图1页 CN 114357173 A 2022.04.15 CN 114357173 A 1.一种基于Transformer 实现细粒度情感分析的方法， 其特征在于， 所述的方法包括以 下步骤： (1)获取Sem ‑Eval 2014Task  4的Laptop和Restaurant两个领域的数据集进行模型验 证； (2)对获取到的相应数据集进行 数据解析以及转换处 理； (3)基于正文 文本、 主体以及主体情感类别进行情感分析模型的构建； (4)加入预设的初始参数进行情感分析模型的模型训练； (5)获取模型训练得到的细粒度情感分析输出 结果。 2.根据权利要求1所述的基于Transformer实现细粒度情感分析的方法， 其特征在于， 所述的步骤(1)包括以下步骤： (1.1)获取Sem ‑Eval 2014Task  4数据源包含的Laptop和Rest aurant两个领域的数据 集， 且各个数据集均为文件格式为.xml， 包 含训练数据以及测试 数据的数据集； (1.2)将Laptop和Restaurant两个领域的数据集进行情感标签确定的准确率作为评估 指标进行有效性的验证。 3.根据权利要求2所述的基于Transformer实现细粒度情感分析的方法， 其特征在于， 所述的情感标签的分布情况 具体包括： Laptop和Restaurant两个领域的数据集中正 面标签在训练集和 测试集中的分布情况； Laptop和Restaurant两个领域的数据集 中中性标签在训练集和测试集中的分布情况； 以及 Laptop和Restaurant两个领域的数据集中负面标签在训练集和 测试集中的分布情况。 4.根据权利要求3所述的基于Transformer实现细粒度情感分析的方法， 其特征在于， 所述的步骤(2)具体包括以下步骤： (2.1)针对所述的Laptop和Restaurant数据集中的训练集数据以及测试集数据分别进 行.xml数据的解析， 提取包含正文文本信息数据、 主体信息数据以及主体情感类别信息数 据； (2.2)将所述的正文文本信息数据、 主体信息数据以及主体情感类别信息数据统一转 为UTF‑8编码； (2.3)将所述的正文 文本信息数据依据BERT预训练模型的数据要求进行 数据转换。 5.根据权利要求4所述的基于Transformer实现细粒度情感分析的方法， 其特征在于， 所述的步骤(3)具体包括以下步骤： (3.1)对所述的正文 文本进行编码以符合所述的BERT预训练模型的数据要求； (3.2)依据所述的主体在正文 文本中的位置信息， 构建位置编码向量； (3.3)利用替换字符将所述的正文 文本中的主体信息进行隐藏； (3.4)将经过编码处理后的正文文本输入到所述的BERT预训练模型中， 得到最后一层 隐含层信息； (3.5)将BERT隐含层信息与主体的位置编码向量进行相乘， 得到所述的主体在BERT隐 含层中信息； (3.6)将所述的主体在BERT隐含层中的信息经过一个线性层进行处理， 输出最终的情 感类别。权　利　要　求　书 1/2 页 2 CN 114357173 A 26.根据权利要求5所述的基于Transformer实现细粒度情感分析的方法， 其特征在于， 所述的步骤(4)具体为： 采用经验值对初始参数的预设值进行设定， 并将各个初始参数采用网格搜索方法进行 优化调整， 同时利用Adam优化算法计算最小化交叉熵损失函数， 以获取所述的线性层包括 但不限于 权重和偏置的训练参数的最优值， 从而完成情感分析模型的训练。 7.一种基于Transformer实现细粒度情感分析的装置， 其特 征在于， 所述的装置包括： 处理器， 被配置成执 行计算机可 执行指令； 存储器， 存储一个或多个计算机可执行指令， 所述计算机可执行指令被所述处理器执 行时， 实现权利要求1至6中任一项所述的基于Tr ansformer实现细粒度情感分析的方法的 各个步骤。 8.一种基于Transformer 实现细粒度情感分析的处理器， 其特征在于， 所述的处理器被 配置成执行计算机可执行指令， 所述的计算机可执行指令被所述的处理器执行时， 实现权 利要求1至 6中任一项所述的基于Transformer实现细粒度情感分析的方法的各个步骤。 9.一种计算机可读存储介质， 其特征在于， 其上存储有计算机程序， 所述的计算机程序 可被处理器执行以实现权利要求 1至6中任一项所述的基于Transformer实现细粒度情感分 析的方法的各个步骤。权　利　要　求　书 2/2 页 3 CN 114357173 A 3