(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211265308.X (22)申请日 2022.10.17 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 武晨艳　 (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 专利代理师 贾磊　陶海萍 (51)Int.Cl. G06N 3/08(2006.01) G06N 3/04(2006.01) G06Q 40/02(2012.01) (54)发明名称 一种模型优化方法、 装置、 设备及存 储介质 (57)摘要 本发明涉及模 型训练技术领域， 尤其涉及一 种模型优化方法、 装置、 设备及存储介质。 包括， 获取已训练完成的大数据分析模 型； 利用自注意 力机制计算大数据分析模型中的特征提取模块 或特征分析模块中每个通道的特征的权重， 得到 特征权重； 根据特征权重以及获取到的用于训练 的特征数据对 大数据分析模型进行训练， 得到优 化后的大数据分析模型， 以便于利用优化后的大 数据分析模 型处理业务。 本发明在深度学习训练 过程中引入自注意力机制， 带有自注 意力机制的 大数据分析模 型可以有效融合不同维度的特征， 并将相对重要的特征赋予较高的权重， 提高重要 特征对数据分析结构的影 响力， 从而降低模型预 测的计算量， 能够在一定程度上提高模型预测的 精度。 权利要求书2页 说明书8页 附图4页 CN 115545186 A 2022.12.30 CN 115545186 A 1.一种模型优化方法， 其特 征在于， 所述方法包括， 获取已训练完成的大 数据分析模型； 利用自注意力机制计算所述大数据分析模型中的特征提取模块或特征分析模块中每 个通道的特 征的权重， 得到特 征权重； 根据所述特征权重以及获取到的用于训练的特征数据对所述大数据分析模型进行训 练， 得到优化后的大 数据分析模型， 以便 于利用优化后的所述大 数据分析模型处 理业务。 2.根据权利要求1所述的方法， 其特征在于， 利用自注意力 机制计算所述大数据分析模 型中的特 征提取模块或特 征分析模块中的特 征的权重， 得到特 征权重进一步包括， 将所述特 征进行最大池化操作； 将最大池化操作后的所述特征进行方差池化， 得到每个特征的描述符， 所述描述符具 有全局的感受野； 对所述描述符进行1 ×1的卷积操作， 降低所述描述符的输入维度； 使用ReLu激活函数对降低所述输入维度后的描述符进行激活； 对激活后的所述描述符进行1 ×1的卷积操作， 恢复所述描述符的输入维度； 使用Sigmoid激活函数将恢复所述输入维度后的所述描述符转换为该描述符对应的特 征的权重。 3.根据权利要求1所述的方法， 其特征在于， 根据 所述特征权重以及所述特征对所述大 数据分析模型进行训练进一 步包括， 所述特征提取模块或特征分析模块在得到所述特征数据后， 利用所述特征权重计算所 述特征数据的权 重值； 根据所述特 征数的权重值以及所述特 征数据对所述大 数据分析模型进行训练。 4.根据权利要求3所述的方法， 其特征在于， 根据 所述特征数的权重值以及所述特征数 据对所述大 数据分析模型进行训练还 包括， 根据所述特征数据的真实值、 计算值以及预定的损失函数计算所述大数据分析模型的 损失值； 在所述损失值小于预定门限值的情况 下， 得到优化后的大 数据分析模型。 5.根据权利要求4所述的方法， 其特征在于， 所述预定的损 失函数包括局部损 失函数、 L1损失函数和VG G损失函数中的一种或多种的组合。 6.一种模型优化装置， 其特 征在于， 包括： 模型获取 单元， 用于获取已训练完成的大 数据分析模型； 自注意力特征权重计算单元， 用于利用自注意力 机制计算所述大数据分析模型中的特 征提取模块或特 征分析模块中每 个通道的特 征的权重， 得到特 征权重； 模型优化单元， 用于根据所述特征权重以及获取到的用于训练 的特征数据对所述大数 据分析模型进行训练， 得到优化后的大数据分析模型， 以便于利用优化后的所述大数据分 析模型处 理业务。 7.根据权利要求6所述的装置， 其特征在于， 所述自注意力特征权重计算单元进一步包 括， 最大池化模块， 用于将所述特 征进行最大池化操作； 方差池化模块， 用于将最大池化操作后的所述特征进行方差池化， 得到每个特征的描权　利　要　求　书 1/2 页 2 CN 115545186 A 2述符， 所述描述符具有全局的感受野； 第一卷积模块， 用于对所述描述符进行1 ×1的卷积操作， 降低所述描述符的输入维度； ReLu激活模块， 用于使用ReLu激活函数对降低所述输入维度后的描述符进行激活； 第二卷积模块， 用于对激活后的所述描述符进行1 ×1的卷积操作， 恢复所述描述符的 输入维度； Sigmoid激活模块， 用于使用Si gmoid激活函数将恢复所述输入维度后的所述描述符转 换为该描述符对应的特 征的权重。 8.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至5任一所述方 法。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机程 序， 所述计算机程序被处 理器执行时实现权利要求1至 5任一所述方法。 10.一种计算机程序产品， 其特征在于， 所述计算机程序产品包括计算机程序， 所述计 算机程序被处 理器执行时实现权利要求1至 5任一所述方法。权　利　要　求　书 2/2 页 3 CN 115545186 A 3