(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211085770.1
(22)申请日 2022.09.06
(71)申请人 云知声智能科技股份有限公司
地址 100096 北京市海淀区西三 旗建材城
内1幢一层101号
(72)发明人 王光勇 关海欣 梁家恩
(51)Int.Cl.
G06N 3/08(2006.01)
G06N 3/04(2006.01)
G06F 17/16(2006.01)
G06V 10/762(2022.01)
(54)发明名称
模型压缩方法、 系统、 终端及存 储介质
(57)摘要
本发明提供了一种模型压缩方法、 系统、 终
端及存储介质, 该方法包括: 对待压缩模型进行
模型训练, 在待压缩模型中添加正则项和奇异值
分解, 得到奇异值矩阵, 根据奇异值矩阵返回执
行对待压缩模型进行模型训练的步骤及后续步
骤, 直至待压缩模型满足性能下降条件, 输出待
压缩模型; 根据待压缩模型的权重张量进行参数
聚类, 得到权重参数矩阵, 对权重参数矩阵进行
权值量化, 得到聚类量化矩阵; 根据聚类量化矩
阵对待压缩模型进行参数设置, 得到压缩模型。
本发明基于稀 疏正则化、 迭代剪枝和聚类量化的
联合模型压缩 方式, 从全局的角度上对待压缩模
型进行模型压缩, 在保障精度不减的前提下, 实
现了最大化的模型压缩。
权利要求书2页 说明书10页 附图3页
CN 115456169 A
2022.12.09
CN 115456169 A
1.一种模型压缩方法, 其特 征在于, 所述方法包括:
获取待压缩 模型, 并对所述待压缩 模型进行模型训练;
在模型训练后的所述待压缩模型中添加正则项, 并对添加所述正则项后的所述待压缩
模型的权重张量进行奇异值分解, 得到奇异值矩阵, 所述正则项用于对所述待压缩模型中
的权重参数进行参数稀疏;
根据所述奇异值矩阵返回执行所述对所述待压缩模型进行模型训练的步骤及后续步
骤, 直至所述待压缩 模型满足性能下降条件, 输出 所述待压缩 模型;
根据输出的所述待压缩模型的权重张量进行参数聚类, 得到权重参数矩阵, 并对所述
权重参数矩阵进行权值 量化, 得到聚类量 化矩阵;
根据所述聚类量 化矩阵对所述待压缩 模型进行参数设置, 得到 压缩模型。
2.如权利要求1所述的模型压缩方法, 其特征在于, 所述根据所述奇异值矩阵返回执行
所述对所述待压缩 模型进行模型训练的步骤及后续 步骤之前, 所述方法还 包括:
将测试数据输入训练后的所述待压缩模型进行数据处理, 得到输出数据, 并获取所述
测试数据的标准数据;
根据所述标准数据和所述输出数据, 对所述待压缩模型进行性能检测, 得到主观评价
指标、 音频 可懂指标和语音质量评价指标;
若所述主观评价指标、 所述音频可懂指标和所述语音质量评价指标满足预设指标条
件, 则判定所述待压缩 模型满足性能下降条件。
3.如权利要求2所述的模型压缩方法, 其特征在于, 所述根据所述标准数据和所述输出
数据, 对所述待压缩 模型进行性能检测, 包括:
获取所述输出 数据中的输出图像, 并获取 所述标准数据中的标准图像;
根据所述标准图像和所述输出图像进行信噪比计算, 得到所述主观评价指标;
获取所述输出 数据中的输出音频, 并获取 所述标准数据中的标准音频;
根据所述输出音频和所述标准音频进行短时客观可懂度计算, 得到所述音频可懂指
标;
获取所述输出 数据中的输出语音, 并获取 所述标准数据中的标准语音;
根据所述输出语音和所述标准语音进行感知语音质量评价计算, 得到所述语音质量评
价指标。
4.如权利要求1所述的模型压缩方法, 其特征在于, 所述在模型训练后的所述待压缩模
型中添加正则项, 包括:
查询所述待压缩 模型中的编码层, 并在各编码层的归一 化层中添加第一 正则项;
查询所述待压缩模型中的长短期记忆网络层, 并在各长短期记忆网络层的归一层中添
加第二正则项;
所述第一 正则项包括:
所述第二 正则项包括:权 利 要 求 书 1/2 页
2
CN 115456169 A
2其中, L1为所述第一正则项, L2所述第二正则项, μβ和 δβ分别为所述待压缩模型中激活值
的均值和方差, γ和β 是仿射变换参数, λ是惩罚系数因子 。
5.如权利要求1所述的模型压缩方法, 其特征在于, 所述对添加所述正则项后的所述待
压缩模型的权 重张量进行奇异值分解所采用的公式包括:
A=UΣVT
其中, U是一个m ×m矩阵, Σ是一个m ×n矩阵, Σ除了主对角线上元素都为零, Σ的主对
角线上的每 一个元素都为奇异值, V是一个 n×n矩阵, U和V都是 酉矩阵, 满足UUT=I, VVT=I,
A是所述权重张量。
6.如权利要求1所述的模型压缩方法, 其特征在于, 所述对所述权重参数矩阵进行权值
量化, 得到聚类量 化矩阵, 包括:
分别将所述权重参数矩阵中的权重参数与 预存储的聚类对照表进行匹配, 得到群集重
心值, 并根据所述群集重心 值进行矩阵构建, 得到所述聚类量化矩阵, 所述聚类对照表中存
储有不同权 重参数与对应 群集重心值之间的对应关系。
7.如权利要求1至6任一所述的模型压缩方法, 其特征在于, 所述根据输出的所述待压
缩模型的权 重张量进行参数聚类所采用的公式包括:
其中, wmin和wmax分别代表权重张量的最小值和最大值。
8.一种模型压缩系统, 其特 征在于, 所述系统包括:
模型训练模块, 用于获取待压缩 模型, 并对所述待压缩 模型进行模型训练;
奇异值分解模块, 用于在模型训练后的所述待压缩模型中添加正则项, 并对添加所述
正则项后的所述待压缩模型 的权重张量进行奇异值分解, 得到奇异值矩阵, 所述正则项用
于对所述待压缩 模型中的权 重参数进行参数稀疏;
模型输出模块, 用于根据所述奇异值矩阵返回执行所述对所述待压缩模型进行模型训
练的步骤及后续 步骤, 直至所述待压缩 模型满足性能下降条件, 输出 所述待压缩 模型;
参数聚类模块, 用于根据输出的所述待压缩模型的权重张量进行参数聚类, 得到权重
参数矩阵, 并对所述权 重参数矩阵进行权值 量化, 得到聚类量 化矩阵;
参数设置模块, 用于根据所述聚类量化矩阵对所述待压缩模型进行参数设置, 得到压
缩模型。
9.一种终端设备, 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上
运行的计算机程序, 其特征在于, 所述处理器执行所述计算机程序时实现如权利要求1至7
任一项所述方法的步骤。
10.一种计算机可读存储介质, 所述计算机可读存储介质存储有计算机程序, 其特征在
于, 所述计算机程序被处 理器执行时实现如权利要求1至7任一项所述方法的步骤。权 利 要 求 书 2/2 页
3
CN 115456169 A
3
专利 模型压缩方法、系统、终端及存储介质
文档预览
中文文档
16 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 04:16:05上传分享