(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211353155.4
(22)申请日 2022.11.01
(71)申请人 合肥中科类脑智能技 术有限公司
地址 230000 安徽省合肥市高新区望江西
路5089号中国科大先进技术研究院一
号嵌入式研发楼3楼3 01室
(72)发明人 王晓芸 谢琦 李乐乐 刘海峰
王子磊
(74)专利代理 机构 北京清亦华知识产权代理事
务所(普通 合伙) 11201
专利代理师 雷玉龙
(51)Int.Cl.
G06N 3/08(2006.01)
G06N 3/12(2006.01)
G06F 17/18(2006.01)
(54)发明名称
基于遗传算法的自动搜索剪枝方法和计算
机可读存 储介质
(57)摘要
本发明公开了一种基于遗传算法的自动搜
索剪枝方法和计算机可读存储介质。 其中, 方法
包括确定目标网络模型的全局剪枝率目标, 并根
据全局剪枝率目标进行随机初始化, 获得m组剪
枝率列表, 其中, m为大于1的整数; 对m组剪枝率
列表进行性能评估, 并根据评估分数进行排序,
以确定s组剪枝率列表, 其中, s为小于等于m的整
数; 采用遗传算法对s组剪枝率列表进行多次迭
代更新, 获得最优剪枝率列表; 将最优剪枝率列
表应用于目标网络模型, 以对目标网络模型进行
参数优化。 该方法通过遗传算法对初始化获取的
剪枝率列表进行优化迭代, 提高了搜索最优剪枝
率列表的效率, 节约了 硬件资源和人力成本 。
权利要求书2页 说明书9页 附图3页
CN 115409173 A
2022.11.29
CN 115409173 A
1.一种基于 遗传算法的自动搜索剪枝方法, 其特 征在于, 所述方法包括:
确定目标网络模型的全局剪枝率目标, 并根据所述全局剪枝率目标进行随机初始化,
获得m组剪枝率列表, 其中, m为大于1的整数;
对所述m组剪枝率列表进行性能评估, 并根据评估分数进行排序, 以确定s组剪枝率列
表, 其中, s为小于等于m的整数;
采用遗传算法对所述s组剪枝率列表进行多次迭代更新, 获得最优剪枝率列表;
将所述最优剪枝率列表应用于所述目标网络模型, 以对所述目标网络模型进行参数优
化。
2.根据权利要求1所述的基于遗传算法的自动搜索剪枝方法, 其特征在于, 所述全局剪
枝率目标包括 参数量剪枝目标和/或运 算量剪枝目标。
3.根据权利要求2所述的基于遗传算法的自动搜索剪枝方法, 其特征在于, 根据 所述全
局剪枝率目标进行随机初始化, 包括:
随机生成剪枝率列表, 其中, 所述剪枝率列表的长度根据所述目标网络模型的剪枝层
数确定;
将所述剪枝率列表输入到所述目标网络模型, 以判断所述剪枝率列表是否满足所述全
局剪枝率目标;
根据满足所述全局剪枝率目标的剪枝率列表生成所述m组剪枝率列表。
4.根据权利 要求2所述的基于遗传算法的自动 搜索剪枝方法, 其特征在于, 采用 Gamma
函数进行随机初始化, 其中, 所述Gamma 函数的均值为所述参数量剪枝目标和所述运算量
剪枝目标中的最大值。
5.根据权利要求1 ‑4中任一项所述的基于遗传算法的自动搜索剪枝方法, 其特征在于,
在对所述m组剪枝率列表进行性能评估之前, 所述方法还 包括:
根据所述全局剪枝率目标进行随机初始化, 获得N组剪枝率列表, 其中, N为大于1的整
数;
将所述N组剪枝率列表通过自适应BN算法应用于第一网络模型得到第一评估指标数
据, 其中, 所述第一网络模型为采用第一数量数据集对所述目标网络模型进行训练得到;
将所述N组剪枝率列表应用于第 二网络模型得到第 二评估指标数据, 其中, 所述第二网
络模型为采用第二数量数据集对所述目标网络模型进 行训练得到, 所述第二数量数据集大
于所述第一数量数据集;
计算所述第 一评估指标数据和所述第 二评估指标数据之间的相关系数, 以便根据 所述
相关系数将相关性 最强的评估指标作为所述m组剪枝率列表的性能评估指标。
6.根据权利要求5所述的基于遗传算法的自动搜索剪枝方法, 其特征在于, 所述相关系
数包括Pearson相关系数和Kendall相关系数, 其中, 所述Pearson相关系数用于衡量所述第
一评估指标数据和所述第二评估指标数据之间的线性相关性, 所述Kendall相关系数用于
衡量所述第一评估指标 数据和所述第二评估指标 数据之间的同序性。
7.根据权利要求1所述的基于遗传算法的自动搜索剪枝方法, 其特征在于, 采用遗传算
法对所述s组剪枝率列表进行多次迭代更新, 包括:
在所述s组剪枝率列表中随机挑选两组剪枝率列表进行k次交叉操作, 得到k组交叉后
的剪枝率列表, 并在所述s组剪枝率列表中随机挑选一组剪枝率列表进行k次变异操作, 得权 利 要 求 书 1/2 页
2
CN 115409173 A
2到k组变异后的剪枝率列表, k 为大于等于1的整数;
将所述s组剪枝率列表、 所述k组交叉后的剪枝率列表和所述k组变异后的剪枝率列表
相加得到s+2k组剪枝率列表;
对所述s+2k组剪枝率列表进行性能评估, 并根据评估分数对所述s+2k组剪枝率进行排
序, 以更新所述s组剪枝率列 表, 直至更新次数达到预设次数时, 将最后一次更新的s组剪枝
率列表中评估分数最高组作为所述 最优剪枝率列表。
8.根据权利要求7所述的基于遗传算法的自动搜索剪枝方法, 其特征在于, 通过下式对
两组剪枝率列表a和b进行交叉操作:
其中, p交叉为交叉后的剪枝率列表, a和b分别表示两种剪枝率列表, a ′和b′分别表示a和
b对应的交叉率列表, 所述a ′和b′采用高斯 函数随机初始化 生成。
9.根据权利要求7所述的基于遗传算法的自动搜索剪枝方法, 其特征在于, 通过下式对
剪枝率列表进行变异操作:
其中, p变异为变异后的剪枝率列表, p为剪枝率列表, β 为变异比率,
, δ表示一个取值范围为 (0, 1) 列表, 所述列表的长度与剪枝率列
表的长度相同, 所述 δ 通过高斯 函数随机初始化得到, η表示变异强度。
10.一种计算机可读存储介质, 其上存储有计算机程序, 其特征在于, 所述计算机程序
被处理器执行时, 实现根据权利要求1 ‑9中任一项所述的基于遗传算法的自动搜索剪枝方
法。权 利 要 求 书 2/2 页
3
CN 115409173 A
3
专利 基于遗传算法的自动搜索剪枝方法和计算机可读存储介质
文档预览
中文文档
15 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
温馨提示:本文档共15页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 SC 于 2024-02-18 22:24:44上传分享