(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211412468.2
(22)申请日 2022.11.11
(71)申请人 中诚华隆计算机技 术有限公司
地址 100012 北京市朝阳区来广营乡紫月
路18号院3号楼8层
(72)发明人 王嘉诚 张少仲 张栩
(74)专利代理 机构 北京智燃律师事务所 1 1864
专利代理师 柴琳琳
(51)Int.Cl.
G06F 9/50(2006.01)
G06F 9/48(2006.01)
G06K 9/62(2022.01)
G06N 3/08(2006.01)
H04L 67/01(2022.01)
(54)发明名称
一种自适应资源匹配获取方法和装置
(57)摘要
本发明公开了一种自适应资源匹配获取方
法和装置, 涉及计算机网络技术领域, 其中所述
方法包括: 客户端接收用户输入的包含多个标签
的训练目标并发送至服务器; 服务器获取并根据
所述多个标签构造组合模型学习系统、 获取训练
数据, 以及所述服务器调度所述组合模型学习系
统内多个子模 型的训练; 所述服务器在训练完成
达到训练目标时将完成结果反馈给客户端。 通过
本发明的方法使得用户在可视化界面上选择了
训练目标之后, 服务器可以自动构造合适的深度
学习模型和框架, 获取对深度学习模 型和框架合
适的训练数据, 并自适应地对处理器进行资源分
配, 提高了系统的资源利用率, 同时使得非专业
用户便捷地生成自身需要的人工智能模型, 提高
了用户体验。
权利要求书3页 说明书10页 附图2页
CN 115454654 A
2022.12.09
CN 115454654 A
1.一种自适应资源匹配获取 方法, 所述方法包括:
客户端接收用户输入的包 含多个标签的训练目标, 将所述训练目标发送至服 务器;
所述服务器获取所述训练目标中的多个标签, 根据 所述多个标签构造组合模型学习系
统并根据所述多个标签获取训练数据, 以及所述服务器调 度所述组合模型学习系统内多个
子模型的训练;
所述服务器在训练完成达 到训练目标时将完成结果反馈给客户端;
其中, 所述服务器包括训练调度器, 所述训练调度器对多个子模型进行逻辑分层, 所述
多个子模型 形成树状结构, 所述 树状结构最顶层只有一个子模型;
所述服务器根据每个子模型的训练复杂度确定分配给每个子模型对应的处理器计算
资源和时间序列分配, 包括:
对于时间序列分配上, 所述服务器从底层子模型开始训练并分配计算资源, 底层子模
型全部训练完成后再训练上一层子模型, 直至 完成所有子模型的训练;
所述根据每个子模型的训练复杂度确定分配给每个子模型对应的处理器计算资源包
括:
对于每一层的子模型
, 获取每一子模型的复杂度
, 设该一层有n个子模型, 该一层
每一子模型的复杂度为
,
,
,…,
,…,
, 则分配给
的计算资源
为
,其中
为全部计算资源量;
训练调度器实时监控所有子模型对应处理器的任务完成度, 当出现子模型完成训练 的
情形时, 重复上述计算资源分配过程, 对剩余未完成节点的计算资源进 行更新分配, 直至所
有子模型完成训练;
将训练完成的子模型传输至每个节点对应的上一层子模型对应的处理器中, 在上一层
子模型中采取相同的计算资源分配方式进 行分配和更新, 所述上一层子模 型为对应的下一
层子模型的组合模型; 当最顶层子模型完成训练后, 将所述 最顶层子模型发送给客户端。
2.如权利要求1所述的方法, 其特征在于, 所述服务器根据 所述多个标签构造组合模型
学习系统包括:
所述服务器中包括模型生成模块, 所述模型生成模块根据所述多个标签确定训练目
标, 并将训练目标分解为多段学习任务, 每一段学习任务中有多个学习任务, 每个学习任务
对应组合模型学习系统中的一个子模型, 其中将训练目标分解为多段学习任务的分解规则
是预先设置的。
3.如权利要求1所述的方法, 其特 征在于,
所述服务器包括第一训练数据存储区, 第二训练数据存储区, 所述第一训练数据存储
区用于存储标签训练数据, 所述第二训练数据存储区用于存储原始完整数据, 所述标签训
练数据是原 始完整数据不同标签对应维度的信息 。
4.如权利要求3所述的方法, 其特征在于, 所述服务器根据 所述多个标签获取训练数据
包括:
所述服务器根据多个子模型的定义在第 一训练数据存储区进行检索标签训练数据, 判权 利 要 求 书 1/3 页
2
CN 115454654 A
2断子模型对应的标签训练数据条数是否超过该子模型对应的拟合最低阈值, 是则从第一训
练数据存储区中将大于拟合最低阈值数目的该子模型标签训练数据传送到为该子模型分
配的处理器的存储区, 否则从第二训练数据存储区中获取大于子模型对应的拟合最低阈值
数目的原始完整 数据, 从所述原始完整数据中提取所述子模型对应的训练数据传送到为该
子模型分配的处理器的存储区, 并对提取的所述训练数据打标签后存储到第一训练数据存
储区。
5.如权利要求1所述的方法, 其特征在于, 所述服务器分配给每个子模型对应的处理器
计算资源为分配给所述处理器将数据从存储的训练数据文件读回处理器对应的内存的时
间。
6.如权利要求5所述的方法, 其特征在于, 所述服务器为每个子模型分配一个对应的处
理器用于执行所述子模型的训练, 所述处理器对应有内存用于缓存读取所述子模型对应的
训练数据文件;
所述服务器为多个子模型分配的处 理器之间共享读盘资源。
7.一种自适应资源匹配获取装置, 应用于服 务器, 所述装置包括:
接收模块, 用于获取训练目标中的多个标签, 所述训练目标中的多个标签是客户端接
收用户输入的包 含多个标签的训练目标后向服 务器发送的;
模型生成模块, 用于根据所述多个标签构造组合模型 学习系统;
数据选择模块, 用于根据所述多个标签获取训练数据;
训练调度器, 用于调度所述组合模型 学习系统内多个子模型的训练;
反馈模块, 所述 服务器在训练完成达 到训练目标时将完成结果反馈给客户端;
所述训练调度器对多个子模型进行逻辑分层, 并根据每个子模型的训练复杂度确定分
配给每个子模型对应的处理器计算资源和时间序列分配, 给每个子模型对应的处理器分配
时间序列分配包括:
所述服务器从底层子模型开始训练并分配计算资源, 底层子模型全部训练完成后再训
练上一层子模型, 直至 完成所有子模型的训练;
所述根据每个子模型的训练复杂度确定分配给每个子模型对应的处理器计算资源包
括:
对于每一层的子模型
, 获取每一子模型的复杂度
, 设该一层有n个子模型, 该一层
每一子模型的复杂度为
,
,
,…,
,…,
, 则分配给
的计算资源
为
,其中
为全部计算资源量;
训练调度器实时监控所有子模型对应处理器的任务完成度, 当出现子模型完成训练 的
情形时, 重复上述计算资源分配过程, 对剩余未完成节点的计算资源进 行更新分配, 直至所
有子模型完成训练;
将训练完成的子模型传输至每个节点对应的上一层子模型对应的处理器中, 在上一层
子模型中采取相同的计算资源分配方式进 行分配和更新, 所述上一层子模 型为对应的下一
层子模型的组合模型; 当最顶层子模型完成训练后, 将所述 最顶层子模型发送给客户端。权 利 要 求 书 2/3 页
3
CN 115454654 A
3
专利 一种自适应资源匹配获取方法和装置
文档预览
中文文档
16 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 SC 于 2024-02-18 22:24:42上传分享