standard library
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211295625.6 (22)申请日 2022.10.21 (71)申请人 浪潮金融信息技 术有限公司 地址 215100 江苏省苏州市吴中经济开发 区郭巷街道淞葭路818号富民三期厂 房3幢 (72)发明人 高强 武目帅 常绍盈 贾广旭  胡焱  (74)专利代理 机构 北京权智天下知识产权代理 事务所(普通 合伙) 11638 专利代理师 孙利 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/28(2019.01) G06F 16/22(2019.01) (54)发明名称 一种用于数据库的数据导入方法、 系统、 设 备及介质 (57)摘要 本发明公开了一种用于数据库的数据导入 方法、 系统、 设备及介质, 所述方法包括以下步 骤: 检测数据库数据导入需求, 基于数据库数据 导入需求获取数仓元数据; 配置数据分区算法和 分区确认算法, 基于数仓元数据、 数据分区算法 和分区确认 算法计算数据分区值; 基于数据分区 值执行数据分区导入操作; 本发 明能够在业务元 数据导入数据库前, 就对数据进行独特的分区处 理, 且分区是根据业务元数据本身的数据参数进 行决定的, 独特的分区处理还具有一定的秩序性 和有效性, 能够使数据进行有效分区, 有效降低 大批量数据导入 数据库时产生的数据压力, 提高 了数据导入的效率, 同时稳定了数据库在数据导 入时的性能参数, 具有极高的应用价 值。 权利要求书2页 说明书8页 附图2页 CN 115510164 A 2022.12.23 CN 115510164 A 1.一种用于数据库的数据导入方法, 其特 征在于, 包括以下步骤: 元数据获取: 检测数据库数据导入需求, 基于所述数据库数据导入需求获取 数仓元数据; 数据分区计算: 配置数据分区算法和分区确认算法, 基于所述数仓元数据、 所述数据分区算法和所述 分区确认算法计算数据分区值; 数据分区导入: 基于所述数据分区值执 行数据分区导入操作。 2.根据权利要求1所述的一种用于数据库的数据导入方法, 其特 征在于: 所述基于所述数据库数据导入需求获取 数仓元数据, 包括: 所述数据库 数据导入需求为需要导入数据时, 获取与 所述数据库数据导入需求相匹配 的第一数据, 设定所述第一数据为所述数仓元 数据; 所述数据库数据导入需求 为无需导入数据时, 回到所述元 数据获取步骤。 3.根据权利要求1所述的一种用于数据库的数据导入方法, 其特 征在于: 所述基于所述数仓元数据、 所述数据分区算法和所述分区确认算法计算数据分区值, 包括: 基于所述数仓元 数据调用所述数据分区算法, 得到第一分区参数; 基于所述第一分区参数调用所述分区确认算法, 得到所述数据分区值。 4.根据权利要求3所述的一种用于数据库的数据导入方法, 其特 征在于: 所述数据分区算法, 包括: 识别所述数仓元 数据所对应的若干分区字段; 对若干所述分区字段分别进行哈希计算, 得到若干第一哈希值; 整理若干所述分区字段和若干所述第一哈希值作为所述第一分区参数。 5.根据权利要求 4所述的一种用于数据库的数据导入方法, 其特 征在于: 所述分区确认算法, 包括: 设定分区基准数; 读取所述第一分区参数; 将若干所述第 一哈希值分别对所述分区基准数进行取余计算, 得到与若干所述分区字 段分别匹配的若干余数值; 基于若干所述 余数值和若干所述分区字段设定所述数据分区值。 6.根据权利要求5所述的一种用于数据库的数据导入方法, 其特 征在于: 所述基于若干所述 余数值和若干所述分区字段设定所述数据分区值, 包括: 设定第一 余数计算 值; 将若干所述余数值分别与 所述第一余数计算值进行求和计算, 得到与若干所述分区字 段分别匹配的若干计算和值; 设定若干所述计算和值分别为与若干所述分区字段分别匹配的若干所述数据分区值。 7.根据权利要求6所述的一种用于数据库的数据导入方法, 其特 征在于: 所述数据分区导入操作, 包括: 确认待导入数据库;权 利 要 求 书 1/2 页 2 CN 115510164 A 2确认待导入数据库中的若干数据分区; 识别若干所述数据分区分别对应的若干分区标识号; 按照若干所述分区字段将所述数仓元 数据划分为若干第一分区元 数据; 按照若干所述数据分区值分别与若干所述分区标识号之间的匹配性, 将若干所述第 一 分区元数据分别导入所述待导入数据库的若干所述数据分区中。 8.一种用于数据库的数据导入系统, 其特征在于, 包括: 元数据获取模块、 数据分区计 算模块和数据分区导入 模块; 元数据获取模块, 用于检测数据库数据导入需求, 并基于所述数据库数据导入需求获 取数仓元数据; 数据分区计算模块, 用于配置数据分区算法和分区确认算法, 并基于所述数仓元数据、 所述数据分区算法和所述分区确认算法计算数据分区值; 数据分区导入 模块, 用于根据所述数据分区值执 行数据分区导入操作。 9.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质上存储有计算机 程序, 所述计算机程序被处理器执行时实现权利要求 1~7中任一项 所述用于数据库的数据 导入方法的步骤。 10.一种计算机设备, 其特征在于, 包括处理器、 通信接口、 存储器和通信总 线, 其中, 所 述处理器, 所述 通信接口, 所述存 储器通过 所述通信总线完成相互间的通信; 其中: 所述存储器, 用于存放计算机程序; 所述处理器, 用于通过运行所述存储器上所存放的程序来执行权利要求1 ‑7中任一项 所述用于数据库的数据导入方法的步骤。权 利 要 求 书 2/2 页 3 CN 115510164 A 3

PDF文档 专利 一种用于数据库的数据导入方法、系统、设备及介质

文档预览
中文文档 13 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共13页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种用于数据库的数据导入方法、系统、设备及介质 第 1 页 专利 一种用于数据库的数据导入方法、系统、设备及介质 第 2 页 专利 一种用于数据库的数据导入方法、系统、设备及介质 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-18 22:33:09上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。