(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211545931.0 (22)申请日 2022.12.05 (71)申请人 北京滴普科技有限公司 地址 100081 北京市海淀区学院南路62号 院1号楼10层10 01-1002 (72)发明人 王跃　 (74)专利代理 机构 北京国谦专利代理事务所 (普通合伙) 11752 专利代理师 肖应国 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/2455(2019.01) G06F 16/25(2019.01) (54)发明名称 一种面向OLAP分析引擎的数据导入方法和 系统 (57)摘要 本发明提出了一种面向OLAP分析引擎的数 据导入方法和系统。 所述数据导入方法包括： 利 用目标表建立文件对应数据存储临时表； 通过 plugin:local ‑file关联本地数据文件 把文件数 据分批读入到临时表； 通过联邦查询方式， 用 insert into select语法把临时表数据写入到 目标表中； 对 所述临时表数据写入到目标表中总 的全过程进行异常数据监测。 所述系统包括与所 述方法步骤 对应的模块。 权利要求书2页 说明书5页 附图4页 CN 115544027 A 2022.12.30 CN 115544027 A 1.一种面向OLAP分析引擎的数据导入方法， 其特 征在于， 所述数据导入方法包括： 利用目标表建立文件 对应数据存 储临时表； 通过plugi n:local‑file关联本地数据文件把文件数据分批读入到临时表； 通过联邦查询方式， 用i nsert into select语法把临时表数据写入到目标表中； 对所述临时表数据写入到目标表中总的全过程进行异常数据监测。 2.根据权利要求1所述数据导入方法， 其特征在于， 所述临时表的结构和目标表的结构 完全一致。 3.根据权利要求1所述数据导入方法， 其特征在于， 当文件数据的数据量在1G以下时， 采用单线程 导入； 当文件数据的数据量大于1G时， 采用多 线程并行导入。 4.根据权利要求1所述数据导入方法， 其特征在于， 利用目标表建立文件对应数据存储 临时表， 包括： 启动OLAP引擎， 对本地文件co nnecter进行加载； 用户执行导入本地文件数据sql； 通过insert into的目标表建立文件 对应数据存 储临时表。 5.根据权利要求1所述数据导入方法， 其特征在于， 所述对所述临时表数据写入到目标 表中总的全过程进行异常数据监测， 包括： 实时监测临时表数据写入过程中是否出现异常数据； 当出现异常数据时， 停止临时表数据写入动作， 并将出现所述异常数据的实 际情况记 录到日志中； 在排除异常数据之后， 按照最大尝试次数， 重新尝试向所述目标表中写入监测 临时表 数据。 6.一种面向OLAP分析引擎的数据导入系统， 其特 征在于， 所述数据导入系统包括： 临时表建立模块， 用于利用目标表建立文件 对应数据存 储临时表； 读入模块， 用于通过plugin:local ‑file关联本地数据文件把文件数据分批读入到临 时表； 写入模块， 用于通过联邦查询方式， 用insert  into select语法把临时表数据写入到 目标表中； 监测模块， 用于对所述临时表数据写入到目标表中总的全过程进行异常数据监测。 7.根据权利要求6所述数据导入系统， 其特征在于， 所述临时表的结构和目标表的结构 完全一致。 8.根据权利要求6所述数据导入系统， 其特征在于， 当文件数据的数据量在1G以下时， 采用单线程 导入； 当文件数据的数据量大于1G时， 采用多 线程并行导入。 9.根据权利要求6所述数据导入系统， 其特 征在于， 所述临时表建立模块包括： 启动模块， 用于启动OLAP引擎， 对本地文件co nnecter进行加载； 执行模块， 用于用户执 行导入本地文件数据sql； 存储临时表建立模块， 用于通过i nsert into的目标表建立文件 对应数据存 储临时表。 10.根据权利要求6所述数据导入系统， 其特 征在于， 所述 监测模块包括： 实时监测模块， 用于实时监测临时表数据写入过程中是否出现异常数据； 写入停止模块， 用于当出现异常数据时， 停止临时表数据写入动作， 并将出现所述异常权　利　要　求　书 1/2 页 2 CN 115544027 A 2数据的实际情况记录 到日志中； 重新尝试模块， 用于在排除异常数据之后， 按照最大尝试次数， 重新尝试向所述目标表 中写入监测临时表数据。权　利　要　求　书 2/2 页 3 CN 115544027 A 3