(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211299069.X (22)申请日 2022.10.24 (71)申请人 成都数联云算科技有限公司 地址 610000 四川省成 都市中国(四川)自 由贸易试验区高新区吉泰五路88号3 栋5层8号、 9号 (72)发明人 彭建祥　 其他发明人请求 不公开姓名　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 张欣欣 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/22(2019.01) G06F 16/2458(2019.01)G06F 16/955(2019.01) (54)发明名称 数据处理方法、 装置、 计算机设备及存储介 质 (57)摘要 本发明涉及数据处理技术领域， 提供一种数 据处理方法、 装置、 计算机设备及存储介质， 应用 于中心节点， 中心节点和子节点通信连接， 所述 方法包括： 生成对待处理数据进行抽取、 转换和 加载的ETL任务的任务配置； 将任务配置发送至 子节点， 以指示子节点按照所述任务配置执行 ETL任务， 以对待处理数据进行数据抽取、 转换和 加载处理。 本发明极大地简化了配置过程， 提高 了配置效率。 权利要求书2页 说明书10页 附图5页 CN 115357657 A 2022.11.18 CN 115357657 A 1.一种数据处理方法， 其特征在于， 应用于中心节点， 所述中心节点和子节点通信连 接， 所述方法包括： 生成对待处 理数据进行抽取、 转换和 加载的ETL任务的任务配置； 将所述任务配置发送至所述子节点， 以指示所述子节点按照所述任务配置执行所述 ETL任务， 以对所述待处 理数据进行 数据抽取、 转换和 加载处理。 2.如权利要求1所述的数据处理方法， 其特征在于， 所述任务配置包括所述待处理数据 所属的目标数据源的数据源配置， 所述生 成对待处理数据进 行抽取、 转换和加载的ETL任务 的任务配置的步骤 包括： 根据所述目标 数据源的类型， 获取 所述目标 数据源的访问标识； 根据所述访问标识生成所述数据源配置 。 3.如权利要求2所述的数据处理方法， 其特征在于， 所述根据所述目标数据源的类型， 获取所述目标 数据源的访问标识的步骤 包括： 若所述目标数据源为数据库类型， 则将所述目标数据源对应的目标数据库的数据库标 识、 IP地址、 端口及登录所述目标 数据库的登录标识作为所述访问标识； 若所述目标数据源为第三方接口类型， 则将所述目标数据源对应的URL及登录所述URL 的登录标识作为所述访问标识； 若所述目标数据源为数据文件类型， 则将所述目标数据源对应的目标数据文件的文件 标识作为所述访问标识。 4.如权利要求1所述的数据处理方法， 其特征在于， 所述任务配置包括数据集配置， 所 述生成对待处 理数据进行抽取、 转换和 加载的ETL任务的任务配置的步骤 包括： 获取目标 数据源的表结构， 所述目标 数据源用于指明所述待处 理数据所属的数据源； 获取目标仓库的表结构， 所述目标仓库用于存 储所述待处 理数据的处 理结果； 根据所述目标 数据源的表结构及所述目标仓库的表结构， 生成所述数据集配置 。 5.如权利要求4所述的数据处理方法， 其特征在于， 所述目标数据源包括字段， 所述根 据所述目标 数据源的表结构及所述目标仓库的表结构， 生成所述数据集配置的步骤 包括： 获取所述字段的长度、 类型、 值域的字段配置， 所述字段配置用于对所述待处理数据进 行校验； 获取所述字段之间的关系配置； 根据所述目标数据源的表结构、 所述目标仓库的表结构， 所述字段配置及所述关系配 置， 生成所述数据集配置 。 6.如权利要求1所述的数据处理方法， 其特征在于， 所述任务配置包括执行配置， 所述 生成对待处 理数据进行抽取、 转换和 加载的ETL任务的任务配置的步骤 包括： 获取抽取 所述待处 理数据的抽取 策略； 获取对所述待处 理数据进行转换的转换 策略； 获取表征输出 所述待处 理数据的转换 结果的输出 策略； 根据所述抽取 策略、 转换 策略及所述输出 策略生成所述执 行配置。 7.如权利要求1所述的数据处理方法， 其特征在于， 所述任务配置包括计划配置， 所述 生成对待处 理数据进行抽取、 转换和 加载的ETL任务的任务配置的步骤 包括： 获取所述ETL任务的执 行时间和执 行周期；权　利　要　求　书 1/2 页 2 CN 115357657 A 2根据所述执 行时间和执 行周期， 生成所述计划配置 。 8.如权利要求1所述的数据处理方法， 其特征在于， 所述子节点为多个， 所述方法还包 括： 获取每一所述子节点的ETL任务的执 行结果； 对所有子节点的执 行结果进行统计。 9.如权利要求1所述的数据处 理方法， 其特 征在于， 所述方法还 包括： 接收所述子节点发送的注 册请求； 根据所述注册请求获取访问所述子节点的连接信 息， 以根据所述连接信 息将所述任务 配置发送至所述子节点。 10.一种数据处理装置， 其特征在于， 应用于中心节点， 所述中心节点和子节点通信连 接， 所述装置包括： 生成模块， 用于生成对待处 理数据进行抽取、 转换和 加载的ETL任务的任务配置； 发送模块， 用于将所述任务配置发送至所述子节点， 以指示所述子节点按照所述任务 配置执行所述ETL任务， 以对所述待处 理数据进行 数据抽取、 转换和 加载处理。 11.一种计算机设备， 其特征在于， 包括处理器和存储器， 所述存储器用于存储程序， 所 述处理器用于在执 行所述程序时， 实现权利要求1 ‑9中任一项所述的数据处 理方法。 12.一种计算机可读存储介质， 其特征在于， 其上存储有计算机程序， 该计算机程序被 处理器执行时实现如权利要求1 ‑9中任一项所述的数据处 理方法。权　利　要　求　书 2/2 页 3 CN 115357657 A 3