2019/6/3 数据工匠俱乐部 数据治理平台工具前世今生 原创：蔡春久数据工匠俱乐部昨天 搜索 复制 ，点击蓝字，轻松关注 前言 伴随着企事业单位信息化不断的深入、各种技术持续的发展以及人们对数据治理的认知 不断加深，数据治理工具在过去的20年也不断的发展，笔者以某世界500集团企业案例 为原型，介绍数据治理工具发展及变迁及未来发展趋势和方向，供广大读参考。 数据治理背景介绍 狭义上讲，数据治理是指对数据质量的管理、专注在数据本身。广义上讲，数据治理是对数据 的全生命周期进行管理，包含数据采集、清洗、转换等传统数据集成和存储环节的工作、同时 还包含数据资产目录、数据标准、质量、安全、数据开发、数据价值、数据服务与应用等，整 个数据生命期而开展开的业务、技术和管理活动都属于数据治理范畴。有的专家干脆把广义的 数据治理称为数据资产管理。 数据治理专注于将数据作为企事业单位数据资产进行应用和管理的一套管理机制，能够消除数 据的不一致性，建立规范的数据应用标准，提高数据质量，实现数据内外部共享，并能够将数 据作为组织的宝贵资产应用于业务、管理、战略决策中，发挥数据资产价值。 数据治理管理工具演变历程及各自阶段典型特点 笔者根据20年的从业信息化行业经验，总结了数据治理工具演变历程和在不同阶段典型特征。 数据治理管理工具演变历程及各自阶段典型特点 信息标准化时代（成腾期） 主数据时代（发展期） 敏据治理时代（展望期） 编码时代（起步期） 名称：信思标准化管理系统 名称：主数据管理感统 名称数据治理平台 名称：编码系统、编码网站 关键词：智能工厂数据服务 关健调：ERP 关健词：大数据，工业互联网 关键词：MIS系统 主要果用自主ESB数据交换平 生来用效 主要采用国外主流产品，SAP 婚中台技术和服究 主要采用发布主数揭代码为 台 等产品 架构初步替代传统架构 主采用接口开发形式分发 莱用股服务架构，足MES 面向大教国禁物下 ESB产品较多使用国外产品 数据 PLM等多个层面数握共享 中心与外部教据系统提供数据服 采用SOA，B/S架构，主要为 B/S架构：C/S架构都有 动态建模，移动应用，内容机 务 ERP等经营管理系统服务， 展数据指标、多语言， 对内和对外系统提供云服务 1994年-2004年 2005-2011年 2011-2017年 2018年- 图1.数据治理管理工具演变历程 https:/mp.weixin.qq.com/s/HJykXa_VhanLUcLw2Hs6IQ 1/19 2019/6/3 数据工匠俱乐部 1）第一代数据治理工具-编码时代（起步期，1994-2004年） 在这个时代里，企事业单位各种MIS系统得到较好的发展和应用，最典型莫过于是物资管理系 统、进销存系统、PDM系统等信息系统。为了确保这些MIS系统各种编码好用，好查，避免一物 这些系统主要发布主数据代码为主，配合某一单一的MIS系统应用为主，有的甚至在这些单一 系统开发一个模块，如编码模块。这是数据治理工具最早期的工具，确保MIS中各种编码唯一 性。 以下为编码管理系统功能架构。 编码管理系统 编码查询 输码下载 信总文件编辑 信息发布 编码论坛 重要通告 流程及报表 维护管理 建模管理 系统管理 编玛申请 分类管理 流程定义 预警管理 编码审楼 建棋管理 流程监督 日志管碟 承日修改 属性管理 书用统计报表 用户管理 兼冻站 数据分发 权限管理 条目恢复 自定义推表 物料主数据 客户主数据 财务主数据 人事主数据 装设备主数据 供应商主数据 组织机构 专业类主数具 中间件 德程监控 (ESB) 为性提分发日表 ERP 电子商务系统 SRM系线 CRM系统 WMS管统 OA系统 HR系统 图2. 编码管理工具功能结构图 以下以物资编码管理系统为例，列举了物料编码系统功能点。 操作用产管理 用广权限管理 组织机构管理 东统管理 瑞码规则管型 操作日志管理 计量单位维护 系统备份与恢复 计量单位族算关案 用户留百管理 模板警理 我口态数设置 接口管理 物资主分类维护 定时任务管理 物辅功分类维护 数据传输管理 物资编码管理系统 手辅分类关乘维护 基础数据管理 物资编码中南 设置学待静换美系 物资编码核 区号码维捞 物资编码管理 编码量修政 新增供应腾编码 物资材防管理 供应商湖码市核 用户物资编码管理 供应商编码管理 供应商编码维护 代码映射赣理 物盗缩码香询 陕时管理 代码映射确认 编码申请青询 统计与查询 用户代码香询 供应商香询 编码映射请况食询 图3. 物料编码管理系统功能范例 https:/mp.weixin.qq.com/s/HJykXa_VhanLUcLw2Hs6lQ 2/19 2019/6/3 数据工匠俱乐部 在这个时代，编码系统采用B/S架构、C/S架构都有，采用.net和JAVA技术居多，通过分发和 订阅形式发布数据。以下为物资编码系统系统页面。 盗组码领理系统 ? 10000007生热约用大鱼头线1M20×50:8C 200000006 全全国大=的提量IM：AIGE aeit 300000005E服1M10-601G-48-81GU/T1232 00000004 适用 5000003线1M8×20-LG-ALC8/12371G 便洗式计牌机 体式计机 LCPN 图4.物料编码管理系统功能页面范例 2)第二代数据治理工具-主数据管理时代（发展期，2005年-2011年） 这个时代最典型是国内很多大型集团企业流行实施ERP系统，国外主流产品例如SAPERP和 OracleEBS等产品，国内主流产品例如用友的U8、NC、金蝶的K3等。 最早的是些外国ERP厂商推出MDM产品，例如Informatica、 Oracle、IBM、SAP、微软都采取 了自有产品并提供主数据管理解决方案，集中管理单一版本的、完整的和可信任的主数据信 息。这些产品具有企业级主数据存储、数据整合、数据共享、数据质量、数据治理5大功能。 基于SOA架构的企业级应用。支持两种实施模式：即“推动模式（交易模式）”和“拉动模式 （共享模式）” 主数据分发和交换主要采用企业服务总线（ESB）产品，较多使用国外主流IT厂商产品， 例如： 微软的BizTalk、IBMWAS、OracleOSB、SAPXI（后来叫PI/PO）等。采用SOA，B/S架构， 主要为ERP等经营管理系统服务。 数据所有者 在线审核 在线查询/申请/分发 系统管理与维护 系统配置/开发 主数据音理平台他户 用户 数据 数据 综合 报表 综合管理 移动 管理 安全 统计 质量 统计 盘用 数据注册 数据变更 数据冻结 数据分发 数据质量工具平台 MM元数据 主数信模型 主数据平台MDM 主数据合开 主数返导入 主数培校箱 主招导出 数据管理 规则引擎 主数隔分发 数据服务总线（ESB） PLM系统 财房共享 CRM系统 ERP SRM系统 https://mp.weixin.qq.com/s/HJykXa_VhanLUcLw2Hs6lQ 3/19 2019/6/3 数据工匠俱乐部 图5. 某国际商MDM系统的功能结构 某国际厂商主数据管理解决方案涵盖主数据建模、数据导入、数据分发、数据查重、数据校 验、数据完善、数据创建流程等企业主数据管理的各个方面。提供基于行业标准的模型建模语 言，供客户快速定义主数据创建或审批流程，支持并行和串行流程，并提供强大的流程分析报 表，帮助企业提高流程效率。同时提供Java/.Net/WebService等多种API，满足和企业内其他 系统集成的需求。该主数据管理解决方案可通过数据校验、数据查重和数据合并等手段，有效 的提高企业主数据的质量。同时提供可选的组件DataQuality，提供深度的数据质量校验功 能，如根据中国邮政名址库进行客户地址校验更正，提高地址的质量。 系统集成平台采用总线的方式进行设计和搭建，总线的方式最适合大规模、多系统的场景下系 统集成的需求。 ERP系统 PLM管理系统 MES系统 CAPP管理系统 WEB WEB WEB WEB WEB WEB WEB 服务注册 服务调用 服务注册 服务调用 服务注册 服劳调用 服务调用 企业服务总线 服务注册 服务代理 服务发布 服务调用 服务组合 服务拆分 消粤转换 服务中心 消息路由 服务管理 服务监控 访问控制 服务日志 WEB 服务注册 服务调用服务注照 服务调用服务注用 OA系统 主数据管理系统 主数据库 HR系统 图6.数据服务总线示意图 通过实施主数据管理系统，推动主数据（如：客户、供应商、产品、员工等）管理规范化、标 准化，从而实现整个企业范围内主数据的统一管理、集中维护，并且实现这些主数据与各个关 联业务系统的协同和分发，保证企业在异构环境中各个信息系统具有统一、准确、高质量的主 数据，从而推进业务流程的改进，提高生产力。 3）第三代数据治理工具-数据标准化时代（成熟期2012-2018年） 随着大数据技术应用以及智能工厂（车间）建设，企业的信息信息系统越来越多，尤其生产制 造领域系统越来越普及深入，主数据服务不仅仅只是限于以ERP为核心的经营管理层面的系 统。在这个时代，最典型的以MES为核心的智能制造系统也提出更高需求。“集中集成，创新 提升，共享服务，协同智能”成为主旋律。 数据的集成和共享是其重要的特点，更是强调数据的标准和统一。数据标准化、规范化是实现 信息集成和共享的前提，根本上消除各业务系统的“信息孤岛”。 “独立、自主、安全、可控”在某些领域和行业提出国产化的需求，去IOE的浪潮一浪盖过一 浪。很多大型集团企业开始采用开源技术独立开发数据治理工具，采用微服务架构，满足 MES、PLM等多个层面数据共享需求，内容扩展增加了动态建模、移动应用，生产层面的主数 据、数据指标、多语言等功能。数据交换平台逐步采用国内自主ESB相关产品。 https:/mp.weixin.qq.com/s/HJykXa_VhanLUcLw2Hs6IQ 4/19