(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211141240.4 (22)申请日 2022.09.20 (71)申请人 河北网新科技 集团股份有限公司 地址 050000 河北省石家庄市循环化工园 区阿里山大街与信工路交叉口西北角 行政服务中心7楼(集中登记) (72)发明人 闫荣新　 (74)专利代理 机构 北京中睿智恒知识产权代理 事务所(普通 合伙) 16025 专利代理师 侯文峰 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/2458(2019.01) G06F 16/28(2019.01) G06F 16/215(2019.01)G06F 16/22(2019.01) (54)发明名称 一种实时数据处 理方法和系统 (57)摘要 本发明涉及数据处理的技术领域， 且公开了 一种实时数据处理方法， 包括以下步骤： 步骤一、 系统直接或间接从分布式控制系统中采集到的 实时数据， 确定实时处理对象。 步骤二、 前端数据 对象导入一个集中的大型分布式数据库或者分 布式存储集群， 同时对实时数据一些简单的清洗 和预处理工作后使用Twitter的Storm来对数据 进行流式计算。 通过数据采集、 导入预处理、 统计 分析可以进行 实时数据的快速前期处理， 数据融 合、 数据挖掘、 数据输出可 以使得实时数据在满 足正常的采集、 分析、 展示后对实时数据进行基 于大数据的计算挖掘分析和预测分析， 对实时数 据发生原理和背景进行分析和计算并输出展示 到客户端， 增加实时数据分析处理的可靠性和科 学性。 权利要求书2页 说明书4页 附图2页 CN 115481183 A 2022.12.16 CN 115481183 A 1.一种实时数据处 理方法， 其特 征在于， 包括以下步骤： 步骤一、 系统直接或间接从分布式控制系统中采集到的实时数据， 确定实时处 理对象； 步骤二、 前端数据对象导入一个集中的大型分布式数据库或者分布式存储集群， 同时 对实时数据一些简单的清洗和预处 理工作后使用Tw itter的Storm来对数据进行流式计算； 步骤三、 对预处理后存储在分布式数据库或者分布式计算集群 内部大量实时数据进行 普通的分析和分类汇总； 步骤四、 采用数据融合对数据统计分析后实时数据， 进行自动检测、 关联、 相关、 估计及 组合处理， 数据融合将不同传感器接收的信息经过融合得到对目标状态或目标特征的判 定； 步骤五、 经过采集、 处理后的实时数据 再次进行存储以方便人们 对其进行查询、 分析操 作； 或对融合处理后实时数据在现有数据 上面进行基于各种算法的挖掘计算， 从而起到预 测的效果， 从而实现一些高级别数据分析的需求， 满足大 数据的实时分析； 步骤六、 经 过挖掘计算分析或数据融合存 储后的数据进行 数据输出提供 给客户端。 2.一种实时数据处 理系统， 其特 征在于， 包括： 数据采集， 用于收集外界传感器、 输入设备导入计算机网络进入分布式控制系统中的 实时数据， 汇总实时数据； 导入预处理， 用于对采集的实时数据导入型分布式数据库或者分布式存储集群进行预 处理和流式计算； 统计分析， 用于对预处理后在 分布式数据库或者分布式存储集群的实时数据进行普通 的分析和分类； 数据融合， 用于实时数据统计分析后进行自动检测、 关联、 相关、 估计及组合处理融合 成需要的目标 特征或对目标 特征的判断； 数据存储， 用于对融合处理后的实时数据再次进行存储以方便人们对其进行查询、 分 析操作； 数据挖掘， 用于对融合处 理后的实时数据进行基于各种算法的高级预测计算； 数据输出， 用于数据存 储或数据 挖掘处理后面向客户端的输出。 3.根据权利要求2所述的一种实时数据处理系统， 其特征在于： 所述数据采集方法分为 直接数据采集和间接数据采集， 所述直接数据采集是接从分布式控制系统中采集到的实时 数据， 所述间接数据采集是指数据采集计算机不直接与现场分布式控制系统通信， 而是在 分布式控制系统之上放置一台上位机， 上位机通过分布式控制系统提供的接口采集 实时数 据， 现场之外的数据采集计算机与上位机通信， 取 得所需要的实时数据。 4.根据权利要求3所述的一种实时数据处理系统， 其特征在于： 所述直接数据采集中分 布式控制系统可以采用标准的ODBC开放式数据库互连、 DDE动态数据交换、 OLE对象链接与 嵌入， 分布式控制系统可以与计算机内部采集 程序通过网络连接进行实时数据采集。 5.根据权利要求3所述的一种实时数据处理系统， 其特征在于： 所述间接数据采集中上 位机通过网卡挂在分布式控制系统的控制网格上， 与现场分布式控制系统的数据接口通 信， 上位机对所采集上来的实时数据一般有两种处理方式， 一是实时数据以数据库、 电子表 格或文本文件方式放在本地硬盘中， 由远程的数据采集计算机定时将数据取走， 另一种 是权　利　要　求　书 1/2 页 2 CN 115481183 A 2上位机定时将采集的实时数据主动发送到数据采集计算机 。 6.根据权利要求2所述的一种实时数据处理系统， 其特征在于： 所述统计分析采用EMC 的GreenPlum、 Oracle的Exadata、 基于 MySQL的列式存 储Infobright对实时数据进行分析。 7.根据权利要求2所述的一种实时数据处理系统， 其特征在于： 所述数据融合算法类型 分为带反馈的实时数据融合算法和加权滤波实时数据融合算法， 所述带反馈的实时数据融 合算法是解决目前在融合过程中的实时性要求。 该算法主要强调对于不同类别的数据需要 进行实时的自适应分级， 将 紧急数据迅速融合并传输给用户， 所述加权滤波实时数据融合 算法是利用数据间支持度函数矩阵， 进行多组数据的加权融合， 将 融合结果替代滤波值进 行卡尔曼 滤波， 从而实现多组测量数据的实时动态融合数据。 8.根据权利要求2所述的一种实时数据处理系统， 其特征在于： 所述数据存储常用NAND   FLASH存储进行实时数据存储， 所述数据挖掘长采用用于聚类的K ‑Means、 用于统计学习的 SVM、 用于分类的NaiveBayes进行实时数据的分析计算预测。权　利　要　求　书 2/2 页 3 CN 115481183 A 3