(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211243628.5 (22)申请日 2022.10.12 (65)同一申请的已公布的文献号 申请公布号 CN 115328974 A (43)申请公布日 2022.11.11 (73)专利权人 南斗六星系统集成有限公司 地址 430056 湖北省武汉市经济开发区华 中电子商务产业园B5 栋 (72)发明人 龚浩　张宇　李晓聪　王浩东　 姚树为　代陶　 (74)专利代理 机构 武汉智权专利代理事务所 (特殊普通 合伙) 42225 专利代理师 罗成 (51)Int.Cl. G06F 16/2458(2019.01)G06F 16/2455(2019.01) (56)对比文件 CN 113342608 A,2021.09.0 3 CN 112507029 A,2021.0 3.16 CN 111460038 A,2020.07.28 CN 103345164 A,2013.10.09 CN 114510708 A,202 2.05.17 CN 111813833 A,2020.10.23 CN 113887616 A,202 2.01.04 US 2022083445 A1,202 2.03.17 曹云柯.一种基 于Flink实时数仓的系统设 计及功能实现研究. 《电子技 术与软件工程》 .2022, 审查员 陈飞 (54)发明名称 一种数据实时性检测方法、 装置、 设备及可 读存储介质 (57)摘要 本申请涉及一种数据实时性检测方法、 装 置、 设备及可读存储介质， 包括通过流计算引擎 对待计算流数据进行处理， 以生成原始数据层 表， 所述原始数据层表包括多条数据以及每条数 据处理完成后对应的第一时刻； 基于所述流计算 引擎和原始数据层表生成数据应用层表， 所述数 据应用层表包括每条数据处理完成后对应的第 二时刻； 基于所述第二时刻和所述第一时刻计算 所述数据应用层表中每条数据的总延 迟时间； 根 据所述数据应用层表中各条数据的总延迟时间 确定出总延迟时间95%分位数； 当检测到总延迟 时间95%分位数大于目标实时性指标阈值时， 判 定数据的实时性不达标。 本申请不仅逻辑简单、 易实现和易标准化， 且适用范围广， 可适用于各 种形态的实时任务。 权利要求书2页 说明书9页 附图3页 CN 115328974 B 2022.12.13 CN 115328974 B 1.一种数据实时性检测方法， 其特 征在于， 包括以下步骤： 通过流计算引擎对待计算流数据进行处理， 以生成原始数据层表， 所述原始数据层表 包括多条 数据以及每条 数据处理完成后对应的第一时刻； 基于所述流计算引擎和所述原始数据层表生成数据应用层表， 所述数据应用层表包括 每条数据处理完成后对应的第二时刻； 基于所述第二时刻和所述第一时刻计算所述数据应用层表中每条 数据的总延迟时间； 根据所述数据应用层表中各 条数据的总延迟时间确定出总延迟时间95%分位数； 当检测到总延迟时间95%分位数大于目标实时性指标阈值时， 判定数据的实时性不达 标。 2.如权利要求1所述的数据实时性检测方法， 其特征在于， 所述基于所述流计算引擎和 所述原始数据层表生成数据应用层表， 包括： 通过所述流计算引擎对所述原始数据层表进行逻辑计算， 以生成明细数据层表， 所述 明细数据层表包括每条 数据处理完成后对应的第三时刻； 通过所述流计算引擎对所述明细数据层表进行逻辑计算， 以生成服务数据层表， 所述 服务数据层表包括每条 数据处理完成后对应的第四 时刻； 通过所述流计算引擎对所述 服务数据层表进行逻辑计算， 以生成数据应用层表。 3.如权利要求2所述的数据实时性检测方法， 其特征在于， 在所述基于所述流计算引擎 和所述原 始数据层表生成数据应用层表的步骤之后， 还 包括： 基于所述第三时刻和所述第一时刻计算出所述明细数据层表中每条数据的第一延迟 时间； 根据所述明细数据层表中各 条数据的第一延迟时间确定出第一延迟时间95%分位数； 基于所述第四时刻和所述第三时刻计算出所述服务数据层表中每条数据的第二延迟 时间； 根据所述 服务数据层表中各 条数据的第二延迟时间确定第二延迟时间95%分位数； 基于所述第二时刻和所述第四时刻计算出所述数据应用 层表中每条数据的第三延迟 时间； 根据所述数据应用层表中各 条数据的第三延迟时间确定出第三延迟时间95%分位数。 4.如权利要求3所述的数据实时性检测方法， 其特征在于， 在所述判定数据的实时性不 达标的步骤之后， 还 包括： 当检测到第一延迟时间95%分位数大于第一实时性指标阈值时， 对明细数据层表中的 数据进行优化处 理， 以使数据的实时性达标； 当检测到第二延迟时间95%分位数大于第二实时性指标阈值时， 对服务数据层表中的 数据进行优化处 理， 以使数据的实时性达标； 当检测到第三延迟时间95%分位数大于第三实时性指标阈值时， 对数据应用层表中的 数据进行优化处 理， 以使数据的实时性达标。 5.如权利要求2所述的数据实时性检测方法， 其特 征在于， 所述方法还 包括： 分别将所述原始数据层表、 所述明细数据层表和所述服务数据层表存入消息系统， 以 供所述流计算引擎从所述消息系统中读取所述原始数据层表、 所述明细数据层表和所述服 务数据层表进行逻辑 运算；权　利　要　求　书 1/2 页 2 CN 115328974 B 2将所述数据应用层表存 入OLTP数据库。 6.如权利要求1所述的数据实时性检测方法， 其特征在于， 在所述判定数据的实时性不 达标的步骤之后， 还 包括： 进行 数据实时性第一级别的异常告警。 7.如权利要求6所述的数据实时性检测方法， 其特征在于， 在所述进行数据实时性第 一 级别的异常告警的步骤之后， 还 包括： 若检测到连续进行数据实时性第一级别的异常告警的次数达到第一预设次数或在预 设时间内检测到进行数据实时性第一级别的异常告警的次数达到第二预设次数， 则进 行数 据实时性第二级别的异常告警， 所述第二级别的告警程度高于第一级别的告警程度， 所述 第一预设次数小于第二预设次数。 8.一种数据实时性检测装置， 其特 征在于， 包括： 第一处理单元， 其用于通过流计算引擎对待计算流数据进行处理， 以生成原始数据层 表， 所述原 始数据层表包括多条 数据以及每条 数据处理完成后对应的第一时刻； 第二处理单元， 其用于基于所述流计算引擎和所述原始数据层表生成数据应用 层表， 所述数据应用层表包括每条 数据处理完成后对应的第二时刻； 计算单元， 其用于基于所述第 二时刻和所述第 一时刻计算所述数据应用层表中每条数 据的总延迟时间； 确定单元， 其用于根据 所述数据应用层表中各条数据的总延迟时间确定出总延迟时间 95%分位数； 检测单元， 其用于当检测到总延迟时间95%分位数大于目标实时性指标阈值时， 判定数 据的实时性 不达标。 9.一种数据实时性检测设备， 其特征在于， 包括： 存储器和 处理器， 所述存储器中存储 有至少一条指令， 所述至少一条指令由所述处理器加载并执行， 以实现权利要求1至7中任 一项所述的数据实时性检测方法。 10.一种计算机可读存储介质， 其特征在于： 所述计算机存储介质存储有计算机程序， 当所述计算机程序被处理器执行时， 以实现权利要求 1至7中任一项 所述的数据实时性检测 方法。权　利　要　求　书 2/2 页 3 CN 115328974 B 3