(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211281984.6
(22)申请日 2022.10.19
(71)申请人 深圳前海微众 银行股份有限公司
地址 518052 广东省深圳市前海深港合作
区前湾一路1号A栋201室
(72)发明人 钟志明 张浩 韩森
(74)专利代理 机构 北京派特恩知识产权代理有
限公司 1 1270
专利代理师 汪哲雯 徐川
(51)Int.Cl.
G06F 16/2455(2019.01)
G06F 16/2458(2019.01)
G06F 16/22(2019.01)
G06F 16/27(2019.01)
G06F 16/28(2019.01)
(54)发明名称
一种数据检测方法、 装置、 设备及存 储介质
(57)摘要
本申请提供一种数据检测方法、 装置、 设备
及存储介质, 其中, 方法包括: 对分布式应用服务
器节点的数据进行查询, 并将查询到的数据进行
格式化处理, 得到符合预定义数据模 型的数据模
型对象; 将数据模型对象分流到对应的通道中进
行聚合, 得到聚合数据序列对, 并将聚合数据序
列对关联的各个数据模型对象汇 集到数据流中;
基于各个数据模 型对象进入数据流的起始时间,
和各个数据模 型对象在数据流中的末端时间, 设
置动态数据窗口范围; 基于设置的动态数据窗口
范围, 对数据流中的聚合数据序列对进行处理,
生成针对查询到的数据的检测结果; 其中, 检测
结果包括查询到的数据与预期数据之间是否一
致。
权利要求书2页 说明书15页 附图4页
CN 115544092 A
2022.12.30
CN 115544092 A
1.一种数据检测方法, 其特 征在于, 所述方法包括:
对分布式应用服务器节点的数据进行查询, 并将查询到的数据进行格式化处理, 得到
符合预定义数据模型的数据模型对象;
将所述数据模型对象分流到对应的通道中进行聚合, 得到聚合数据序列对, 并将所述
聚合数据 序列对关联的各个数据模型对象汇集到数据流中;
基于所述各个数据模型对象进入所述数据流的起始时间, 和所述各个数据模型对象在
所述数据流中的末端时间, 设置动态数据窗口范围;
基于设置的动态数据窗口范围, 对所述数据流中的聚合数据序列对进行处理, 生成针
对所述查询 到的数据的检测结果; 其中, 所述检测结果包括所述查询 到的数据与预期数据
之间是否一 致。
2.根据权利要求1中所述的方法, 其特征在于, 所述将所述数据模型对象分流到对应的
通道中进行聚合, 得到聚合数据 序列对, 包括:
获得所述数据模型对象的数据序列对; 其中, 所述数据序列对包括数据实体特征序列
和数据信息特 征序列;
确定所述数据实体特 征序列包 含的特征值对应的队列;
以确定的至少一个队列, 将所述数据模型对象分流到对应的通道中进行聚合, 得到所
述聚合数据 序列对。
3.根据权利要求2所述的方法, 其特征在于, 所述获得所述数据模型对象的数据序列
对, 包括:
获得所述数据模型对象的数据长度、 乘积系数、 取模系数、 所述数据模型对象包含的字
符串映射的编码标准 值;
基于所述乘积系数、 所述取模系数、 所述数据长度和所述字符串映射的编码标准值, 确
定所述字符串的特征值, 并将所述数据模型对象包含的所有字符串的特征值, 作为所述数
据模型对象的所述数据实体特 征序列;
获得所述数据模型对象的源数据库区域、 数据源数据表、 数据查询时间, 并将所述源数
据库区域、 所述数据源数据表、 所述数据查询时间, 作为所述数据模 型对象的所述数据信息
特征序列;
基于所述数据实体特征序列和所述数据信 息特征序列, 组成所述数据模型对象的数据
序列对。
4.根据权利要求2所述的方法, 其特征在于, 同一特征值对应一个队列, 所述以确定的
至少一个队列, 将所述数据模型对 象分流到对应的通道中进行聚合, 得到所述聚合数据序
列对, 包括:
为相同的数据实体特征序列创建一个新的临时度量 区块, 并且为所述临时度量 区块标
记聚合时间序列和相同的区块颜色;
从所述数据模型对象的数据实体特征序列中, 提取查询时间序列、 源数据库区域、 数据
源数据表;
基于所述特征值、 所述源数据库区域、 所述数据源数据表、 所述查询时间序列、 所述区
块颜色和所述聚合时间序列, 得到所述聚合数据 序列对。
5.根据权利要求1至4中任一项所述的方法, 其特征在于, 所述起始时间为所述各个数权 利 要 求 书 1/2 页
2
CN 115544092 A
2据模型对 象的数据查询时间, 所述末端时间为所述各个数据模型对 象的聚合时间, 所述基
于所述各个数据模型对象进入所述数据流的起始时间, 和所述各个数据模 型对象在所述数
据流中的末端时间, 设置动态数据窗口范围, 包括:
获得设置的预定窗口和延迟窗口;
将所述数据查询时间和所述 聚合时间中, 包含的最小时间节点到最大时间节点覆盖的
时间范围作为动态调整窗口;
基于所述预定窗口、 所述延迟窗口和所述动态调整窗口, 设置所述动态数据窗口范围。
6.根据权利要求5 中所述的方法, 其特征在于, 所述将所述数据查询时间和所述 聚合时
间中, 包含的最小时间节点到最大时间节点覆盖的时间范围作为动态调整窗口之前, 所述
方法还包括:
基于稀疏表检索出所述数据查询时间和所述 聚合时间中的, 所述最小时间节点以及所
述最大时间节点。
7.根据权利要求1至4中任一项所述的方法, 其特征在于, 所述预期数据为所述分布式
应用服务器节点的配置阈值, 所述基于设置的动态数据窗口范围, 对所述数据流中的聚合
数据序列对进行处 理, 生成针对所述 查询到的数据的检测结果, 包括:
对所述动态数据窗口范围内的聚合数据序列对进行运算, 以筛选出每个颜色区块并确
定所述每 个颜色区块内的数据阈值;
在所述动态数据窗口范围内的聚合数据序列中, 确定所述每个颜色区块的特征数量
值; 其中, 所述特 征数量值表征相同特 征值的数据的数量;
基于所述每个颜色区块内的数据阈值、 所述每个颜色区块的特征数量值和所述配置 阈
值, 生成所述检测结果。
8.一种数据检测装置, 其特 征在于, 所述装置, 包括:
预处理模块, 用于对分布式应用服务器节点的数据进行查询, 并将查询到的数据进行
格式化处 理, 得到符合预定义数据模型的数据模型对象;
聚合模块, 用于将数据模型对象分流到对应的通道中进行聚合, 得到聚合数据序列对,
并将所述聚合数据 序列对关联的各个数据模型对象汇集到数据流中;
窗口设置模块, 用于基于所述各个数据模型对象进入所述数据流的起始时间, 和所述
各个数据模型对象在所述数据流中的末端时间, 设置动态数据窗口范围;
检测结果匹配模块, 用于基于设置的动态数据窗口范围, 对所述数据流中的聚合数据
序列对进 行处理, 生成针对所述查询到的数据的检测结果; 其中, 所述检测结果包括所述查
询到的数据与预期数据之间是否一 致。
9.一种数据检测设备, 其特 征在于, 包括:
存储器, 用于存储可执行指令; 处理器, 用于执行所述存储器中存储的可执行指令时,
实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质, 其特征在于, 存储有可执行指令, 用于引起处理器执行
时, 实现权利要求1至7任一项所述的方法。权 利 要 求 书 2/2 页
3
CN 115544092 A
3
专利 一种数据检测方法、装置、设备及存储介质
文档预览
中文文档
22 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
温馨提示:本文档共22页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 SC 于 2024-02-18 22:33:10上传分享