(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211262481.4 (22)申请日 2022.10.14 (71)申请人 深圳迅策 科技有限公司 地址 518000 广东省深圳市南 山区粤海街 道高新园粤兴一道9号香港科技大学 产学研大楼1 18A室 (72)发明人 杨阳　陈旭　 (74)专利代理 机构 上海旭新专利代理事务所 (普通合伙) 31474 专利代理师 毛碧娟 (51)Int.Cl. G06F 16/28(2019.01) G06F 16/22(2019.01) G06F 16/27(2019.01) G06F 16/2455(2019.01)G06F 16/25(2019.01) G06F 9/54(2006.01) G06F 9/50(2006.01) G06F 9/46(2006.01) G06F 11/14(2006.01) G06Q 40/04(2012.01) (54)发明名称 一种金融资产交易数据处理方法、 系统及可 读介质 (57)摘要 一种金融资产交易数据处理方法， 包括： 获 取金融资产交易数据； 离线交易数据以及日初对 应在途交易数据， 从交易系统的备库ORACLE同步 数据到缓存层， 再到关系型数据库中,将离线交 易数据以及日初对应在途交易数据进行贴源层 处理和数据细节层处理； 对于日初对应在途交易 数据， 批处理日初对应在途交易数据的基础数据 到REDIS缓存中； 实时基础数据流、 实时业务数据 流的实时变更采用CDC消息变更， 通过消息中间 件KAFKA至FLINK平台进行相应操作， 并将业务标 准转化后的接口数据根据不同业务转发到消息 中间件KAFKA对应的主题下； 本发明方法针对金 融领域内多源、 全链路、 全生态、 标准化， 实现高 吞吐、 低延 迟、 高性能， 达到在海量数据下快速计 算， 积极响应， 平滑扩展的目的。 权利要求书3页 说明书11页 附图4页 CN 115329016 A 2022.11.11 CN 115329016 A 1.一种金融资产交易数据处 理方法， 其特 征在于， 包括如下步骤： 获取金融资产交易数据； 所述金融资产交易数据包括离线交易数据， 日初对应在途交 易数据； 实时基础数据流， 以及实时业 务数据流； 离线交易数据以及日初对应在途交易数据， 从交易系统的备库ORACLE同步数据到缓存 层， 再到关系型数据库中， 在FLINK大数据平 台缓存中构建多层数据表结构， 所述多层数据 表结构包括贴源层和数据细节层， 将离线交易数据以及日初对应在 途交易数据进 行贴源层 处理和数据细节层处理； 对于日初对应在途交易数据， 批处理日初对应在途交易数据的基 础数据到REDIS缓存中； 实时基础数据流的实时变更采用CDC消息变更， 通过消息中间件KAFKA至FLINK平台的 交易应用系统进行统一格式的适配、 过 滤、 以及格式转换， 并更新至REDIS缓存中； 实时业务数据流的实时变更采用CDC消息变更， 通过消息中间件KAFKA至FLINK平台的 交易应用系统进行适配、 消息过滤、 事务聚合、 业务识别以及业务标签分发， 并进行业务标 准转化， 将业务标准转化后的接口数据根据不同业务转发到消息中间件KAFKA对应的主题 下， 并通过REDIS缓存中关联转化出日初对应在途交易数据的基础数据以及实时基础数据 流的基础数据。 2.根据权利要求1所述的一种金融资产交易数据处理方法， 其特征在于， 所述将离线交 易数据以及日初对应在途交易数据进行贴源层处 理和数据细节层处 理， 具体为： 贴源层处 理， 存放原 始数据， 直接加载原 始日志、 原 始数据； 数据细节层处理， 对贴源层数据进行清洗， 包括： 去除空值、 去除脏数据、 去除超过极限 范围的数据， 维度退化， 脱敏。 3.根据权利要求1所述的一种金融资产交易数据处理方法， 其特征在于， 通过消息 中间 件KAFKA至FLINK平台的交易应用系统进行适配、 消息过滤、 事务聚合、 业务识别以及业务标 签分发， 并进行业 务标准转化， 具体为： 适配： 根据创建的标准数据格 式， 对数据格 式进行了统一的消息标准格 式转换； 其中关 键字段包括操作类型op、 事务号xid， 修改前before， 修改前主键before_key， 用户名owner， 表名name， 时间戳jstime， 修改后after， 修改后主键after_key； 消息过滤： 剔除数据， 包括但不限于： 操作类型和主键对应错误的数据， 事务号xid为空 的消息， 操作类型op不满足条件的数据； 事务聚合： 将事务号xid相同的数据进行聚合； 且对于同一事务中， 将同表同主键的单 条数据的多次修改数据进行合并， 保留首次和末次修改的数据在修改前before和修改后 after字段内； 业务识别以及业务标签分发： 对事务数据进行识别并根据 具体的识别码进行标签分发 到FLINK平台的侧输出流中； 业务标准转化： 根据业务分类进行特定字段数据字典标准化和 JSON格式化输出， 所述 业务分类包括但不限于交易所业务、 网下业务、 银行间业务、 场外业务、 结算类和投资端； 业 务下对应的操作包括但不限于： 指令、 委托、 成交、 交收。 4.根据权利要求1所述的一种金融资产交易数据处理方法， 其特征在于， 所述事务聚合 中将事务 号xid相同的数据进行聚合， 具体为： 在消息有效且连续的发送的情况下， 当收到后一消息事务号变更， 即认为前一事务数权　利　要　求　书 1/3 页 2 CN 115329016 A 2据进行收集完毕， 触发队列压出 数据； 当消息不是在连续高频率发送消息， 即每个事务一系列消息发送之后有对应时间间隔 等待的情况 下， 引入FL INK的定时器进行指定时间内将队列消息 压出。 5.根据权利要求1所述的一种金融资产交易数据处理方法， 其特征在于， 实时业务数据 流处理中， 还包括： 在FLINK大数据平台消息流转的过程中， 开启轻量级的异步栅栏快照 机制， 保障断点恢 复。 6.一种金融资产交易数据处 理系统， 其特 征在于， 包括如下： 数据获取单元： 获取金融资产交易数据； 所述金融资产交易数据包括离线交易数据， 日 初对应在途交易数据； 实时基础数据流， 以及实时业 务数据流； 离线及日初数据处理单元： 离线交易数据以及日初对应在途交易数据， 从交易系统的 备库ORACLE同步数据到缓存层， 再到关系型数据库中,在FLINK大数据 平台缓存中构建多层 数据表结构， 所述多层数据表结构包括贴源层和数据细节层， 将离线交易数据以及日初对 应在途交易数据进行贴源层处理和数据细节层处理； 对于日初对应在途交易数据， 批处理 日初对应在途交易数据的基础数据到REDIS缓存中； 实时基础数据流处理单元： 实时基础数据流的实时变更采用CDC消息变更， 通过消息 中 间件KAFKA至FLINK平台的交易应用系统进行 统一格式的适配、 过滤、 以及格式转换， 并更新 至REDIS缓存中； 实时业务数据流处理单元： 实时业务数据流的实时变更采用CDC消息变更， 通过消息 中 间件KAFKA至FLINK平台的交易应用系统进行适配、 消息过滤、 事务聚合、 业务识别以及业务 标签分发， 并进行业务标准转化， 将业务标准转化后的接口数据根据不同业务转发到消息 中间件KAFKA对应的主题下， 并通过REDIS缓存中关联转化出日初 对应在途交易数据的基础 数据以及实时基础数据流的基础数据。 7.根据权利要求6所述的一种金融资产交易数据处理系统， 其特征在于， 所述离线及日 初数据处理单元中， 将离线交易数据以及日初 对应在途交易数据进行贴源层处理和数据细 节层处理， 具体为： 贴源层处 理， 存放原 始数据， 直接加载原 始日志、 原 始数据； 数据细节层处理， 对贴源层数据进行清洗， 包括： 去除空值、 去除脏数据、 去除超过极限 范围的数据， 维度退化， 脱敏。 8.根据权利要求6所述的一种金融资产交易数据处理系统， 其特征在于， 所述实时基础 数据流处理单元中， 通过消息中间件KAFKA至FLINK平台上的交易应用系统进行适配、 消 息 过滤、 事务聚合、 业 务识别以及业 务标签分发， 并进行业 务标准转化， 具体为： 适配： 根据创建的标准数据格 式， 对数据格 式进行了统一的消息标准格 式转换； 其中关 键字段包括操作类型op、 事务号xid， 修改前before， 修改前主键before_key， 用户名owner， 表名name， 时间戳jstime， 修改后after， 修改后主键after_key； 消息过滤： 剔除数据， 包括但不限于： 操作类型和主键对应错误的数据， 事务号xid为空 的消息， 操作类型op不满足条件的数据； 事务聚合： 将事务号xid相同的数据进行聚合； 且对于同一事务中， 将同表同主键的单 条数据的多次修改数据进行合并， 保留首次和末次修改的数据在修改前before和修改后权　利　要　求　书 2/3 页 3 CN 115329016 A 3