(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211056877.3
(22)申请日 2022.08.31
(71)申请人 保利和悦生活科技 服务有限公司
地址 519000 广东省珠海市大万 山岛港湾
路37号20 5之六室
(72)发明人 杨城 赵立 方弘
(74)专利代理 机构 广州专理知识产权代理事务
所(普通合伙) 44493
专利代理师 张凤
(51)Int.Cl.
G06F 16/27(2019.01)
G06F 16/25(2019.01)
G06F 16/22(2019.01)
G06F 16/242(2019.01)
G06F 9/50(2006.01)
(54)发明名称
一种网络商城后台与第三方接口的数据同
步方法及系统
(57)摘要
本发明涉及数据库技术领域, 提供了一种网
络商城后台与第三方接口的数据同步方法及系
统, 具体为: 通过数据同步模块将第一数据库的
数据转换为事务, 并将事务推送至第二数据库;
确定第二数据库传输的一组事务的事务数量; 根
据事务所涉及的数据对象对一组事务里的多个
事务进行合并; 计算合并后的事务的影 响趋势度
并根据影响趋势度从大到小对一组事务进行优
先级排序, 最后将排序后的一组事务传输至第一
数据库; 所述方法解决了第一数据库与第二数据
库之间的数据自动同步问题且能够根据数据之
间的关系来动态调整数据传输的优 先级, 从而提
高了网络商城后台对重要数据的处理效率, 减少
了网络商 城后台未来要处 理的数据量。
权利要求书3页 说明书11页 附图1页
CN 115329006 A
2022.11.11
CN 115329006 A
1.一种网络商城后台与第三方接口的数据同步方法, 其特征在于, 所述方法包括以下
步骤:
S100, 构建第一数据库 与第二数据库的数据同步模块;
S200, 通过数据同步模块将第一数据库的数据推送至第二数据库;
S300, 通过数据同步模块将第二数据库的更新数据传输 至第一数据库。
2.根据权利要求1所述的一种网络商城后台与第三方接口的数据同步方法, 其特征在
于, 在S100中, 所述第一数据库为网络商城后台的数据库, 所述网络商城后台为网络商城的
网站后台, 所述第二数据库为第三方接口的数据库, 所述第三方接口为对接网络商城后台
的数据库接口; 所述构建第一数据库 与第二数据库的数据同步模块包括:
网络商城连接模块, 用于连接第一数据库并建立传输通道,
第三方接口连接模块, 用于连接多个第二数据库并建立传输通道,
缓存模块, 用于缓存第一数据库中表的结构和第一数据库中表的数据;
转换模块, 与所述缓存模块连接, 用于将数据格式转换, 并传输给第三方接口连接模
块;
扫描模块, 与所述网络商城连接模块、 缓存模块、 转换模块连接, 用于获取第一数据库
变化的数据并推送至缓存 模块和转换模块;
事务处理模块, 与所述网络商城连接模块、 第 三方接口连接模块和缓存模块连接, 用于
将接收到的第二数据库的数据进行合并和优先级排序, 并传输给网络商城连接模块。
3.根据权利要求1所述的一种网络商城后台与第三方接口的数据同步方法, 其特征在
于, 在S20 0中, 通过 数据同步模块将第一数据库的数据推送至第二数据库的方法为:
S201, 网络商城连接模块与第一数据库连接并建立传输通道;
S202, 扫描模块通过网络商城连接模块的传输通道获取第一数据库中表的结构, 并推
送至缓存 模块;
S203, 当缓存 模块接收到第一数据库的数据, 缓存 模块将存 储到对应的表中;
S204, 当转换模块接收到第一数据库的数据, 转换模块通过两次转换将数据转换为事
务, 推送至第三方接口连接模块, 其中, 第一次转换为转换模块根据缓存模块中表的结构,
将数据转换成SQL语句, 第二次转换为将SQL语句转换为事务, 其中, 所述一个事务包含一条
或多条SQ L语句;
S205, 第三方接口连接模块 把接收到的事务推送至连接的第二数据库。
4.根据权利要求1所述的一种网络商城后台与第三方接口的数据同步方法, 其特征在
于, 在S300中, 通过 数据同步模块将第二数据库的更新数据传输 至第一数据库的方法为:
S301, 第二数据库接收到第一数据库传输的事务, 执 行该事务, 得到第二数据;
S302, 第二数据库将对第二数据进行 更新的事务传输给第三方接口连接模块;
S303, 当第三方接口连接模块接收到事务时, 第三方接口连接模块为事务设置时间戳
并确定一组事务的事务数量, 所述 一组事务 为包含多个事务的序列;
S304, 第三方接口连接模块将一组事务传输给事务处 理模块;
S305, 当事务处理模块接收到一组事务时, 事务处理模块将根据缓存模块中的表和事
务中的数据对象对一组事务中的事务进行合并, 获得一个事务序列, 其中, 所述一条SQL语
句包含一个或多个数据对象, 所述数据对象表示 一个数据表中的一个记录;权 利 要 求 书 1/3 页
2
CN 115329006 A
2S306, 事务处理模块根据事务序列里每一个事务的影响趋势度对事务进行优先级排
序, 获得优先事务序列, 其中, 所述事务的影响趋势度 表示一个事务成功提交后对未来数据
库中数据对 象变化的影响程度, 即一个事务影响趋势度越大, 该事务成功提交后对未来数
据库变化的影响程度就越大, 所述事务成功提交表示将此事务中的SQL语句对数据的修改
永久的记录 到数据库中;
S307, 事务处 理模块将优先事务序列传输给网络商城连接模块;
S308, 网络商城连接模块将接收到的优先事务序列传输给 连接的第一数据库。
5.根据权利要求4所述的一种网络商城后台与第三方接口的数据同步方法, 其特征在
于, 在S303中, 所述确定一组事务的事务数量的方法为:
(1)记第三方接口连接模块已经传输 到事务处 理模块的事务的组数为r, 其中, r≥0;
(2)若r>0, 则获取第r组事务的事务个数为N1, 否则确定r+1组事务的事务数量为10, 结
束;
(3)获取第k组事务占用内存的大小Sizek, 获取当前网络吞吐量V, 获取第r+1组事务当
前的事务数量n, 获取第r+1组事务的第一个事务到达第三方接口连接模块的时间t1, 获取r
+1组事务传输给事务处 理模块的时间t 2, 其中, k 为每组事务的序号, k≥1, n≥1;
(4)获取第r组事务中所有事务的时间戳的签名时间, 构成数组TSr, 获取第三方接口连
接模块接收到第r组事务中事务的提交结果的时间, 构成数组TRr, 计算第r组事务中第i1个
事务提交所花费的总时间Spendri1=TRri1‑TSri1, 其中, i1为变量, i1∈[1,N1], TRri1为TRr中
第i1个元 素, TSri1为TSr中第i1个元 素;
(5)记tMAX为第三方接口连接模块接收到r+1组事务中任意事务的提交结果的时间与t2
所允许的最大差值, 设置tMAX为0.5或者为[0.1,1]中的任意一值, 其中, 所述事务的提交结
果为该事务在第一数据库返回是否提交成功的结果;
(6)记tr+1
w为该第r+1组事务在第三方接口连接模块的等待时间, tr+1
w=t2-t1;
(7)获取第r+1组事务从第三方接口连接模块传输到第一数据库的传输时间: tr+1
c=
Sizer+1/V;
(8)获取第r组事务在第三方接口连接模块的等待时间tr
w, 获取第r组事务的传输时间
tr
c;
(9)计算第r组事务中平均一个事务的处 理时间
(10)若tr+1
w≥tMAX-2tr+1
c-tr
d或Sizer+1≥V(tMAX-tr+1
w-ntr
d)/2, 则确定第r+1组事务
的事务数量 为N2, 设置N2的值 为n。
6.根据权利要求4所述的一种网络商城后台与第三方接口的数据同步方法, 其特征在
于, 在S305中, 所述根据缓存模块中的表和事务中的数据对象对一组事务中的事务进行合
并的方法为:
(1), 根据缓存 模块中的表对一组事务里每 个事务生成对应的数据对象集 合;
(2), 对每个事务的数据对象集合两两取交集, 若交集为空集, 则对应的两个事务合并
成一个事务, 直至每 个事务的数据对象集 合之间的交集 不为空集。
7.根据权利要求4所述的一种网络商城后台与第三方接口的数据同步方法, 其特征在
于, 在S306中, 所述根据事务序列里每一个事务的影响趋势度对事务进行优先级排序的方
法为:权 利 要 求 书 2/3 页
3
CN 115329006 A
3
专利 一种网络商城后台与第三方接口的数据同步方法及系统
文档预览
中文文档
16 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 SC 于 2024-02-18 22:33:04上传分享