(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211394968.8
(22)申请日 2022.11.09
(71)申请人 以萨技术股份有限公司
地址 266000 山东省青岛市黄岛区灵山 卫
街道办事处灵岩路7 7号
(72)发明人 程仁豪 李凡平 石柱国
(74)专利代理 机构 北京锺维联合知识产权代理
有限公司 1 1579
专利代理师 安娜
(51)Int.Cl.
G06F 16/22(2019.01)
G06F 16/2455(2019.01)
G06F 16/9537(2019.01)
G06F 9/50(2006.01)
(54)发明名称
一种基于milvus数据库的数据处理方法、 电
子设备及存 储介质
(57)摘要
本发明提供了一种基于milvus数据库的数
据处理方法、 电子设备及存储介质, 涉及数据处
理领域, 该方法包括: 获取用户输入的目标逻辑
数据表对应的待处理数据; 若待处理数据不包括
时间信息, 则获取客户端的当前时间, 确定为第
一时间t0; 若待处理数据中包括时间信息, 则确
定为第一时间t0; 获取时间信息集Q; 若t0∉Qm, 则
建立第一物理数据表, 并将待处理数据存储至第
一物理数据表; 若t0∈Qm, 则将待处理数据存储
至对应目标物理数据表中。 本发 明的数据处理方
法, 当目标逻辑数据表增加了新对应的物理数据
表后, 可仅将新增的物理数据表加载至内存中,
无需将其他已加载进内存的目标物理数据表从
内存中释放再重新加载。
权利要求书2页 说明书8页 附图2页
CN 115455010 A
2022.12.09
CN 115455010 A
1.一种基于milvus数据库的数据处理方法, 其特征在于, 应用于客户端, 所述客户端连
接有milvus数据库, 所述客户端中包括若干逻辑数据表, 每个所述逻辑数据表对应有若干
个物理数据表, 每个所述物理数据表存储在所述milvus数据库中, 当所述逻辑数据表被打
开时, 所述逻辑数据 表获取对应的所有物理数据 表中的数据, 并在所述逻辑数据 表中显示,
每一所述物理数据表均具有对应的时间范围, 且同一逻辑数据表对应的多个物理数据 表之
间对应的时间范围互不重合; 每个所述物理数据表中的数据均包括时间信息, 且每一数据
的时间信息均属于其所在物理数据表的时间范围之内;
所述方法包括如下步骤:
S100、 获取用户输入的目标逻辑数据表对应的待处理集合, 所述待处理集合中包括若
干个待处理数据; 所述 目标逻辑数据表为若干逻辑数据表中任意一个, 所述 目标逻辑数据
表对应的物理数据表为目标物理数据表;
S200、 判断所述待处理数据中是否包括时间信息; 若所述待处理数据中不包括时间信
息, 则执行步骤S 300; 若所述待处理数据中包括时间信息, 则将所述待处理数据中的时间信
息确定为第一时间t0, 并执行步骤S40 0;
S300、 获取客户端的当前时间, 并将所述当前时间确定为第一时间t0, 并执行步骤S40 0;
S400、 获取每一所述目标物理数据表对应的时间范围, 得到时间信息集Q=(Q1,...,
Qm,...,Qn), Qm=[Tm1,Tm2]; 其中, m=1, ...,n; n为所述目标物理数据表的数量; Qm为第m个目标
物理数据表对应的时间范围; Tm1为第m个目标物理数据表的数据存储起始设定时间点; Tm2
为第m个目标物理数据表的数据存 储截止设定时间点; Tm1<Tm2;
S410、 若t0∉Qm, 则执行步骤S5 00; 若t0∈Qm, 则执行步骤S6 00;
S500、 在所述milvus数据库中建立第一物理数据表, 并建立第一物理数据表与所述目
标逻辑数据表之间的关联关系, 并执 行步骤S510;
S510、 将所述待处 理数据存 储至第一物理数据表中;
S600、 将所述待处 理数据存 储至第m个目标物理数据表中。
2.根据权利要求1所述的方法, 其特征在于, 所述客户端内存储有查询参数数据表, 所
述查询参数数据表中包括若干候选查询参数, 以及每一候选查询参数对应的数据存储量;
所述候选查询参数用于在所述mi lvus数据库中查询数据;
在所述步骤S600之后, 所述方法还 包括:
S710、 获取用户输入的目标逻辑数据表对应的原始查询信息, 所述原始查询信息包括
查询条件和查询时间段T0=[S1,S2]; S1为查询时间段T0的起始设定 时间点; S2为查询时间段
T0的截止设定时间点; S1<S2;
S720、 若T0与Qm有交集, 则将Qm对应的目标物理数据表确定为待查询物理数据表;
S730、 获取每一所述待查询物理数据表的当前 数据存储量;
S740、 根据所述查询参数数据表, 获取每一所述待查询物理数据表的当前数据存储量
对应的目标查询参数;
S750、 根据查询条件、 查询时间段T0和每一目标查询参数, 生成目标查询信息;
S760、 将所述目标查询信息输入所述milvus数据库, 以得到所述milvus数据库返回的
查询结果。
3.根据权利要求2所述的方法, 其特征在于, 客户端被配置为每隔设定时间, 获取所有权 利 要 求 书 1/2 页
2
CN 115455010 A
2所述目标物理数据表的当前 数据存储量, 并存 储于数据量列表中;
所述方法中S73 0还包括:
S731、 根据所述数据量列表, 获取每一所述待查询物理数据表的当前 数据存储量。
4.根据权利要求1所述的方法, 其特 征在于, 所述 步骤S100还包括:
S110、 对所述待 处理集合中的数据进行数据清理, 将存在有空字段的数据删除, 将不存
在空字段的数据确定为待处 理数据。
5.根据权利要求1所述的方法, 其特征在于, 所述客户端的当前时间为客户端的内存所
在中央处 理器系统的当前时间。
6.根据权利要求1所述的方法, 其特 征在于, 在所述 步骤S510之后, 所述方法还 包括:
S520、 控制所述mi lvus数据库将所述第一物理数据表加载至内存中。
7.根据权利要求1所述的方法, 其特征在于, 所述第一时间t0通过时间确 定函数转换为
当前年份的周次数和距离当前时间的天数, 所述时间确定函数为 ISOWeek函数。
8.根据权利要求7所述的方法, 其特征在于, 所述第一物理数据表的名称为第一时间t0
转换的当前年份的周次数与客户端名称的组合。
9.一种非瞬时性计算机可读存储介质, 所述存储介质中存储有至少一条指令或至少一
段程序, 所述至少一条指 令或所述至少一段程序由处理器加载并执行以实现如权利要求 1‑
8中任意一项的所述方法。
10.一种电子设备, 其特征在于, 包括处理器和权利要求9中所述的非瞬时性计算机可
读存储介质。权 利 要 求 书 2/2 页
3
CN 115455010 A
3
专利 一种基于milvus数据库的数据处理方法、电子设备及存储介质
文档预览
中文文档
13 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
温馨提示:本文档共13页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 SC 于 2024-02-18 22:33:02上传分享