standard library
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211394968.8 (22)申请日 2022.11.09 (71)申请人 以萨技术股份有限公司 地址 266000 山东省青岛市黄岛区灵山 卫 街道办事处灵岩路7 7号 (72)发明人 程仁豪 李凡平 石柱国  (74)专利代理 机构 北京锺维联合知识产权代理 有限公司 1 1579 专利代理师 安娜 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/2455(2019.01) G06F 16/9537(2019.01) G06F 9/50(2006.01) (54)发明名称 一种基于milvus数据库的数据处理方法、 电 子设备及存 储介质 (57)摘要 本发明提供了一种基于milvus数据库的数 据处理方法、 电子设备及存储介质, 涉及数据处 理领域, 该方法包括: 获取用户输入的目标逻辑 数据表对应的待处理数据; 若待处理数据不包括 时间信息, 则获取客户端的当前时间, 确定为第 一时间t0; 若待处理数据中包括时间信息, 则确 定为第一时间t0; 获取时间信息集Q; 若t0∉Qm, 则 建立第一物理数据表, 并将待处理数据存储至第 一物理数据表; 若t0∈Qm, 则将待处理数据存储 至对应目标物理数据表中。 本发 明的数据处理方 法, 当目标逻辑数据表增加了新对应的物理数据 表后, 可仅将新增的物理数据表加载至内存中, 无需将其他已加载进内存的目标物理数据表从 内存中释放再重新加载。 权利要求书2页 说明书8页 附图2页 CN 115455010 A 2022.12.09 CN 115455010 A 1.一种基于milvus数据库的数据处理方法, 其特征在于, 应用于客户端, 所述客户端连 接有milvus数据库, 所述客户端中包括若干逻辑数据表, 每个所述逻辑数据表对应有若干 个物理数据表, 每个所述物理数据表存储在所述milvus数据库中, 当所述逻辑数据表被打 开时, 所述逻辑数据 表获取对应的所有物理数据 表中的数据, 并在所述逻辑数据 表中显示, 每一所述物理数据表均具有对应的时间范围, 且同一逻辑数据表对应的多个物理数据 表之 间对应的时间范围互不重合; 每个所述物理数据表中的数据均包括时间信息, 且每一数据 的时间信息均属于其所在物理数据表的时间范围之内; 所述方法包括如下步骤: S100、 获取用户输入的目标逻辑数据表对应的待处理集合, 所述待处理集合中包括若 干个待处理数据; 所述 目标逻辑数据表为若干逻辑数据表中任意一个, 所述 目标逻辑数据 表对应的物理数据表为目标物理数据表; S200、 判断所述待处理数据中是否包括时间信息; 若所述待处理数据中不包括时间信 息, 则执行步骤S 300; 若所述待处理数据中包括时间信息, 则将所述待处理数据中的时间信 息确定为第一时间t0, 并执行步骤S40 0; S300、 获取客户端的当前时间, 并将所述当前时间确定为第一时间t0, 并执行步骤S40 0; S400、 获取每一所述目标物理数据表对应的时间范围, 得到时间信息集Q=(Q1,..., Qm,...,Qn), Qm=[Tm1,Tm2]; 其中, m=1, ...,n; n为所述目标物理数据表的数量; Qm为第m个目标 物理数据表对应的时间范围; Tm1为第m个目标物理数据表的数据存储起始设定时间点; Tm2 为第m个目标物理数据表的数据存 储截止设定时间点; Tm1<Tm2; S410、 若t0∉Qm, 则执行步骤S5 00; 若t0∈Qm, 则执行步骤S6 00; S500、 在所述milvus数据库中建立第一物理数据表, 并建立第一物理数据表与所述目 标逻辑数据表之间的关联关系, 并执 行步骤S510; S510、 将所述待处 理数据存 储至第一物理数据表中; S600、 将所述待处 理数据存 储至第m个目标物理数据表中。 2.根据权利要求1所述的方法, 其特征在于, 所述客户端内存储有查询参数数据表, 所 述查询参数数据表中包括若干候选查询参数, 以及每一候选查询参数对应的数据存储量; 所述候选查询参数用于在所述mi lvus数据库中查询数据; 在所述步骤S600之后, 所述方法还 包括: S710、 获取用户输入的目标逻辑数据表对应的原始查询信息, 所述原始查询信息包括 查询条件和查询时间段T0=[S1,S2]; S1为查询时间段T0的起始设定 时间点; S2为查询时间段 T0的截止设定时间点; S1<S2; S720、 若T0与Qm有交集, 则将Qm对应的目标物理数据表确定为待查询物理数据表; S730、 获取每一所述待查询物理数据表的当前 数据存储量; S740、 根据所述查询参数数据表, 获取每一所述待查询物理数据表的当前数据存储量 对应的目标查询参数; S750、 根据查询条件、 查询时间段T0和每一目标查询参数, 生成目标查询信息; S760、 将所述目标查询信息输入所述milvus数据库, 以得到所述milvus数据库返回的 查询结果。 3.根据权利要求2所述的方法, 其特征在于, 客户端被配置为每隔设定时间, 获取所有权 利 要 求 书 1/2 页 2 CN 115455010 A 2所述目标物理数据表的当前 数据存储量, 并存 储于数据量列表中; 所述方法中S73 0还包括: S731、 根据所述数据量列表, 获取每一所述待查询物理数据表的当前 数据存储量。 4.根据权利要求1所述的方法, 其特 征在于, 所述 步骤S100还包括: S110、 对所述待 处理集合中的数据进行数据清理, 将存在有空字段的数据删除, 将不存 在空字段的数据确定为待处 理数据。 5.根据权利要求1所述的方法, 其特征在于, 所述客户端的当前时间为客户端的内存所 在中央处 理器系统的当前时间。 6.根据权利要求1所述的方法, 其特 征在于, 在所述 步骤S510之后, 所述方法还 包括: S520、 控制所述mi lvus数据库将所述第一物理数据表加载至内存中。 7.根据权利要求1所述的方法, 其特征在于, 所述第一时间t0通过时间确 定函数转换为 当前年份的周次数和距离当前时间的天数, 所述时间确定函数为 ISOWeek函数。 8.根据权利要求7所述的方法, 其特征在于, 所述第一物理数据表的名称为第一时间t0 转换的当前年份的周次数与客户端名称的组合。 9.一种非瞬时性计算机可读存储介质, 所述存储介质中存储有至少一条指令或至少一 段程序, 所述至少一条指 令或所述至少一段程序由处理器加载并执行以实现如权利要求 1‑ 8中任意一项的所述方法。 10.一种电子设备, 其特征在于, 包括处理器和权利要求9中所述的非瞬时性计算机可 读存储介质。权 利 要 求 书 2/2 页 3 CN 115455010 A 3

PDF文档 专利 一种基于milvus数据库的数据处理方法、电子设备及存储介质

文档预览
中文文档 13 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共13页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种基于milvus数据库的数据处理方法、电子设备及存储介质 第 1 页 专利 一种基于milvus数据库的数据处理方法、电子设备及存储介质 第 2 页 专利 一种基于milvus数据库的数据处理方法、电子设备及存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-18 22:33:02上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。