(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210713712.2 (22)申请日 2022.06.22 (71)申请人 北京市商汤科技 开发有限公司 地址 100080 北京市海淀区北四环西路58 号11层1101-1117室 (72)发明人 暴恒　刘诗男　侯军　伊帅　 (74)专利代理 机构 北京林达刘知识产权代理事 务所(普通 合伙) 11277 专利代理师 刘新宇 (51)Int.Cl. G06F 16/583(2019.01) G06V 20/68(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) (54)发明名称 食物图像的检索方法、 装置、 电子设备及存 储介质 (57)摘要 本公开涉及一种食物图像的检索方法、 装 置、 电子设备及存储介质， 所述检索方法包括： 获 取食物图像； 根据所述食物图像与图像库中的预 设图像的匹配结果， 确定初始检索结果； 根据所 述食物图像， 确定所述食物图像对应的至少一个 第二食物类别、 所述食物图像针对每个第二食物 类别的置信度； 根据所述置信度、 第一食物类别 与第二食物类别的对应关系， 对 所述初始检索结 果进行调整， 生成最终检索结果。 本公开实施例 可依据每个食物 图像对应的第二食物类别的置 信度， 对初始检索结果进行重新排序， 使得检索 得到的第一食物类别更加符合食物 图像的实际 食物类别， 进而提高了食物图像的分类精度， 有 利于提高食物图像最终的检索准确率。 权利要求书2页 说明书11页 附图5页 CN 115146099 A 2022.10.04 CN 115146099 A 1.一种食物图像的检索方法， 其特 征在于， 所述检索方法包括： 获取食物图像； 根据所述食物图像与图像库中的预设图像的匹配结果， 确定初始检索结果； 其中， 所述 初始检索结果包括所述食物图像对应的至少一个第一食物类别； 根据所述食物图像， 确定所述食物图像对应的至少一个第二食物类别、 所述食物图像 针对每个第二食物类别的置信度； 根据所述置信度、 第一食物类别与第二食物类别的对应关系， 对所述初始检索结果进 行调整， 生成最终检索结果。 2.根据权利要求1所述的检索方法， 其特征在于， 与第 一食物类别相对应的第 二食物类 别， 包括所述第一食物类别所属的至少一种更高级别类别。 3.如权利要求1或2所述的检索方法， 其特征在于， 所述初始检索结果中的各第一食物 类别按照第一食物类别对应的分数大小排序， 所述分数与所述食物图像与第一食物类别对 应的预设图像的相似度正相关， 所述根据所述置信度、 第一食物类别与第二食物类别的对应关系， 对所述初始检索结 果进行调整， 生成最终检索结果， 包括： 针对任一第一食物类别， 根据与所述任一第一食物类别对应的第二食物类别的置信 度， 更新所述任一第一食物类别对应的分数； 根据更新后的分数的大小， 重新对各第一食物类别进行排序， 生成最终检索结果。 4.如权利要求1至3 中任意一项所述的检索方法， 其特征在于， 所述根据 所述食物图像， 确定所述食物图像对应的至少一个第二食物类别， 包括： 输入所述食物图像至目标模型中， 确定所述食物图像对应于所述目标模型的每个输出 类别的置信度； 根据所述置信度的大小， 在所述输出类别中确定所述食物图像对应的至少一个第 二食 物类别。 5.如权利要求1至4中任意一项所述的检索方法， 其特征在于， 所述根据所述食物图像 与图像库中的预设图像的匹配结果， 确定初始检索结果， 包括： 确定图像库中的每 个预设图像与所述食物图像的相似度； 根据所述相似度的大小， 在所述预设图像中筛 选出至少一个第一图像； 根据第一图像对应的食物类别， 确定所述食物图像对应的至少一个第一食物类别。 6.如权利要求5所述的检索方法， 其特征在于， 所述确定图像库中的每个预设图像与 所 述食物图像的相似度， 包括： 获取图像库中的每 个预设图像； 针对任一预设图像， 确定所述预设图像与 所述食物图像的流形空间相似度以及欧式空 间相似度， 并根据所述任一预设图像对应的流形 空间相似度、 欧式空间相似度， 确定所述任 一预设图像与所述食物图像的相似度。 7.如权利要求1至 6中任意一项所述的检索方法， 其特 征在于， 所述检索方法还 包括： 获取待入库图像、 所述待入库图像对应的第一食物类别； 输入所述待入库图像至目标模型中， 得到所述待入库图像对应的第二食物类别； 将所述待入库图像作为所述预设图像、 所述待入库图像对应的第 一食物类别作为所述权　利　要　求　书 1/2 页 2 CN 115146099 A 2预设图像对应的第一食物类别、 所述待入库图像对应的第二食物类别作为所述预设图像对 应的第二食物类别， 保存至图像库中。 8.如权利要求7所述的检索方法， 其特征在于， 所述输入所述待入库图像至目标模型 中， 得到所述待入库图像对应的第二食物类别， 包括： 输入所述待入库图像至目标模型中， 得到所述待入库图像对应的每个输出类别的第 一 置信度； 将所述第一置信度大于预设置信度的输出类别， 作为所述待入库图像对应的第 二食物 类别。 9.如权利要求1至8中人任意一项所述的检索方法， 其特征在于， 所述获取食物图像包 括： 获取待处 理图像； 确定所述待处理图像中包括食物对象的至少一个食物区域图像， 并作为所述食物图 像。 10.如权利要求9所述的检索方法， 其特征在于， 所述生成最终检索结果之后， 所述检索 方法还包括： 根据所述待处 理图像中所述食物图像的位置， 显示所述 最终检索结果。 11.一种食物图像的检索装置， 其特 征在于， 所述检索装置包括： 食物图像获取模块， 用以获取食物图像； 初始检索结果确定模块， 用以根据所述食物图像与图像库中的预设图像的匹配结果， 确定初始检索结果， 所述初始检索结果包括所述食物图像对应的至少一个第一食物类别； 置信度确定模块， 用以根据所述食物图像， 确定所述食物图像对应的至少一个第二食 物类别、 所述食物图像 针对每个第二食物类别的置信度； 最终检索结果生成模块， 用以根据所述置信度、 第一食物类别与第二食物类别的对应 关系， 对所述初始检索结果进行调整， 生成最终检索结果。 12.一种电子设备， 其特 征在于， 包括： 处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述处理器被配置为调用所述存储器存储的指令， 以执行权利要求1至10 中任意 一项所述的检索方法。 13.一种计算机可读存储介质， 其上存储有计算机程序指令， 其特征在于， 所述计算机 程序指令被处 理器执行时实现权利要求1至10中任意 一项所述的检索方法。权　利　要　求　书 2/2 页 3 CN 115146099 A 3