(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210996716.6 (22)申请日 2022.08.19 (71)申请人 特赞 （上海） 信息科技有限公司 地址 201204 上海市浦东 新区中国(上海) 自由贸易试验区张衡路20 0号2幢3层 (72)发明人 范凌　梁天明　 (74)专利代理 机构 北京知果之信知识产权代理 有限公司 1 1541 专利代理师 苏利 (51)Int.Cl. G06F 16/583(2019.01) G06V 10/74(2022.01) G06V 10/774(2022.01) (54)发明名称 自适应域的图像 检索方法及装置 (57)摘要 本公开提供一种自适应域的图像检索方法 及装置。 所述方法包括： 通过主体检测模型对检 索图像进行检测， 获得检测主体图像以及检测置 信度； 通过语义转换模型 以及类目语义映射表， 对检测主体图像进行筛选， 获得目标检测主体图 像以及目标检测置信度； 通过特征提取模型， 获 得目标检测主体图像的第一特征信息； 通过第一 特征信息， 在特征库中进行检索， 获得检索特征 以及检索相似度； 根据目标检测置信度、 检索相 似度和检索特征， 获得检索结果。 根据本公开， 能 够在检索时， 通过语义转换模型和类目语义映射 表进行筛选， 以过滤掉与类目语义映射表无关的 检测主体图像， 从而 减少检索资源的浪费。 权利要求书2页 说明书11页 附图5页 CN 115269904 A 2022.11.01 CN 115269904 A 1.一种自适应域的图像 检索方法， 其特 征在于， 包括： 通过主体检测模型对检索图像进行检测， 获得多个检测主体图像以及所述多个检测主 体图像的检测置信度； 通过语义转换模型以及预设的类目语义映射表， 对所述检测主体图像以及对应的检测 置信度进行筛 选， 获得目标检测主体图像以及对应的目标检测置信度； 通过特征提取模型， 获得 所述目标检测主体图像的第一特 征信息； 通过所述第一特征信息， 在预设的特征库中进行检索， 获得与所述第一特征信息匹配 的检索特 征以及检索相似度； 根据所述目标检测置信度、 所述检索相似度和所述检索特征， 获得与所述检索图像对 应的检索结果， 其中， 所述检索结果包括至少一个输出图像， 所述输出图像与所述检索特征 相关联。 2.根据权利要求1所述的方法， 其特征在于， 通过语义转换模型以及预设的类目语义映 射表， 对所述检测主体图像以及对应的检测置信度进行筛选， 获得目标检测主体图像以及 对应的目标检测置信度， 包括： 通过所述语义转换模型的图像编码器对所述检测主体图像进行特征提取， 获得所述检 测主体图像的图像特 征表达信息； 通过所述语义转换模型的文本编码器对所述类目语义映射表中的多个类目语义信息 进行特征提取， 获得 所述类目语义信息的语义特 征表达信息； 分别确定各检测主体图像的图像特征表达信 息， 与所述各类目语义信 息的语义特征表 达信息之间的特 征相似度； 通过所述特征相似度， 对所述检测主体图像进行筛选， 获得所述目标检测主体图像以 及对应的目标检测置信度。 3.根据权利要求1所述的方法， 其特征在于， 根据所述目标检测置信度、 所述检索相似 度和所述检索特 征， 获得与所述检索图像对应的检索结果， 包括： 对所述目标检测置信度和所述检索相似度进行加权求和， 获得各个目标检测主体图像 的加权和； 对所述加权和进行排序， 获得加权和序列； 根据所述检索特 征， 获得相关联的输出图像； 对所述输出图像进行去重； 按照所述加权和序列， 输出 所述输出图像， 获得 所述检索结果。 4.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 通过所述主体 检测模型对底库图像进行检测， 获得多个输出图像； 通过所述特征提取模型， 获得 所述多个输出图像的第二特 征信息； 根据所述第二特 征信息， 建立所述预设的特 征库。 5.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 在dam素材库中， 筛 选素材白底图； 在所述素材白底图中， 获取素材图像块， 其中， 所述素材图像块包括所述素材白底图中 对素材在所在区域进行框选的矩形框截取出 的图像块， 所述图像块中， 素材之外的背景区 域为透明；权　利　要　求　书 1/2 页 2 CN 115269904 A 2将所述素材图像块粘贴至通用图像中的背景区域， 获得训练图像， 所述通用图像中包 括至少一个目标对象； 通过训练图像中素材及所述目标对象的位置标注， 对所述主体检测模型进行训练， 获 得训练后的主体 检测模型； 通过训练图像中素材及所述目标对象的类别标注， 对所述特征提取模型进行训练， 获 得训练后的特 征提取模型。 6.根据权利要求5所述的方法， 其特 征在于， 在dam素 材库中， 筛 选素材白底图， 包括： 在所述dam素材库中的多个素材图像中， 筛选出白色像素占比高于第一阈值的第一图 像； 在所述第一图像中， 筛选出图像四周边缘的预设范围内白色像素占比高于第 二阈值的 所述素材白底图。 7.根据权利要求5所述的方法， 其特征在于， 在所述素材白底图中， 获取素材图像块， 包 括： 通过opencv  findcounter工具， 确定对所述素 材进行框 选的矩形框； 去除矩形框 外的背景区域， 获得第一图像块； 将所述第一图像块中的背景区域设置为透明， 获得 所述素材图像块。 8.一种自适应域的图像 检索装置， 其特 征在于， 包括： 检测模块， 用于通过主体检测模型对检索图像进行检测， 获得多个检测主体图像以及 所述多个 检测主体图像的检测置信度； 筛选模块， 用于通过语义转换模型以及预设的类目语义映射表， 对所述检测主体图像 以及对应的检测置信度进行筛 选， 获得目标检测主体图像以及对应的目标检测置信度； 提取模块， 用于通过 特征提取模型， 获得 所述目标检测主体图像的第一特 征信息； 检索模块， 用于通过所述第 一特征信 息， 在预设的特征库中进行检索， 获得与所述第一 特征信息匹配的检索特 征以及检索相似度； 结果模块， 用于根据 所述目标检测置信度、 所述检索相似度和所述检索特征， 获得与所 述检索图像对应的检索结果， 其中， 所述检索结果包括至少一个输出图像， 所述输出图像与 所述检索特 征相关联。 9.一种自适应域的图像 检索设备， 其特 征在于， 包括： 处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述处理器被配置为调用所述存储器存储的指令， 以执行权利要求1至7中任意 一项所述的方法。 10.一种计算机可读存储介质， 其上存储有计算机程序指令， 其特征在于， 所述计算机 程序指令被处 理器执行时实现权利要求1至7中任意 一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115269904 A 3