(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211122560.5 (22)申请日 2022.09.15 (71)申请人 北京爱笔 科技有限公司 地址 100094 北京市海淀区北清路81号 二 区1号楼12层1202室、 13层整层 (72)发明人 何嘉斌　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 张志梅 (51)Int.Cl. G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/75(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于重排序的特征提取、 特征提取模 型的训 练方法和装置 (57)摘要 本申请公开了基于重排序的特征提取、 特征 提取模型的训练方法和装置， 通过将查询图像的 第一特征向量、 每个候选图像的第一特征向量和 第一邻接矩 阵输入特征提取模型中的图卷积神 经网络进行特征变换， 获得所述查询图像的第二 特征向量和所述每个候选图像的第二特征向量； 根据所述每个候选图像的第二特征向量与所述 查询图像的第二特征向量之间的相似度， 从多个 候选图像中确定与所述查询图像的语义匹配的 目标图像。 由于， 本申请中在考虑了多个候选图 像的第一特征向量与查询图像的第一特征向量 之间的相似度的同时， 还考虑了多个候选图像的 第一特征向量之间的相似度， 由此进一步提高了 图像特征提取的准确率， 增 加了可靠性。 权利要求书3页 说明书11页 附图3页 CN 115375911 A 2022.11.22 CN 115375911 A 1.一种基于 重排序的特 征提取方法， 其特 征在于， 包括： 将查询图像和多个候选图像输入特征提取模型中的特征提取网络进行特征提取， 获得 所述查询图像的第一特 征向量和每 个候选图像的第一特 征向量； 根据所述查询图像的第一特征向量和所述每个候选 图像的第一特征向量之间的相似 度， 确定所述查询图像的第一特征向量和所述每个候选图像的第一特征向量对应的第一邻 接矩阵； 将所述查询图像的第 一特征向量、 所述每个候选图像的第 一特征向量和所述第 一邻接 矩阵输入所述特征提取模型中的图卷积神经网络进行特征变换， 获得所述查询图像的第二 特征向量和所述每 个候选图像的第二特 征向量； 根据所述每个候选图像的第二特征向量与所述查询图像的第二特征向量之间的相似 度， 从多个候选图像中确定与所述 查询图像的语义匹配的目标图像。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述每个候选图像的第 二特征向 量与所述查询图像的第二特征向量之 间的相似度， 从多个候选图像中确定与所述查询图像 的语义匹配的目标图像， 包括： 根据所述每个候选图像的第二特征向量与所述查询图像的第二特征向量之间的相似 度， 由高到低对所述多个候选图像进行排序获得排序结果； 选取所述排序结果中前k个候选图像确定为所述目标图像。 3.一种特 征提取模型的训练方法， 其特 征在于， 包括： 将基准图像、 正样本 图像和负样本 图像输入特征提取网络进行特征提取， 获得所述基 准图像的第三特征向量、 所述正样本图像的第三特征向量和所述负样本图像的第三特征向 量； 根据所述基准图像的第 三特征向量、 所述正样本图像的第 三特征向量和所述负样本图 像的第三特 征向量和第一损失函数， 获得第一损失； 根据所述基准图像的第 三特征向量、 所述正样本图像的第 三特征向量和所述负样本图 像的第三特征向量之间的相似度， 确定所述基准图像的第三特征向量、 所述正样本图像的 第三特征向量和所述负 样本图像的第三特 征向量对应的第二邻接矩阵； 将所述基准图像的第 三特征向量、 所述正样本图像的第 三特征向量和所述负样本图像 的第三特征向量和所述第二邻接矩阵输入图卷积神经网络进 行特征变换， 获得所述基准图 像的第四特 征向量、 所述 正样本图像的第四特 征向量和所述负 样本图像的第四特 征向量； 根据所述基准图像的第 四特征向量、 所述正样本 图像的第 四特征向量、 所述负样本 图 像的第四特 征向量和第二损失函数， 获得第二损失； 根据所述第一损失和所述第二损失， 确定目标训练损失； 根据所述目标训练损失， 训练所述特 征提取网络的网络参数； 将训练完成的所述特 征提取网络确定为所述特 征提取模型。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述基准图像的第 四特征向量、 所述正样本图像的第四特征向量、 所述负样本图像的第四特征向量和第二损失函数， 获得 第二损失， 包括： 根据所述正样本图像的第四特征向量与 所述基准图像的第四特征向量之间的相似度， 以及所述负样本图像的第四特征向量与所述基准图像的第四特征向量之间的相似度， 对所权　利　要　求　书 1/3 页 2 CN 115375911 A 2述正样本图像的第四特征向量和所述负样本图像的第四特征向量进行重排序， 获得重排序 结果； 根据所述重排序结果和所述第二损失函数， 获得 所述第二损失。 5.根据权利要求4所述的方法， 其特征在于， 所述根据所述重排序 结果和所述第 二损失 函数， 获得第二损失， 包括： 根据所述重排序结果、 所述正样本 图像的数量和所述负样本 图像的数量， 计算平均精 度值； 根据所述平均精度值输入所述第二损失函数， 获得 所述第二损失。 6.根据权利要求3所述的方法， 其特征在于， 所述根据所述基准图像的第三特征向量、 所述正样本图像的第三特征向量和所述负样本图像的第三特征向量和 第一损失函数， 获得 第一损失， 包括： 根据所述正样本图像的第三特征向量与所述基准图像的第三特征向量的正相似度以 及所述正样本图像的第三特征向量与所述基准图像的第三特征向量的负相似度， 获得所述 正相似度与所述负相似度的差值； 将所述差值、 所述正样本图像的数量与所述负样本图像的数量输入所述第一损失函 数， 获得所述第一损失。 7.根据权利要求3所述的方法， 其特征在于， 所述根据所述第一损 失和所述第二损 失， 确定目标训练损失， 包括： 根据调节系数与所述第二损失的乘积， 获得调节后第二损失； 根据所述第一损失和所述调节后第二损失， 确定所述目标训练损失。 8.一种基于 重排序的特 征提取装置， 其特 征在于， 包括： 第一获得模块、 第一确定模块、 第二获得模块和第二确定模块； 所述第一获得模块， 用于将查询图像和多个候选图像输入特征提取模型中的特征提取 网络进行 特征提取， 获得 所述查询图像的第一特 征向量和每 个候选图像的第一特 征向量； 所述第一确定模块， 用于根据 所述查询图像的第 一特征向量和所述每个候选图像的第 一特征向量之 间的相似度， 确定所述查询图像的第一特征向量和所述每个候选图像的第一 特征向量对应的第一邻接矩阵； 所述第二获得模块， 用于将所述查询图像的第一特征向量、 所述每个候选 图像的第一 特征向量和所述第一邻接矩阵输入所述特征提取模型中的图卷积神经网络进 行特征变换， 获得所述查询图像的第二特 征向量和所述每 个候选图像的第二特 征向量； 所述第二确定模块， 用于根据 所述每个候选图像的第 二特征向量与 所述查询图像的第 二特征向量之间的相似度， 从多个候选图像中确定与所述查询图像的语义匹配的目标图 像。 9.一种特征提取模型的训练装置， 其特征在于， 包括： 第 三获得模块、 第四获得模块、 第 三确定模块、 第五 获得模块、 第六获得模块、 第四确定模块、 训练模块以及第五确定模块； 所述第三获得模块， 用于将基准图像、 正样本 图像和负样本 图像输入特征提取网络进 行特征提取， 获得所述基准图像的第三特征向量、 所述正样本图像的第三特征向量和所述 负样本图像的第三特 征向量； 所述第三获得模块， 用于根据所述基准图像的第三特征向量、 所述正样本 图像的第三权　利　要　求　书 2/3 页 3 CN 115375911 A 3