(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210647107.X (22)申请日 2022.06.09 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 宋井宽　张志斌　申恒涛　朱筱苏　 高联丽　 (74)专利代理 机构 成都行之智 信知识产权代理 有限公司 5125 6 专利代理师 温利平 (51)Int.Cl. G06F 16/51(2019.01) G06F 16/53(2019.01) G06F 16/583(2019.01) G06V 10/74(2022.01)G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于语义偏好的快速图像 检索方法 (57)摘要 本发明公开了一种基于语义偏好的快速图 像检索方法， 首先以语义(标签)关联度指导训练 语义中心分配模块， 得到语义中心矩阵V， 然后基 于语义中心矩阵V， 对固定特征提取模块进行训 练， 这样通过依照语义关联度约束语义中心在特 征空间的分布， 并令特征向量朝着对应语义中心 聚集， 从而在语义关联度的指导下充分利用特征 空间， 有效避免了具备不同标签的特征向量的混 淆， 解决了特征分布不合理的情况， 有效避免不 同类特征向量的混淆， 提升检索准确度； 其次， 本 发明为码 字指定了语义偏好， 实现了不可导的量 化损失与有偏的软量化损失之间的折衷， 采用偏 差较低的方案优化码字， 从而提升量化器性能， 以保证执行快速检索时， 量化向量能更好地近似 特征向量， 实现了降低量 化误差的目的。 权利要求书3页 说明书10页 附图2页 CN 114911958 A 2022.08.16 CN 114911958 A 1.一种基于语义偏好的快速图像 检索方法， 其特 征在于， 包括以下步骤： (1)、 训练语义中心分配模块， 获取语义中心 矩阵V 1.1)、 在给定的带标签的训练数据集中， 统计各标签对应的图像集， 计算标签i与标签j 的关联度Si,j： 其中， Ii为标签i对应的图像集合， Ij为标签j对应的图像集合， ||  ||表示求图像集合的 大小； 1.2)、 语义中心分配模块的参数即各标签的语义中心,在初始化时， 语义中心分配模块 用随机值 来初始化各 标签的语义中心， 然后计算每对语义中心的势能Gs(vi,vj)： Gs(vi,vj)＝||cos(vi,vj)‑Si,j||2 其中， vi为标签i对应的语义中心， vj为标签j对应的语义中心， 语义中心为D维实数向量 即 cos(vi,vj)表示求语义中心vi、 vj的余弦值， | | ||2表示求二范数； 1.3)、 计算融合了难样本挖掘技 术的语义中心损失 其中， Nc表示标签的数量； 1.4)、 根据语义中心损失 通过梯度下降法迭代地优化各语义中心， 直到语义中心损 失收敛； 1.5)、 应用归一 化方程， 将优化过后的各语义中心投影至同一超球面： 其中， R为超球面的半径。 1.6)、 将各语义中心逐列拼接起来得到语义中心矩阵V， 其中， 第i列表示标签i对应的 语义中心vi； (2)、 基于语义中心 矩阵V训练特 征提取网络模块 构建由卷积神 经网络层、 用于分类的全连接层FCc以及用于特征 映射的全连接层FCg组 成特征提取网络模块， 然后进行训练： 2.1)、 在训练数据集中， 选取一张图像及其对应的标签， 将选取的图像进行数据增强操 作后输入卷积神经网络层， 得到隐藏特 征向量f； 2.2)、 将隐藏特征向量f分别输入到全连接层FCc和全连接层FCg， 分别得到图像对应的 Nc维实数标签预测向量p即 和D维实数特征向量x即 2.3)、 对标签预测向量p计算交叉熵损失 其中y表示图像 对应的01标签向量， 所述01标签向量为Nc维01组成的列向量， 其中图像对应标签序号位为 1， 其余为0； 2.4)、 图像对应的目标语义向量t将会由其对应的语义中心融合得到， 即：权　利　要　求　书 1/3 页 2 CN 114911958 A 22.5)、 基于目标语义向量t， 计算聚集损失 其中， 第一项表示特征提取模块输出的特征向量x 同目标语义向量t的余弦相似度， 第 二项用于通过L2范 数约束特 征向量x的模长， 而 λmag是平衡系数； 2.6)、 同时考虑分类损失 和聚集损失 得到用于优化特 征提取模块的损失 其中， λC是用于平衡分类损失 和聚集损失 的影响的超参数； 2.7)、 根据损失 通过梯度下降法， 优化特征提取网络模块参数， 不断重复步骤 2.1)到步骤2.7)， 直至损失 收敛， 然后固定特征提取模块的参数， 完成特征提取网络 模块的训练； (3)、 使用特 征提取网络模块得到特 征向量并训练语义偏好 量化模块 3.1)、 在训练数据集中， 选取一张图像及其对应的标签， 将选取的图像进行数据增强操 作后输入训练好的特征提取网络模块， 得到特征向量 并按照维度将特征向量x均 匀划分为M个特征子向量 其中M为语义偏好量化模块中量化器 的数量； 3.2)、 语义偏好 量化模块中的第m个量 化器的码字集 合Cm为 K为码字集合Cm中码字的数量， 为每个码字Cm,k设定各自 的语义 偏好Pm,k， 这样， 码字集合Cm对应的语义偏好集合Pm为{Pm,k∈N*|1≤k≤K}， 其中， N*表示自然 数， Pm,k∈[1,Nc]， 令： Pm,k＝k％Nc+1 其中％表示取余数； 3.3)、 构建语义偏好 量化模块的整体损失 为： 其中： 表示图像对应的01标签向量的Pm,k位； 其中： 是关于特征子向量xm和码字集CSP(m,y)的损失函数， 其公 式为： 其中， λdiv为平衡系数， 而 为量化损失， 其计算公式为： 权　利　要　求　书 2/3 页 3 CN 114911958 A 3