(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210645531.0 (22)申请日 2022.06.09 (71)申请人 湖南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路1号湖南大 学 (72)发明人 林红利　谭小雨　谢康　 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06V 40/10(2022.01) G06V 40/20(2022.01) (54)发明名称 一种基于投票算法的半监督行人重识别方 法 (57)摘要 本发明涉及计算机视觉技术与行人重识别 领域， 具体涉及一种基于投票算法的半监督行人 重识别方法。 具体表现为提出了一种用于半监督 行人重识别伪标签评估的深层模 型。 主要想法是 使用多个相似或相同的子模型对未标记人物 图 片的伪标签进行集成学习， 并逐渐提高伪标签的 可信度， 以迭代该模型。 本发明通过探索一定层 次的视觉特征和未标记目标的伪标签之间的关 系来增进模型的匹配性、 稳定性， 并为了提升伪 标签的可信度而提出了多投票模型指导的的特 征区分算法和身份挖掘算法。 由于大多数目标对 是跨视图对， 因此开发了跨视图一致的投票机 制， 以实现在不同的摄影机视图之间， 使得伪标 签保持良好状态。 为了实现有效稳定的的投票算 法， 本发明引入了新的损失约束， 以通过熵减的 思想得到稳定的伪标签 。 权利要求书3页 说明书7页 附图1页 CN 114998685 A 2022.09.02 CN 114998685 A 1.一种基于投票算法的半监督行人重识别方法,具体包括有监督部分和无监督部分： 有监督部分使用有标签的训练集和其对应的标签对网络进 行训练， 获得初始的特征提取能 力和正确的优化方向。 然后， 无监督部分包括亲和力矩阵、 亲和力矩阵指导的硬样本挖掘、 投票损失约束、 跨域惩罚四个部分， 可以获得人物数据的软伪标签并逐步改善整个训练过 程中的特 征向量的提取效果。 2.根据权利要求1所述的半监督行人重识别方法有监督部分， 其特征在于： 在这一部分 中网络主要由在ImageNet上预训练的ResNet ‑50网络搭建的主干网络和由一层 全连接层构 成的分类网络组成。 在有监督学习部分， 交叉熵损失函数和三元组损失作为 我们使用的损 失函数， 并由此对网络进行优化。 3.根据权利要求2所述的半监督行人重识别方法有监督部分的三元组损 失函数， 其特 征在于： 在训练 时， 我们采用典型的行人重识别数据构成方式， 随机选择一定人物图片对数 据生成三元组。 因此， 在每次训练批次中， 我们随机选择NP个人物， 每个人物选择NK张图片, 即每个训练批次的样本数量 为N＝NP×NK。 所以三元组损失可描述 为： 其中 代表i个人的第j个锚点图片的特 征， 对于 来说 其中D(·,·)表示两个特征向量的欧氏距离。 代表最硬的正(负)样 本与锚点样 本 之间的欧氏距离之差 。 4.根据权利要求2所述的半监督行人重识别方法有监督部分的分类网络， 其特征在于： 分类网络由一层全连接(FC)层构成， 生成一个置信分数向量。 本发明使用fθ标记从特征到 置信分数的映射， 即： 然后使用Softmax函数对网络的输出进行 归一化处理， 得到样本属于第c类的置信分数 然后使用典型的交叉熵损失函数进行损失计算 其中yi是有标签图片对的标签， 是网络预测的标签。 5.根据权利要求2所述的半监督行人重识别方法有监督部分， 使用有监督学习部分的 损失函数 是 6.根据权利要求1所述的半监督行人重识别方法无监督部分中亲和力矩阵， 其特征在 于： 为了在不同的行人图片间建立人物ID的相关性， 引入了亲和力矩阵用来描述标签与标 签之间的关系。 具体来说， 根据投票算法的结果V∈RC×d计算亲和力矩阵A∈RC×C， 其中的ai,j 元素代表第i张人物图片与第j张人物图片之间的关系权　利　要　求　书 1/3 页 2 CN 114998685 A 2σ 代表亲和力矩阵的均值。 亲和力矩阵中的第i行表示第j张图片和其他图片之间的相 似性。 7.根据权利要求6所述的半监督行人重识别方法无监督部分中亲和力矩阵的投票算 法， 其特征在于： 先使用有监督部 分训练的模型对混杂之后的图片进 行特征提取， 即针对每 一幅无标签图片ui得到其特征Φ( θ； ui)。 接着将提取到的特征输入到γ个小型网络 中进行 分类学习。 在本发明中使用缓存区V＝[v1,v2,…,vC]存储投票结果， 其中vi是第i个人 的分 类向量。 在第t个网络进行投票时， vi被更新为 其中， Nt代表第t个投票网络， Φ( θ； ui)代表特征提取 网络提取的特征。 本 发明将每个网 络进行加和， 确保他们拥有相同的投票权重， 这样获得更加鲁棒和稳定的投票结果。 值得注 意的是大部分身份都是与正确身份无关的， 在计算亲和力 之前应该将其忽略， 否则将引入 过多的噪声 其中vi,j即最后的伪软标签结果， T为投票网络的数目， σ 是投票结果的平均值。 在得到 了投票结果后， 将要 进行亲和力矩阵的计算。 8.根据权利要求1所述的半监督行人重识别方法无监督部分中亲和力矩阵指导的硬样 本挖掘， 其特征在于： 针对某个锚点样本ui来说， 在亲和力 矩阵中分别选择与其最亲和前五 个样本， 即argsort(ai)[:5]， 以及最不亲和的五个样本， 即argsort(ai)[length ‑6:]作为其 正样本up与负样本un。 无监督部分的挖掘 损失可以描述 为 其中D(·,·)表示两个特征向量的欧氏距离。 所以， 可以很好的优化最亲和的 样本、 最不亲和样本与锚点样本之间的特征空间， 使得相同身份的特征向量点比不同身份 的特征向量更加接近。 在此基础上同时注重了分类损失， 将会计算投票结果和分类网络之 间的距离， 以此为依据进一 步优化分类效果 其中C代表分类的数目， vi代表投票网络的投票结果， ci代表分类网络的置信分数， 使用 一维范数衡量他们之间的差异。 9.根据权利要求1所述的半监督行人重识别方法无监督部分中投票约束损失， 其特征 在于： 优化γ个投票网络， 得到更加稳定的投票结果。 小型的投票网络给出了一组one ‑hot 向量r∈RI， 其中的每个元素代表人物数据某一类的概率， 那么对于一个判别性问题来说， 希望每个网络都可以输出相同或者相似的结果， 即每个网络都认为人物属于同一个类别。权　利　要　求　书 2/3 页 3 CN 114998685 A 3