(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210799577.8 (22)申请日 2022.07.06 (71)申请人 天津师范大学 地址 300387 天津市西青区 宾水西道393号 (72)发明人 张重　贺迪　刘爽　 (74)专利代理 机构 北京中政联科专利代理事务 所(普通合伙) 11489 专利代理师 陈超 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06F 16/583(2019.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于异构伪标签学习的跨域行人检索 方法 (57)摘要 本发明公开了一种基于异构伪标签学习的 跨域行人检索方法。 该方法包括： 构建均值教师 和学生网络模 型， 将源域行人图像和目标域行人 图像分别输入， 得到源域行人特征、 第一目标域 行人特征和第二目标域行人特征； 计算源域行人 图像中每个身份行人对应的中心特征， 将中心特 征和第二目标域行人特征存入内存库模块； 基于 第一目标域行人特征获取细颗粒度伪标签和粗 颗粒度伪标签， 利用第二目标域行人特征和内存 库模块存储的特征得到实例伪标签， 对实例伪标 签进行标签一致性转换， 得到第一实例伪标签和 第二实例伪标签； 计算总损失值， 并对学生网络 和均值教师网络进行优化； 利用最优均值教师网 络模型得到跨域行人检索结果。 本发 明提高了跨 域行人检索的正确率。 权利要求书3页 说明书8页 附图1页 CN 114937289 A 2022.08.23 CN 114937289 A 1.一种基于异构伪标签学习的跨域行人检索方法， 其特征在于， 所述方法包括以下步 骤： 步骤S1， 利用预训练深度 学习模型构建均值教师和学生网络模型， 其中， 所述均值教师 和学生网络模型包括均值教师网络和学生网络， 将组成训练集的源域行人图像和目标域行 人图像分别输入至所述均值教师和学生网络模型中， 得到所述均值教师网络提取的源域行 人特征fs和第一目标域行 人特征ft， 以及所述学生网络提取的第二目标域行 人特征gt； 步骤S2， 构建内存库模 块， 计算源 域行人图像中每个身份 行人对应的源域行人特征fs的 均值， 以表示该身份行人 的中心特征， 将该中心特征通过键值对形式的更新方式存入所述 内存库模块， 将第二目标域行 人特征gt按照队列形式的更新方式存 入所述内存库模块； 步骤S3， 构建伪 标签生成模块， 基于所述第一目标域行人特征ft， 利用聚类算法获取细 颗粒度伪标签和粗颗粒度伪标签， 利用所述第二目标域行人特征gt和内存库模块存储的特 征进行相似性度量， 得到实例 伪标签， 并对于所述实例 伪标签进 行标签一致性转换， 得到第 一实例伪标签和第二实例伪标签； 步骤S4， 构建损失计算模块， 基于细颗粒度伪标签、 粗颗粒度伪标签、 实例伪标签、 第一 实例伪标签和第二实例伪标签， 利用所述损失计算模块计算总损失值， 利用所述总损失值 对所述学生网络进行参数优化， 通过学生网络参数的指数移动平均算法对 所述均值教师网 络进行参数 更新， 得到最优均值教师网络模型； 步骤S5， 利用所述最优均值教师网络模型提取目标域查询图像和行人库图像的最终特 征， 并利用余弦距离计算得到所述 目标域查询图像和行人库图像之间的相似度， 得到跨域 行人检索的结果。 2.根据权利要求1所述的方法， 其特 征在于， 所述 步骤S1包括以下步骤： 步骤S11， 确定预训练深度学习模型， 并对其进行参数初始化， 利用源域行人图像对于 所述预训练深度学习模型再进 行一次预训练， 基于得到的深度学习模型分别构建均值教师 网络和学生网络， 并进行参数初始化， 得到均值教师网络和学生网络模型； 步骤S12， 对训练集中的所述源域行 人图像和目标域行 人图像进行 预处理； 步骤S13， 将预处理后得到的源域行人图像和目标域行人图像输入至所述均值教师网 络和学生网络模型中， 提取得到相 应的行人特征并进行平均池化， 得到所述均值教师网络 提取的源域行人特征fs和第一目标域行人特征ft， 以及所述学生网络提取的第二目标域行 人特征gt。 3.根据权利要求1所述的方法， 其特 征在于， 所述 步骤S2包括以下步骤： 步骤S21， 计算源域行人图像中每个身份行人对应的源域行人特征fs的均值， 以表示该 身份行人的中心特 征Cs； 步骤S22， 确定 所述源域行人图像中每个身份 行人的中心特征Cs和第二目标域行人特征 gt在所述内存库模块的更新方式分别为键值对形式和队列形式。 4.根据权利要求3所述的方法， 其特征在于， 利用下式计算所述源域行人图像中每个身 份行人的中心特 征Cs： 权　利　要　求　书 1/3 页 2 CN 114937289 A 2其中， n是源域行人图像中每个身份行人所包含的行人图像的数量， fis表示源域行人图 像中每个身份行 人所包含的第i个行 人图像的源域行 人特征。 5.根据权利要求1所述的方法， 其特 征在于， 所述 步骤S3包括以下步骤： 步骤S31， 将得到的第一目标域行 人特征ft利用DBSCAN进行聚类， 得到细颗粒度伪标签； 步骤S32， 将得到的第一目标域行人特征ft利用K‑means进行聚类， 得到包含较少噪声的 粗颗粒度伪标签， 其聚类中心的数量少于细颗粒度伪标签中的聚类中心数量； 步骤S33， 利用所述第二目标域行人特征gt和内存库模块存储的特征进行相似性度量， 得到将每一个目标域行 人图像看成一类的实例伪标签； 步骤S34， 将步骤S33得到的实例伪标签分别向细颗粒度伪标签和粗颗粒度伪标签进行 标签一致性转换， 得到第一实例伪标签和第二实例伪标签。 6.根据权利要求5所述的方法， 其特 征在于， 利用下式计算所述实例伪标签： 其中， 表示第k个实例伪标签， Mk表示内存库模块中第k个槽的特征， Mj表示内存库模 块中第j个槽的特征， k， j＝1,2, …,K3， K3是内存库模块中所有特征的数量， T表示转置操作， 表示第i个目标域行人图像的第二目标域行人特征， i＝ 1,2,…,nt， nt是目标域行人图像 的数量。 7.根据权利要求5所述的方法， 其特征在于， 利用下式对实例伪标签进行标签转换， 得 到第一实例伪标签 和第二实例伪标签 其中， 表示第k个实例伪标签， arg  maxk表示用于获取第k 个实例伪标签中的最大值的索引值的函数， 是细颗粒度伪标签的第 k个聚类中心， 是 粗颗粒度伪标签的第k个聚类中心。 8.根据权利要求1所述的方法， 其特 征在于， 所述 步骤S4包括以下步骤： 步骤S41， 基于细颗粒度伪标签、 粗颗粒度伪标签和 实例伪标签， 计算三种不同伪标签 对应的交叉熵损失； 步骤S42， 基于细颗粒度伪标签、 粗颗粒度伪标签、 第一实例伪标签和第二实例伪标签， 确定伪标签约束正则损失； 步骤S43， 计算细颗粒度伪标签对应的三元组损失； 步骤S44， 确定细颗粒度伪标签对应的置信度对比损失； 步骤S45， 计算交叉熵损失、 三元组损失、 置信对比损失和伪标签约束正则损失的加权 和， 得到总损失值； 步骤S46， 利用所述总损失值对所述学生网络进行参数优化； 步骤S47， 通过学生网络参数的指数移动平均算法对所述均值教师网络进行参数更新， 得到最优均值教师网络模型。 9.根据权利要求8所述的方法， 其特征在于， 所述步骤S46中， 所述学生网络模型的模型权　利　要　求　书 2/3 页 3 CN 114937289 A 3