(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211112425.2 (22)申请日 2022.09.14 (65)同一申请的已公布的文献号 申请公布号 CN 115205570 A (43)申请公布日 2022.10.18 (73)专利权人 中国海洋大学 地址 266000 山东省青岛市崂山区松岭路 238号 (72)发明人 王晓东　韩晓蕊　黄磊　魏志强　 (74)专利代理 机构 青岛华慧泽专利代理事务所 (普通合伙) 37247 专利代理师 赵梅 (51)Int.Cl. G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01)(56)对比文件 CN 111860678 A,2020.10.3 0 US 20212 95091 A1,2021.09.23 CN 112633071 A,2021.04.09 CN 111967325 A,2020.1 1.20 CN 114882531 A,202 2.08.09 US 2022129699 A1,202 2.04.28 CN 113936275 A,202 2.01.14 汪芳羽.基 于多层次均衡聚类的无监 督行人 重识别方法. 《中国优秀硕士学位 论文全文数据 库》 .2022, Haopeng Hou.Unsupervised Cross- domain Person Re-identificati on with Self-attention and Joint-flexible Optimizati on. 《Image and Visi on Computing》 .2021, 审查员 董梦林 (54)发明名称 一种基于对比学习的无监督跨域目标重识 别方法 (57)摘要 本发明属于图像处理技术领域， 公开了一种 基于对比学习的无监督跨域目标重识别方法， 包 括步骤1、 构建无监督跨域目标重识别网络模型， 为聚类样本生 成伪标签； 步骤2、 构建基于相机原 型的混合内存库； 步骤3、 基于混合内存库进行联 合对比学习， 生成可靠伪标签； 步骤4、 反复迭代 步骤1‑步骤3， 训练所述无监督跨域目标重识别 网络模型； 步骤5、 将待识别的 图像输入训练好的 模型中， 进行目标重识别， 输 出识别结果。 通过本 发明减轻了伪标签噪声对对比学习造成的影响， 抑制了伪标签噪声的影响， 提高目标识别精度。 权利要求书2页 说明书7页 附图2页 CN 115205570 B 2022.12.20 CN 115205570 B 1.一种基于对比学习的无监 督跨域目标重识别方法， 其特 征在于， 包括以下步骤： 步骤0、 输入图像， 构建有标签源域数据集和无 标签目标域数据集； 步骤1、 构建无监督跨域目标重识别模型进行特征提取与聚类： 包括网络初始化和内存 初始化阶段； 网络初始化是通过在带标签的源域上预训练卷积神经网络CNN得到初始化模型； 内存 初始化是首先利用预训练得到的初始化模型提取源域特征 和目标域特征 ， 然后计算样 本特征的相似性进而利用样本相似性对所有图像的特征进 行聚类， 将属于相同聚类的样本 标记为同一类， 生成伪标签； 步骤2、 构建基于相机原型的混合内存库： 在每次聚类之后， 根据摄像机信息将每个聚类分成多个组， 每个组包含来自同一摄像 机的样本， 每 个组的平均样本特 征向量作为每 个组的相机原型； 所述混合内存库存储了所有源域类心、 源域相机原型、 目标域聚类质心和目标域相机 原型， 将源域的类数记为 ， 目标域的聚类数记为 ， 并且模型迭代更新时， 混合内存库也 更新； 步骤3、 基于混合内存库进行 联合对比学习： 在对比学习中， 使用联合对比学习损失， 包括类心或质心级对比学习损失  和相机原 型级对比学习损失 ， 使得样本向类心或质心靠近的同时属于一个聚类的原型也相互靠 近； 在对比学习中， 基于混合内存库， 选择可靠的正负样本并合成困难负样本； 在计算相 机 原型级对比学习损失选择正负样 本时， 对于每一个qu ery， 从其正聚类包括的相机原型和负 聚类包括的相 机原型中分别取可靠的正和负样本， 在合成困难负样本时， 通过混合源域数 据与目标域负 样本合成困难负 样本； 其中， 步骤3中， 对于一个query， 同时使用类心或聚类质心级对比学习损失和相机原型 级对比学习损失， 对比学习损失计算公式如下： 其中， 代表对比学习损失， 代表查询 样本query， 是温度系数， m是用于对比学习的 样本数， n是用于计算对比学习损失的正负 样本数量和； 在计算类心或聚类质心级对比学习损失 时， 如果query是源域特征， 则 为query所 属类别的类心， 为源域类心， 将源域的类心级对比学习损失记为 ； 如果query是目标 域特征， 则 为query所属聚类的质心， 为目标域质心， 将目标域的聚类质心级对比学习 损失记为 ； 在计算相机原型级对比学习损失 时， 如果query是源域特征， 则 为query 所属的相机原型， 为每个类的相机原型的平均值， 将源域的相机原型级对比学习损失记 为 ； 如果query是目标域特征， 则 为query所属的相机原型， 为每个聚类的相机原型 的平均值,  将目标域的相机原型级对比学习损失记为 ； 源域的类心级对比学习损失 和相机原型级对比学习损失 通过一个系 数 相加得 到源域总的对比损失 ， 公式如下： 权　利　要　求　书 1/2 页 2 CN 115205570 B 2目标域的聚类质心级对比学习损失 和相机原型级对比学习损失 通过一个系数 相加得到目标域总的对比损失 ， 公式如下： 总损失L的公式如下：  ； 步骤3中， 在进行对比学习时， 设计正负样本选择策略， 对于batch中的每个 query， 假设 query属于第p个 聚类， 则混合内存库将提供相机数  个正候选和 个负候选， 其 中， 是目标域的聚类个数， 是第l个聚类中相 机原型的个数， 是第p个聚类中相 机原 型的个数， 具体选择 策略如下： 选择正样本： 对于每个query， 根据query与正候选们的余弦相似度按升序 排列， 选择排 序中的中位作为 正样本； 选择负样本： 将每个聚类表示为其相机数个原型的平均特征， 并将平均特征作为负样 本， 可以得到 个除query所在的聚类外的所有负样本； 对来 自源域的query使用相同 的选择策略； 步骤4、 反复迭代步骤1 ‑步骤3， 训练所述无监 督跨域目标重识别模型； 步骤5、 将待识别的图像输入训练好的模型中， 进行目标重识别， 输出识别结果。 2.根据权利要求1所述的一种基于对比学习的无监督跨域目标重识别方法， 其特征在 于， 步骤2中， 混合内存库中的每 个条目通过以下 方式更新： 为混合内存库中 的第j个条目， 是内存更新率， 代表第i个样本， 是参数， 则 是当前迭代该 条目的样本特 征。 3.根据权利要求1所述的一种基于对比学习的无监督跨域目标重识别方法， 其特征在 于， 步骤3中， 在进行对比学习时， 合成困难负 样本的策略， 具体如下： 对于来自目标域 的每一个query， 基于混合内存库， 首先计算query与其负相机原型 的余弦相似度， 与query余弦相似度最大的负相机原型就是query的困难负样本， 对每个困 难负样本随机从源域选取一个 类心， 按照如下公式合成新的困难负 样本 ， 其中， 是插值系数， H代表选取的困难负 样本， 是源域的类心。权　利　要　求　书 2/2 页 3 CN 115205570 B 3