(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211152074.8 (22)申请日 2022.09.21 (71)申请人 首都师范大学 地址 100048 北京市海淀区西三环北路10 5 号 (72)发明人 姜那　王兆发　许鹏　李俊　 施智平　 (74)专利代理 机构 北京科迪生专利代理有限责 任公司 1 1251 专利代理师 金怡 (51)Int.Cl. G06V 20/54(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种利用姿态估计和数据增强的车辆重识 别方法及系统 (57)摘要 本发明涉及一种利用姿态估计和数据增强 的车辆重识别方法及系统， 其方法包括： 步骤S1： 构建双分支多分辨率车辆姿态估计网络， 得到车 辆关键点坐标； 将关键点进行过滤后按三层骨架 模型有序连接， 得到车辆姿态图； S2： 构建训练样 本组(S,po,St)输入基于姿态引导的数据增强网 络， 得到与S表观相同且具有p姿态的生成图像； S3： 将生成图像与原始数据集一起构建联合训练 集S+， 其中样本组为(Rgi,Rpj,Fj)， 输入基于自监 督和知识蒸馏的三分支表观特征提取网络进行 训练， 提取车辆表征进行车辆重识别； S4： 输入目 标集probe'和图像集gallery'， 利用S3 得到初始 检索结果； 再利用步骤S1和S2对初始 检索结果进 行顺序调优， 得到最终的检索结果。 本发明提供 的方法可提高指定车辆的检索精度。 权利要求书4页 说明书9页 附图4页 CN 115471799 A 2022.12.13 CN 115471799 A 1.一种利用姿态估计和数据增强的车辆 重识别方法， 其特 征在于， 包括： 步骤S1： 对原始车辆重识别数据集中的部分车辆图像 中表示车辆位姿和局部位置的关 节点进行标注； 使用标注好的数据集训练双分支多分辨率车辆姿态估计网络， 并估计未标 注的数据集中样本的关键点坐标； 对所述关键点坐标进行对称性筛选和置信度过滤， 将保 留的关键点按三层骨架模型有序连接， 得到该样本的车辆姿态图， 构建车辆姿态图数据集 PO； 步骤S2： 获取所述原始车辆重识别数据集中任一样本作为原姿态图S、 以及相同车辆但 是具有和S不同姿态的样本作为目标图St， 并从PO中获取与St对应的车辆姿态图po构建训练 样本组(S， po， St)； 将(S， po， St)输入基于姿态引导的数据增强网络， 得到与S表观相同但具 有po姿态的生成图像； 步骤S3： 将所述生成图像与所述原始车辆重识别数据集一起构建联合训练集S+， 其中样 本组为(Rgi， Rpj， Fj)， Rgi表示图像 集gallery中第i个图像， Rpj表示待检索图像 集probe中第 j个待检索图像， Fj表示由步骤S2生成的与Rpj具有相同表观， 且与Rgi具有相同姿态的生成 图； 将(Rgi， Rpj， Fj)输入基于自监督和知识蒸馏的三分支表观特征提取网络进行训练， 实现 可提取高区分度车辆表征的车辆 重识别； 步骤S4： 在实际应用中， 输入目标集probe ′和图像集gallery ′， 利用S3中训练好的所述 基于自监督和知识蒸馏的三分支表观特征提取网络， 得到pr obe′和gallery ′中图像的表观 特征， 根据所述表观特征可得到probe ′中任意Pi在gallery ′的初始检索结果Rei； 基于Rei利 用步骤S1和S2逐一进行姿态迁移， 生成与Pi车辆图像朝向一致的增强图像集合Aui， 根据Pi 和Aui相似性距离对所述初始检索结果Rei进行顺序调优， 得到最终的检索结果。 2.根据权利要求1所述的利用姿态估计和数据增强的车辆重识别方法， 其特征在于， 所 述步骤S1： 对原始车辆重识别数据集中的部 分车辆图像中表示车辆位姿和局部位置的关节 点进行标注； 使用标注好的数据集训练双分支多分辨率车辆姿态估计网络， 并估计未标注 数据集中每个样本的关键点坐标； 对所述关键点坐标进行对称性筛选和置信度过滤， 将保 留的关键点按三层骨架模型有序连接， 得到该样本的车辆姿态图， 构建车辆姿态图数据集 PO， 具体包括： 步骤S11： 为部分车辆图像标注多个代表形状和位置的关节点， 并按三层骨架模型进行 连接后， 得到可训练姿态估计网络的车辆姿态标注； 步骤S12： 将所述车辆姿态标注与原始车辆图像输入所述双分支多分辨率车辆姿态估 计网络， 训练网络参数； 其中， 所述双分支多分辨率车辆姿态估计网络包括上分支和下分 支， 所述上分支提取高、 中两种分辨率特征进行注意力融合估计， 所述下分支提取中、 低两 种分辨率特征进行注意力融合估计， 同时构建注意力互监督损失函数LAttenMap如公式(1)所 示， 用于网络训练； LAttenMap＝|AttenMap(Xtop， Xmiddle)‑AttenMap(Xmiddle， Xlow)|  (1) 其中， AttenMap( ·)表示注意力图计算， Xtop、 Xmiddle、 Xlow分别代表高、 中、 低分辨率特征 图像； 步骤S13： 测试时， 对估计样本使用对称筛选及置信度过滤， 剔除不可靠的所述关键点 坐标， 将保留关键点按序连接构成该样本的车辆姿态图。 3.根据权利要求2所述的利用姿态估计和数据增强的车辆重识别方法， 其特征在于， 所权　利　要　求　书 1/4 页 2 CN 115471799 A 2述步骤S2： 获取所述原始车辆重识别数据集中任一样本作为原姿态图S、 以及相同车辆但是 具有和S不同姿态的样本作为目标图St， 并从PO中获取与St对应的车辆姿态图po构建训练样 本组(S， po， St)； 将(S， po， St)输入基于姿态引导的数据增强网络， 得到与S表观相同但具有 po姿态的生成图像， 具体包括： 步骤S21： 令原图像集为S＝{s1， s2， s3…， sn}、 目标图像集为St＝{t1， t2， t3…， tm}， 以及St 对应的目标姿态集为PO＝{po1， po2， po3…， pom}， 组成训练样本组(si， poj， tj)； 其中si为第i 个原图， tj为第j个目标图， poj为tj的车辆姿态； 步骤S22： 基于产生式对抗博弈方式构建基于姿态引导的数据增强网络， 以样本组(si， poj， tj)作为生成器输入， 经过编码器和解码器生成与si具有相同表观特征， 但具有p oj姿态 朝向的生成图像， 其中， 在所述生成器的编、 解码器之间使用跨分辨率注意力跳连， 将编码 器中高分辨率特征经分支下采样后， 与 临近的低分辨率特征进行注意力融合， 然后与同分 辨率的解码器特征进行连接， 如公式(2)所示， 同时， 构建了四元组损失函数失LQuadruple如公 式(3)～公式(5)所示， 用于对所述 生成器进行约束： 其中， Att()表示自注意计算， Res()表示调整步长的残差卷积， fdi表示编码器中第i个 下采样block的特征输出， fui表示解码器中第i个上采样block的特征输出， ffui则为在上采 样第i个block与对应跳连下采样的特征融合， 将作为输入传入解码器第i ‑1个上采样 block； Lbtw(a， b， c)＝exp(d(a， b) ‑d(b， c)+α )         (4) 其中， 公式(3)中| |*||表示欧氏距离， 表示的是a与b之间的欧式距离度量； 公式(4)中Lbtw(a， b， c)表示样本a和b之间的距离应小于样本b和c， α 表示样本a与b之间 距离与样本b与c之间距离的间隔阈值； 公式(5)中[ ·]+表示中括号内的值大于零的时候， 取该值为LQuadruple损失函数值， 小于 零的时候， LQuadruple损失函数值 为零； 步骤S23： 将所述生成图像与原图si一起输入判别器， 通过构建真假判别的二分类损失 函数L2、 多分类重识别损失函数Lm、 朝向相似性损失函数Lpc、 身份一致性损失联合监督函数 Lic， 实现利用自注意力Transformer结构判别器与所述 生成器之间的博 弈。 4.根据权利要求3所述的利用姿态估计和数据增强的车辆重识别方法， 其特征在于， 所 述步骤S3： 将所述生成图像与所述原始车辆重识别数据集一起构建联合训练集S+， 其中样 本组为(Rgi， Rpj， Fj)， Rgi表示图像 集gallery中第i个图像， Rpj表示待检索图像 集probe中第 j个待检索图像， Fj表示由步骤S2生成的与Rpj具有相同表观， 且与Rgi具有相同姿态的生成 图； 将(Rgi， Rpj， Fj)输入基于自监督和知识蒸馏的三分支表观特征提取网络进行训练， 实现 高区分度车辆表征的车辆 重识别， 具体包括： 步骤S31： 将所述生成图像与所述原始车辆数据集一起构建联合训练集S+， 构建样本组 为(Rgi， Rpj， Fj)， Rgi表示图像集gallery中第i个图像， Rpj表示待检索图像集probe中第j个 待检索图像， Fj表示由步骤S2生成的与Rpj具有相同表 观， 且与Rgi具有相同姿态的生成图；权　利　要　求　书 2/4 页 3 CN 115471799 A 3