(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210988851.6 (22)申请日 2022.08.17 (71)申请人 南京信息 工程大学 地址 210044 江苏省南京市浦口区宁六路 219号 (72)发明人 张小瑞　陈旋　孙伟　宋爱国　 (74)专利代理 机构 北京同辉知识产权代理事务 所(普通合伙) 11357 专利代理师 何静 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/74(2022.01) G06V 10/143(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于生成对抗网络的跨模态车辆重识 别方法 (57)摘要 本发明公开了一种基于生成对抗网络的跨 模态车辆重识别方法， 包括以下步骤： 利用VAE将 车辆的RGB图像和I  P图像分别生成中间的隐向 量； 采用GAN网络生成可见光图像的近红外图像， 生成近红外图像的可见光图像； 将生成图像与原 图像组成一个四通道图像， 本发 明基于生成对抗 网络的跨模态车辆重识别方法， 采用两级差异消 减策略， 首先利用VA E降低RGB和IR两种图像模态 上的风格差异， 再利用GAN网络降低图像模态上 的内容差异， 将统一模态后的生成图像与原图像 组成一个四通道图像， 随后利用单模态方法处理 四通道图像， 从而实现车辆跨模态图像 检索。 权利要求书1页 说明书4页 附图1页 CN 115393688 A 2022.11.25 CN 115393688 A 1.一种基于生成对抗网络的跨模态车辆 重识别方法， 其特 征在于， 包括以下步骤： (1)利用VAE(变分自编码器)将车辆的RGB(可见光)图像和IP(近红外)图像分别生成中 间的隐向量； (2)采用GAN网络生成可 见光图像的近红外图像， 生成近红外图像的可 见光图像； (3)将生成图像与原图像组成一个四通道图像； (4)利用一般的单模态车辆 重识别方法提取四通道图像特 征训练模型； (5)使用训练好的网络模型， 提取待查询与图库车辆图像特 征； (6)计算待查询与图像库车辆图像的相似度， 返回图像库中相似度靠前的车辆图像。 2.根据权利要求1所述的基于生成对抗网络的跨模态车辆重识别方法， 其特征在于， 所 述步骤(1)中， 利用VAE将车辆的可见光图像和 近红外图像分别生成中间的隐向量， 将不同 模态下的车辆图像映射至同一标准 正态分布空间中， 消除RGB与IR图像的风格差异。 3.根据权利要求1所述的基于生成对抗网络的跨模态车辆重识别方法， 其特征在于， 所 述步骤(2)中， 利用VAE的编码器生成中间 隐向量后， 联合GAN网络生成不同模态下的图像， 采用GAN网络生成原RGB图像的近红外模态下的IR图像， 生成原IR图像可见光模态下的RGB 图像。 4.根据权利要求1所述的基于生成对抗网络的跨模态车辆重识别方法， 其特征在于， 所 述步骤(3)中， 用GAN生成IR图像对应的RGB图像， 生成RGB图像对应的IR图像， 和原来图片组 成一个四通道数据即生成多光谱图片， 消除两个模态的内容差异。 5.根据权利要求1所述的基于生成对抗网络的跨模态车辆重识别方法， 其特征在于， 所 述步骤(4)中， 利用一般的单模态车辆 重识别方法提取四通道图像特 征训练模型。 6.根据权利要求1所述的基于生成对抗网络的跨模态车辆重识别方法， 其特征在于， 所 述步骤(5)中， 使用训练好的网络模型， 提取待查询与图库车辆图像特征， 得到待查询图像 特征与图像库图像特 征。 7.根据权利要求1所述的基于生成对抗网络的跨模态车辆重识别方法， 其特征在于， 所 述步骤(6)中， 利用余弦距离计算待查询与图像库车辆图像的相似度， 图像库图像根据余弦 距离按相似度大小排列， 返回图像库中相似度靠前的车辆图像。权　利　要　求　书 1/1 页 2 CN 115393688 A 2一种基于生成 对抗网络的跨模 态车辆重识别方 法 技术领域 [0001]本发明涉及领域， 具体的是基于生成对抗网络的跨模态车辆 重识别方法。 背景技术 [0002]传统的RGB ‑RGB车辆重识别只能解决光线充足下的识别任务， 而在夜间或者是光 线较暗处， 可见光摄像机几乎已无用武之地。 犯罪分子或者是一些有所企 图的人们通常爱 好在夜间行动， 这时候仅仅靠可见光摄像机去捕捉图像显然 是不能解决问题的。 因此， RGB ‑ IR跨模态车辆 重识别技 术对解决该问题对公共安全和刑侦有着非常重要的现实意 义。 [0003]RGB图像有3个包含可见光颜色信息的通道， 而IR图像只有1个包含不可见光信息 的通道， I R图像丢失了颜色、 曝光等重要的信息。 跨模态车辆重识别它所面临的挑战主要来 源于两个模态之间以及两类图像内容差异较大问题。 [0004]为了解决上述挑战， 本发明提出了一种基于生成对抗网络的跨模态车辆重识别方 法。 用VAE变 分自编码 器， 将车辆的RGB图像和I R图形映射至同一标准正态分布空间中， 消除 模态差异。 再利用GAN网络将RGB、 IR图像分别生成的IR、 RGB图像并且在通道上合并成一张4 通道图像， 消除图像内容差异。 发明内容 [0005]为解决上述背景技术中提到的不足， 本发明的目的在于提供一种基于生成对抗网 络的跨模态车辆重识别方法， 利用VAE以及GAN分阶段降低RGB ‑IR模态和图像内容的差异， 解决RGB‑IR由于差异过大带来的识别率低下问题。 [0006]本发明的目的可以通过以下技 术方案实现： [0007]一种基于生成对抗网络的跨模态车辆 重识别方法， 包括以下步骤： [0008](1)利用VAE(变分自编码器)将车辆的RGB(可见光)图像和IP(近红外)图像分别生 成中间的隐向量； [0009](2)采用GAN网络生成可 见光图像的近红外图像， 生成近红外图像的可 见光图像； [0010](3)将生成图像与原图像组成一个四通道图像； [0011](4)利用一般的单模态车辆 重识别方法提取四通道图像特 征训练模型； [0012](5)使用训练好的网络模型， 提取待查询与图库车辆图像特 征； [0013](6)计算待查询与图像库车辆图像 的相似度， 返回图像库中相似度靠前的车辆图 像。 [0014]作为本发明的一种优选方案， 步骤(1)中， 利用VAE将车辆的可见光图像和近红外 图像分别生成中间的隐向量， 将不同模态下 的车辆图像映射至同一标准正态分布空间中， 消除RGB与IR图像的风格差异。 设RGB、 IR图像集合分别为X、 Y,RGB、 IR图像对应的编码器分 别为Ev、 Ei。 编码器Ev将可见光图像x∈X映射为中间向量zv，同理编码器Ei将近红外图像 y∈Y 映射为中间向量zi。 联合步骤(2)中的GAN网络生成跨模态图。 [0015]作为本发明的一种优选方案， 步骤(2)中， 采用GAN网络生成原RGB图像的近红外模说　明　书 1/4 页 3 CN 115393688 A 3