(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210687133.5 (22)申请日 2022.06.16 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 袁笛　谢雪梅　石光明　 (74)专利代理 机构 陕西电子 工业专利中心 61205 专利代理师 侯琼　王品华 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/22(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于多周期循环一致性的自监督目标跟踪 方法 (57)摘要 本发明提供了一种基于多周期循环一致性 的自监督目标跟踪方法， 主要解决现有目标跟踪 技术中带有标签的训练样本不足， 导致训练得到 的特征提取网络模型表示能力不足的问题。 包 括： 1)对初始化目标区域提取特征， 并训练相关 滤波层参数； 2)在无标注的图像中， 利用参数通 过孪生网络对无标注数据生成目标的伪标签； 2) 采用基于前后 向跟踪的多周期循环一致性损失 对生成的伪标签进行优化； 3)通过优化后的带有 伪标签的数据确定最终的卷积神经网络的参数； 4)通过最终的卷积神经网络提取特征、 孪生网络 进行追踪， 完成目标跟踪任务。 本发明能够在保 证模型表征能力的同时降低模型训练对标注数 据的需求， 有效提升目标跟踪的精确度和鲁棒 性。 权利要求书1页 说明书4页 附图1页 CN 114972438 A 2022.08.30 CN 114972438 A 1.一种基于多周期循环一 致性的自监 督目标跟踪方法， 其特 征在于， 包括以下步骤： (1)对无标注数据生成目标伪标签： 利用基于孪生网络的跟踪器计算无标注数据图像中的搜索区域和第一帧目标模板之 间的相似性， 得到无 标注数据图像中目标的伪标签； (2)采用多周期循环一 致性优化目标的伪标签： (2.1)在无标注的视频序列中， 每间隔k帧通过前向跟踪生成无标注数据图像中目标的 伪标签； 设每 个序列生成m帧的伪标签， 即1+k， 1+2k， . ..， 1+mk； (2.2)通过反向跟踪， 从1+mk帧出发再生成1+(m ‑1)k， ...， 1+k以及第1帧的伪标签； (2.3)根据在同一帧上前向和反向跟踪的结果， 构建多周期循环一致性损失函数表达 式： 其中， 表示第i个无标注数据视频序列的多周期循环一致性损失， Lt＝||Rt‑R′t||2 表示在同一个无标注数据视频序列中挑选的每 一帧的前向和反向损失， Rt和R′t分别表示第 t帧图像的前向和反向跟踪的响应图； (2.4)通过最小化步骤(2.3)中的多周期循环一致性损失对无标注数据图像生成的目 标伪标签进行优化， 得到优化后无 标注数据图像中目标的伪标签； (3)根据优化后无标注数据图像 中目标的伪标签， 确定最终的深度卷积神经网络参数， 得到优化后深度卷积神经网络模型； (4)利用优化后深度卷积神经网络模型及孪生网络， 完成目标跟踪定位任务。 2.根据权利要求1所述的方法， 其特征在于： 步骤(1)所述无标注数据图像中目标的伪 标签， 具体通过如下步骤得到： (1.1)根据第一帧目标位置， 采用初始化深度卷积神经网络提取特征并训练参数， 通过 最小化损失函数f(w)得到训练后的相关滤波层参数w： 其中， x表示初始化目标区域特征， y表示目标区域特征对应的标签， λ表示正则化参数 权重， *表示卷积 操作； (1.2)在无标注的图像中选取搜索区域， 采用深度卷积神经网络提取特征， 并将其与相 关滤波层参数w进行 卷积操作， 得到目标响应图R； (1.3)通过寻找目标响应图R中的最大值点的位置， 得到无标注数据图像中目标的伪标 签。 3.根据权利要求1所述的方法， 其特征在于： 步骤(4)所述利用优化后深度卷积神经网 络模型及孪生网络， 完成目标跟踪定位任务， 具体是： 首先采用优化后深度卷积神经网络模 型对初始目标和待搜索区域进行特征提取， 然后计算初始目标和待搜索区域之间的相似 性， 再利用相似性在待搜索区域上生成响应图， 最后通过寻找响应图中最大值点的位置目 标实现跟踪定位。权　利　要　求　书 1/1 页 2 CN 114972438 A 2基于多周期循环一致性的 自监督目标跟踪 方法 技术领域 [0001]本发明属于目标跟踪技术领域， 进一步涉及目标定位、 数据标注及自监督学习， 具 体为一种基于多周期循环一 致性的自监 督目标跟踪方法， 可用于无 人机的目标跟踪识别。 背景技术 [0002]目标跟踪在计算机视觉领域中发挥着重要的作用； 其在导弹制导、 视频监控、 无人 驾驶等领域有着广泛的应用。 近年来， 目标跟踪方法得益于深度卷积神经网络展示出了惊 人的跟踪性能， 但是该网络需要大量人工标注的训练数据来进行模型训练。 由于带有标签 的训练数据数量 非常有限， 使得该类基于深度卷积神经网络的目标跟踪方法的性能受到了 限制。 [0003]基于深度学习的跟踪方法过于依赖带有标签的训练数据的规模。 跟踪方法中的深 度卷积神经网络的训练离不开带有标签的训练样本。 通常来说， 带有标签的训练样本的质 量和数量会直接影响到训练的卷积神经网络的表示能力。 带有标签的训练样本的质量越 好、 数量越多， 采用这些样 本训练的卷积神经网络的表示能力也会相对越强。 虽然当前可以 很轻松的从网络上获取海量的无标签的样本数据， 但是现有带标签的数据数量相对有限， 并且进行大规模数据的标注也是费时且昂贵。 所以如何利用海量的无标签数据来训练网络 并使网络保持良好的表示能力是一个十分重要的问题。 [0004]Bhat G,Danelljan  M,Gool L V,et al.Learning  discriminative  model  prediction  for tracking[C]//Proceedings  of the IEEE International  Conference   on Computer  Vision.Seoul,Korea:IEEE,2 019:6182 –6191.中提出了一种基于判别学习损 失的跟踪算法， 其利用目标和背景信息进行目标模型预测， 在一定程度上提高跟踪器的跟 踪精度， 但由于置信度评分缺乏明确的概率解释， Danelljan  M,Gool L V,Timofte   R.Probabilistic  regression  for visual tracking[C]//Proceedings  of the IEEE  Conference  on Computer  Vision and Pattern Recognition.Seattle,WA,USA,USA: IEEE,2020:7183 –7192.为跟踪任务提供了概率回归公 式作为理论支持， 虽然达到了不错的 跟踪性能， 但它们高度依赖于带标签的训练数据进行特征提取网络模型 的训练； 由于带有 标签的训练数据不足， 使得这类跟踪方法仍然不能满足 实际任务的需求。 发明内容 [0005]本发明目的在于针对上述现有技术的不足， 提出一种基于多周期循环一致性的自 监督目标跟踪方法， 用于解决现有目标跟踪技术中带有标签的训练样本不足， 导致训练得 到的特征提取网络模型的表示能力不足的问题。 [0006]实现本发明的基本思路是： 首先通过基于孪生网络结构的跟踪框架进行前后向跟 踪为无标注数据生成相应的伪标签， 然后通过多周期循环一致性损失对特征提取网络模型 进行优化， 最后通过优化后的特征提取网络进行跟踪任务中的目标特征提取。 本发明能够 有效的提升特 征提取网络模型对目标的表达能力， 从而提升跟踪器的精度和鲁棒 性。说　明　书 1/4 页 3 CN 114972438 A 3