(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210934635.3 (22)申请日 2022.08.04 (71)申请人 辽宁工程技术大学 地址 123000 辽宁省阜新市细河区中华路 47号 (72)发明人 刘万军　马庆来　 (74)专利代理 机构 北京华夏正 合知识产权代理 事务所(普通 合伙) 11017 专利代理师 韩登营 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种利用时间上 下文的空中跟踪方法 (57)摘要 本发明公开了一种利用时间上下文的空中 跟踪方法， 步骤为： 通过时间自适应卷积神经网 络TAdaCNN提取特征； 通过自适应转换器AT ‑ Trans细化相似映射； 采用编码 ‑解码结构， 编码 器对当前时间步长生成时间先验知识， 通过将之 前的先验知识与当前相似度图相结合， 解码器基 于生成的时间先验知识自适应地对相似图进行 细化。 本发明充分利用时间上下文进行空中跟 踪， 并且时间上下文在两个层次上合并， 即特征 提取和相似度图的细化。 在特征层面使用在线时 间自适应卷积， 在细化相似度图层面使用自适应 时间转换器， 可以根据时间上下文提取空间特征 的在线卷积神经网络， 可以在跟踪过程中有效地 建模历史时间背景， 以提高可分辨 性和鲁棒 性。 权利要求书1页 说明书6页 附图2页 CN 115294173 A 2022.11.04 CN 115294173 A 1.一种利用时间上 下文的空中跟踪方法， 其特 征在于， 包括以下步骤： 步骤1： 通过时间自适应卷积神经网络TAdaCN N提取特征； 步骤2： 通过自适应转换器AT ‑Trans细化相似映射； 步骤3： 采用编码 ‑解码结构， 编码器对当前时间步长生成时间先验知识， 通过将之前的 先验知识与当前相似度图相结合， 解码 器基于生成的时间先验知识自适应地对相似图进 行 细化。 2.如权利要求1所述的利用时间上下文的空中跟踪方法， 其特征在于， 在步骤1中， 给定 网络Xt某一阶段的输入特 征， 得到输出如下： 其中， 算子 *表示卷积运 算， Wt和bt分别代表卷积的时间权 重和偏差 。 3.如权利要求1所述的利用时间上下文的空中跟踪方法， 其特征在于， 在步骤2中， 使用 变压器对 全局上下文信息进行编码， 变压器的时间集成策略来连续编码全局上 下文信息 。 4.如权利要求1所述的利用时间上下文的空中跟踪方法， 其特征在于， 在步骤3 中， 编码 器通过将之前的知识与当前特征相结合来生成时间先验知识， 在应用时间信息过滤器之 前， 先将两个多头注意层叠加起来， 通过进一步将多头注意层附加到过滤后的信息上， 获得 当前步骤的最终时态先验知识。权　利　要　求　书 1/1 页 2 CN 115294173 A 2一种利用时间上下文的空中跟踪 方法 技术领域 [0001]本发明属于视觉跟踪的技术领域， 尤其涉及一种利用时间上下文的空中跟踪方 法。 背景技术 [0002]随着人工智能技术的发展以及控制理论算法的完善， 计算机视觉逐渐成为主流热 点， 其在人们生活及军事领域中的地位日渐突出。 在计算机视觉领域中， 视觉跟踪一直 都是 一个重要课题和研究热点。 视觉跟踪通过在连续的视频图像序列中估计跟踪目标的位置、 形状或所占区域， 确定目标的运动速度、 方向及轨迹等运动信息， 实现对运动目标行为的分 析和理解， 以便 完成更高级的任务。 [0003]同时， 而得益于无人机等飞行载具的高机动性优势， 基于目标跟踪的应用得到越 来越快的发展， 如地理勘测， 视觉定位， 航空摄影等等。 但空中跟踪， 仍然面临着许多的困难 和挑战， 如由于高速飞行和飞行高度带来的运动模糊、 遮挡、 微小物体、 长时间跟踪等挑战； 空中平台的有限能力所带来的局限性。 因此， 开发一种鲁棒且高效的适用于空中跟踪条件 的方法仍然是一项具有挑战的工作。 [0004]大多数现有跟踪器采用标准的检测框架跟踪方法， 并独立的对每一帧进行检测。 其中， 基于差分相关滤波器(DCF)的跟踪方法由于其傅里叶域的高效率和低资源需求被广 泛运用于空中平台。 然而当出现快速运动和严重变形的情况时， 这些跟踪器就会面临困难。 最近， Siamese网络已经成为精确和鲁棒跟踪的强大框架， 在许多框架结构中， 在 空中平台 上部署基于Siamese的跟踪器时， 效率得到 了优化和提高。 [0005]最近， 基于S iamese的方法由于其最先进的性能从众多跟踪方法 中脱颖而出。 基于 Siamese网络的跟踪器把跟踪任务看做为学习目标模板和 搜索区域的特征表示， 把他们进 行互相关， 学习互相关后的一般相 似度图。 为了保证跟踪效率， Siamese相 似度函数通常是 离线学习的。 Siamese网络的主要思想为通过一个函数将输入映射到目标空间， 在目标空间 使用简单的距离(欧式距离等)进行对比相似度。 在训练阶段去最小化来自相同类别的一对 样本的损失函数值， 最大化来自不同类别的一堆样本的损失函数值。 Siamese网络对类别不 平衡更鲁棒， 因为它需要很少的信息。 它可以用于某些类样本很少的数据集， 而且Siamese 网络不依赖于特定领域的知识， 而 是利用了深度学习技术。 为了满足空中跟踪的要求， 一些 工作提出了有效的跟踪方法。 尽管实现了SOTA性能， 但是跟踪器忽略了跟踪场景中的时间 上下文， 从而阻碍 了性能改进。 [0006]基于Siamese网络， 在大多数情况下时间信息 都是通过动态模板引入的， 动态模板 通过串联、 加权和、 图网、 变压器或内存网络将历史对 象的出现集成到当前模板中。 连续帧 之间固有的强相关性， 即时间信息被这些帧所忽略， 使得这些方法难以感知目标物体的运 动信息。 尽管实现了效率提高， 但忽略了跟踪场景中的时间上下文， 从而阻碍了性能的进一 步改进。 尽管他们成功 地将时间信息引入到视觉跟踪任务中， 但在 整个跟踪过程中， 大多 数 探索都局限于单个阶段， 即模板特征。 因此， 当目标发生大运动、 遮挡等不同复杂条件下 的说　明　书 1/6 页 3 CN 115294173 A 3