(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210710033.X (22)申请日 2022.06.24 (71)申请人 成都云擎科技有限公司 地址 610000 四川省成 都市高新区益州大 道中段59 9号13栋16楼16 09、 1610 (72)发明人 贾海涛　王子彦　任利　张钰琪　 田浩琨　冯玉轩　林泽航　梁凯燕　 (51)Int.Cl. G06T 7/277(2017.01) G06V 10/22(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/82(2022.01) G06T 5/20(2006.01)G06N 3/04(2006.01) (54)发明名称 一种基于特征共用的DeepSORT目标跟踪方 法 (57)摘要 本 发 明 公 开 了 一 种基 于 特 征 共 用的 DeepSORT目标跟踪方法。 针对DeepSORT跟踪 算法 存在的特征提取网络较为简单且耗时严重、 卡尔 曼滤波器对噪声鲁棒性差以及级联匹配在强大 的跟踪器中对跟踪精度存在限制的问题， 本算法 分别从三个方面进行了改进， 在特征提取模块中 沿用检测网络YOL Ov5网络， 并在检测头部分增加 外观信息的输出， 在运动估计模块中对卡尔曼滤 波算法中的噪声矩 阵实现自适应计算并增加了 高斯过程回归模块来对目标检测器失效的情况 下的跟踪轨迹做出插值， 在轨迹关联模块中采用 一种基础的线性匹配策略替换掉原有的级联匹 配， 在此基础上提出了YNGB ‑DeepSORT网络来实 现高效的目标跟踪。 权利要求书1页 说明书4页 附图1页 CN 114913212 A 2022.08.16 CN 114913212 A 1.一种基于特 征共用的De epSORT目标跟踪方法， 其特 征在于， 包括以下步骤： 步骤1： 通过对目标检测网络 中检测头的输出信息进行 改进， 使得其可以输出目标的外 观信息， 从而得到运动特 征表述以及外观特 征表述； 步骤2： 在得到目标的特征表述后， 由运动估计模块根据目标的运动特征对下一帧的跟 踪框进行估计； 步骤3： 根据目标的运动特征以及外观特征对检测框和跟踪框进行轨迹关联， 得到不同 目标的跟踪轨 迹。 2.如权利要求1所述方法， 其特征在于， 步骤1中的特征提取模块通过对目标检测算法 中检测头输出信息的改进使得跟踪算法可以直接使用检测网络中提取到的特征而不用重 新提取特征， 解决了特 征提取低效耗时的问题。 3.如权利要求1所述方法， 其特征在于， 步骤2中的运动估计模块通过引入一种自适应 的噪声计算方法， 增强了跟踪器对 噪声的鲁棒性， 并通过高斯过程回归来对检测器失效情 况下的轨迹进行插值。 4.如权利要求1所述方法， 其特征在于， 步骤3中的轨迹关联模块采用一种普通的线性 匹配代替了原有的级联匹配算法， 在跟踪器更强大 的情况下， 解除了级联匹配的先验约束 对跟踪器性能的限制。权　利　要　求　书 1/1 页 2 CN 114913212 A 2一种基于特征共用的De epSORT目标跟踪 方法 技术领域 [0001]本发明涉及深度学习中的目标跟踪领域， 针对多目标跟踪算法DeepSORT存在的耗 时严重的问题， 提出一种基于特 征共用的De epSORT目标跟踪方法。 背景技术 [0002]目标跟踪作为计算机视觉领域一个重要的研究方向， 在各种领域都有着广泛的应 用。 目标跟踪的任务主要 是在给定的一个视频序列中通过人为给定或者前序检测算法给定 的目标大小与位置的情况 下， 预测后续帧中该目标的大小与位置 。 [0003]DeepSORT在SORT的基础上做出了三处改进， 首先， DeepSORT使用一个简单的卷积 神经网络提取目标的深度外观特征， 并将这些特征作为跟踪的输入并存储起来以便于后续 的相似度计算， 这使得DeepSORT极大的提升了对遮挡目标的再现重识别的能力。 其次， DeepSORT将SORT中原有的用于运动特征度量的欧氏距离替换为了马氏距离， 通过增加协方 差矩阵的运算对方差进行了归一化的处理， 使得网络可以更好的度量 目标的运动特征。 余 弦距离不同于马氏距离对差异度的距离度量， 是一种针对方向的相似度度量， 它被用来进 行外观特征的相似度计算。 最后DeepSORT使用级联匹配， 它会根据一个预设 的参数来对跟 踪器划分先后顺序， 参数小的先来匹配， 参数大的后匹配。 虽然DeepSORT最 终实现了较好的 跟踪效果并且极大地降低了SORT算法中存在的IDswitch问题， 但是仍然存在以下几个问 题： [0004]1.DeepSORT中使用的特征提取 网络较为简单， 仅仅是由卷积层和残差组件组成的 一个CNN网络， 这样的网络在较为简单的场景中使用一般可以满足任务的要求， 但是如果在 场景复杂的任务下， 它 所能提取到的特征是极为有限的， 尤其是在两个目标相似度比较高 的情况下， 仅仅依靠这样一个特征提取网络提取到的特征作为约束往往是不能满足需求 的。 其次， 虽然DeepSORT在一些性能强大的GPU上可以满足实时性的要求， 但是如果移植到 嵌入式板卡上， 往 往很难满足实时性的要求。 [0005]2.DeepSORT中使用卡尔曼滤波器进行运动估计， 而传统的卡尔曼滤波算法中， 其 噪声矩阵是一个常数矩阵， 然而， 在一些复杂的场景中， 由于目标检测算法的一些不稳定 性， 噪声规模应该是时刻变化的， 也就是说噪声的规模应该随检测的置信度的变化而变化。 而且针对于检测器失效的情况下， 如果只使用卡尔曼滤波来进行线性插值模拟目标的运动 轨迹， 这样的结果往 往是不准确的。 [0006]3.级联匹配被用来处理跟踪 目标的优先级问题， 而 随着跟踪器变得更强大， 级联 匹配对易混淆的关联变得更强大， 这样额外的先验约束反而限制了匹配模块的性能及精 度。 发明内容 [0007]为了解决DeepSORT多目标跟踪算法存在的问题， 本发明提出了一种基于特征共用 的多目标跟踪算法YNGB ‑DeepSORT。 该算法基于DeepSORT算法， 分别从特征提取、 运动估计说　明　书 1/4 页 3 CN 114913212 A 3