(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210677616.7 (22)申请日 2022.06.15 (71)申请人 首都师范大学 地址 100048 北京市海淀区西三环北路10 5 号 (72)发明人 付小雁　齐浩如　 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/774(2022.01) (54)发明名称 一种行人多目标跟踪 方法、 装置和计算机可 读存储介质 (57)摘要 本发明公开了一种行人多目标跟踪 方法、 装 置和计算机可读存储介质。 具体方案包括： 利用 DLA34网络获取行人检测结果与外观特征向量， 设置高低置信度阈值对检测结果进行分类， 以高 置信度检测优 先为原则， 在对高置信度检测完成 外观特征与位置信息双重匹配后， 对低置信度检 测结果进行双重补充匹配， 更好的实现数据关联 任务。 本发明通过双重补充匹配， 将低置信度检 测结果纳入待匹配范围， 减少了由于遮挡导致的 轨迹多帧中断问题， 提高了跟踪轨迹的完整程 度， 进而提高了跟踪准确度。 权利要求书2页 说明书8页 附图3页 CN 115240130 A 2022.10.25 CN 115240130 A 1.一种行 人多目标跟踪方法， 其特 征在于， 包括以下步骤： S1、 使用一个预训练过的模型， 在行人多目标跟踪数据集上进行训练， 作为目标检测 器； S2、 对视频的每一帧图像利用目标检测器获取 行人目标的边界框信息与外观特 征； S3、 设定置信度阈值， 将行 人检测结果分为高置信度检测集与低置信度检测集； S4、 基于先外观相似度后位置相似度原则， 优先对高置信度检测集与候选轨迹进行数 据关联， 并得到未匹配成功的候选轨迹与检测结果， 对关联成功的候选轨迹更新其行人外 观特征， 对未关联成功的检测结果初始化， 得到新轨 迹； S5、 基于先位置相似度后外观相似度原则， 对低置信度检测集与未匹配成功的候选轨 迹实施数据关联， 将连续多帧未匹配成功的候选 轨迹定义为丢失目标。 2.根据权利要求1所述的一种行 人多目标跟踪方法， 其特 征在于， 所述S1具体包括： 获取行人多目标跟踪数据集MOT17， 该数据集共包含14个视频序列， 其中7个视频序列 用于训练模型， 其 余7个用于算法测试； 使用预训练过的DLA34网络模型作为目标检测器， 构 建损失函数， 利用行人多目标跟踪 数据集的训练集训练并微调模型参数。 3.根据权利要求1所述的一种行 人多目标跟踪方法， 其特 征在于， 所述S2具体包括： 对视频的每一帧图像利用目标检测器输出中心点偏移量、 边界框大小、 图像热图与外 观特征， 并通过 热图高斯 函数变换回归得到行 人目标的中心点 坐标； 其中， 外观特 征包含了128维向量， 用于在后续的数据关联阶段计算外观特 征相似度。 4.根据权利要求1所述的一种行 人多目标跟踪方法， 其特 征在于， 所述S3具体包括： 设置高、 低置信度阈值 δ1、 δ2， 基于置信度的分类方式如下 将置信度大于δ1的检测结果定义为 高置信度检测， 将置信度在[δ1， δ2]区间内的检测结 果定义为低置信度检测， 用于后续的分类匹配过程。 5.根据权利要求1所述的一种行 人多目标跟踪方法， 其特 征在于， 所述S4具体包括： 计算高置信度检测结果与候选轨迹之间的外观特征相似度， 得到相似度矩阵， 根据相 似度矩阵计算得到匹配成本矩阵， 并利用匈牙利匹配算法得到数据关联方案一， 将数据关 联方案一中成功匹配到检测结果的轨 迹从候选 轨迹中移除； 基于卡尔曼 滤波器， 根据轨 迹的状态向量计算得到该 行人的状态估计值， 即预测位置； 计算高置信度检测结果与候选轨迹的预测位置之间的交并比IOU， 得到位置相似度矩 阵， 根据相似度矩阵计算得到匹配成本矩阵， 并利用匈牙利匹配算法得到数据关联方案二， 将数据关联 方案二中成功匹配到检测结果的轨 迹从候选 轨迹中移除； 将数据关联方案一、 二中关联成功 的高置信度检测结果加入其对应候选轨迹中， 并按 一定的权 重更新其行人外观特 征； 将与候选轨迹未关联成功 的高置信度检测结果定义为新目标， 对其初始化， 得到新轨 迹。 6.根据权利要求1所述的一种行 人多目标跟踪方法， 其特 征在于， 所述S5具体包括： 基于卡尔曼 滤波器， 根据轨 迹的状态向量计算得到该 行人的状态估计值， 即预测位置；权　利　要　求　书 1/2 页 2 CN 115240130 A 2计算低置信度检测结果与候选轨迹的预测位置之间的交并比IOU， 得到位置相似度矩 阵， 根据相似度矩阵计算得到匹配成本矩阵， 并利用匈牙利匹配算法得到数据关联方案三， 将数据关联 方案三中成功匹配到检测结果的轨 迹从候选 轨迹中移除； 计算低置信度检测结果与候选轨迹的行人外观特征间的余弦距离， 得到外观相似度矩 阵， 根据相似度矩阵计算得到匹配成本矩阵， 并利用匈 牙利匹配算法得到数据关联 方案四； 将数据关联 方案三、 四中关联成功的低置信度检测结果加入其对应候选 轨迹中； 若存在连续多帧未匹配成功 的候选轨迹， 则将其定义为丢失目标， 在后续帧跟踪过程 中不予其匹配权限。 7.一种行 人多目标跟踪装置， 其特 征在于， 所述装置包括： 第一获取模块， 用于获取待跟踪的第一视频流数据； 第一检测模块， 用于检测所述第一视频流中的行 人目标信息； 第一分类模块， 用于基于置信度将检测结果分为高置信度检测结果与低置信度检测结 果； 第一数据关联模块， 用于将高置信度检测结果与候选 轨迹一一关联； 第二数据关联模块， 用于将低置信度检测结果与候选 轨迹一一关联； 第一确定模块， 用于确定新目标、 丢失目标与候选 轨迹； 所述新目标为数据关联失败的高置信度检测结果， 需为 其初始化， 得到新轨 迹； 所述丢失目标为连续多帧与高、 低置信度检测结果关联失败的候选轨迹， 当候选轨迹 被定义为丢失目标， 即不再对其进行 数据关联； 所述候选轨迹包含先前帧中除丢失 目标外的其他候选轨迹与当前帧中的新轨迹， 用于 后续帧的跟踪。 8.一种计算机可读存储介质， 其特征在于， 包括计算机指令， 当所述计算机指令在行人 多目标跟踪装置上运行时， 使得 所述装置执 行权利要求1 ‑6中任意一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115240130 A 3