(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210768721.1 (22)申请日 2022.07.01 (71)申请人 上海宏景智驾信息科技有限公司 地址 200000 上海市嘉定区安亭镇 嘉松北 路6988号1幢1层10 5室JT624 申请人 同济大学 (72)发明人 徐彪　桂瀚洋　李勇　董健　 刘飞龙　王峻　 (74)专利代理 机构 上海大为知卫知识产权代理 事务所(普通 合伙) 31390 专利代理师 何银南 (51)Int.Cl. G06T 7/223(2017.01) G06T 7/73(2017.01) G06V 10/74(2022.01) (54)发明名称 一种在线多目标的跟踪 方法、 装置和存储介 质 (57)摘要 本发明涉及人工智能及自动驾驶技术领域， 具体公开了一种在线多目标的跟踪方法， 包括： 采集包含待检测目标的当前帧图像； 从所述当前 帧图像中获取所述待检测目标的包围框及其置 信度； 依据所述待检测目标包围框的置信度， 将 所述待检测目标与预设跟踪列表中的跟踪对象 进行匹配； 依据所述待检测目标与所述预设跟踪 列表中的跟踪对象之间的匹配结果， 输出所述待 检测目标的的跟踪结果。 本发明还公开了一种在 线多目标的跟踪装置。 本发明提供的在线多目标 的跟踪方法， 能够结合在图像层面关联匹配以及 在三维坐标下关联匹配的优点， 实施 三个阶段的 匹配， 有效减少了误匹配及ID切换问题。 权利要求书3页 说明书11页 附图4页 CN 115170602 A 2022.10.11 CN 115170602 A 1.一种在线 多目标的跟踪方法， 其特 征在于， 包括如下步骤： 采集包含待检测目标的当前帧图像； 从所述当前帧图像中获取 所述待检测目标的包围框及其置信度； 依据所述待检测目标包围框的置信度， 将所述待检测目标与 预设跟踪列表中的跟踪对 象进行匹配； 依据所述待检测目标与所述预设跟踪列表中的跟踪对象之间的匹配结果， 输出所述待 检测目标的 的跟踪结果。 2.根据权利要求1所述的在线多目标的跟踪方法， 其特征在于， 所述依据 所述待检测目 标包围框的置信度， 将所述待检测目标与预设跟踪列表中的跟踪对象进行匹配， 还 包括： 依据所述待检测目标包围框的置信度， 将所述待检测目标分为高置信度待检测目标和 低置信度待检测目标； 将所述高置信度待检测目标与所述预设跟踪列表中经确认的跟踪对象进行第一阶段 匹配， 输出第一阶段未匹配上 的待检测目标、 未匹配上 的跟踪对 象以及匹配上的跟踪检测 对； 将所述第一阶段未匹配上的待检测目标和所述低置信度待检测目标组成第二阶段待 检测目标列 表， 同时将所述预设跟踪列 表中在所述第一阶段未匹配上的跟踪对象和未确认 的跟踪对象组成第二阶段跟踪列表； 将所述第二阶段待检测目标列表中的待检测目标与所述第二阶段跟踪列表中的跟踪 对象进行第二 阶段匹配， 输出第二 阶段未匹配上 的待检测目标、 未匹配上 的跟踪对 象以及 匹配上的跟踪检测对； 将所述第二阶段未匹配上的待检测目标和跟踪对象在三维坐标系下进行第三阶段匹 配， 输出第三阶段 未匹配上的待检测目标、 未匹配上的跟踪对象以及匹配上的跟踪检测对。 3.根据权利要求2所述的在线多目标的跟踪方法， 其特征在于， 所述依据 所述待检测目 标与所述预设跟踪列表中的跟踪对象之间的匹配结果， 输出所述待检测目标的的跟踪结 果， 还包括： 将所述第三阶段 未匹配上的待检测目标的置信度与设定阈值比较； 如果高于所述设定阈值， 则根据该待检测目标创建新的跟踪对象； 如果低于所述设定阈值， 则将该待检测目标丢弃。 4.根据权利要求2所述的在线多目标的跟踪方法， 其特征在于， 所述将所述待检测目标 与预设跟踪列表中的跟踪对象进行匹配， 还 包括： 通过计算所述待检测目标与 所述预设跟踪列表中跟踪对象的相似度， 以得到所述待检 测目标与所述预设跟踪列表中的跟踪对象之间的匹配结果； 其中， 所述第一阶段和第二阶段匹配的相似度计算， 均通过计算待检测目标的包围框 与跟踪对象的包围框之间的交并比IOU； 根据计算出的所述待检测目标的包围框与跟踪对 象的包围框之间的交并比IOU， 输出第一阶段和第二阶段的匹配结果； 其中， 所述第三阶段匹配的相似度计算， 事先获取所述第二阶段未匹配上的待检测目 标的3D位姿信息和跟踪对象 的3D位姿信息， 然后计算所述第二阶段未匹配上的待检测目标 与跟踪对象在相机坐标系或车辆坐标系下的马氏距离， 最后依据所述待检测目标与 跟踪对 象在相机坐标系或车辆坐标系下的马氏距离， 输出第三阶段的匹配结果。权　利　要　求　书 1/3 页 2 CN 115170602 A 25.根据权利要求4所述的在线多目标的跟踪方法， 其特征在于， 所述第 一阶段和第 二阶 段匹配的相似度计算， 均通过计算待检测目标的包围框与跟踪对象的包围框之 间的交并比 IOU， 还包括： 通过2D卡尔曼滤波器对所述第一阶段和第二阶段跟踪列表中的跟踪对象的包围框信 息进行预测， 输出跟踪对象的包围框预测信息； 计算所述待检测目标的包围框信息与所述跟踪对象的包围框预测信息之间的交并比 IOU。 6.根据权利要求4所述的在线多目标的跟踪方法， 其特征在于， 所述第 三阶段匹配的相 似度计算， 事 先获取所述第二阶段未匹配上的待检测目标的3D位姿信息和跟踪对象的3D位 姿信息之后， 还 包括： 通过待检测目标的3D位姿信息建立3D卡尔曼 滤波器； 通过所述3D卡尔曼滤波器对所述第三阶段的跟踪对象的3D位姿信息进行预测， 输出跟 踪对象的3D位姿预测信息； 计算所述待检测目标的3D位姿信息与所述跟踪对象的3D位姿预测信息之间的相似度。 7.根据权利要求5或6所述的在线多目标的跟踪方法， 其特征在于， 所述卡尔曼滤波器 公式如下： 时间更新方程： 状态更新方程： 其中， xk‑1和 分别为k‑1时刻和k时刻的后验状态估计值， 更新后的结果； 为k时刻 的先验状态估计值， 是滤波的中间计算结果， 即根据k ‑1时刻的最优估计预测的k时刻的结 果， 是预测方程的结果； 其中， Pk‑1和Pk分别为k‑1时刻和k时刻的后验估计协方差， 即xk‑1和xk的误差的协方差， 表示状态的不确定度， 是 滤波的结果之一； 其中， Pk‑为k时刻的先验误差估计协方差， 是滤波的中间计算结果； Kk为滤波的增益矩 阵， 是滤波的中间计算结果， 卡尔曼增益； Q为过程激励噪声的协方差， 该参数被用来表 示状 态转换矩阵与实际过程之间的误差； R为测量噪声协方差； 为实际观测和预测 观测的残差， 和卡尔曼增益一起修正先验得到的后验； A为状态转移矩阵， B为控制矩阵， 是 与构建的运动模型相关； zk为k时刻观测量。 8.根据权利要求1所述的在线多目标的跟踪方法， 其特征在于， 所述依据 所述待检测目 标与所述预设跟踪列表中的跟踪对象之间的匹配结果， 输出所述待检测目标的的跟踪结 果， 还包括：权　利　要　求　书 2/3 页 3 CN 115170602 A 3