(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210681711.4 (22)申请日 2022.06.16 (65)同一申请的已公布的文献号 申请公布号 CN 114782495 A (43)申请公布日 2022.07.22 (73)专利权人 西安中科立德红外科技有限公司 地址 710000 陕西省西安市高新区毕原二 路3000号硬科技企业社区8幢 (72)发明人 刘伟　王鹏　郭得福　段程鹏　 张书强　宋洁　刘济铭　 (74)专利代理 机构 西安鼎迈知识产权代理事务 所(普通合伙) 6126 3 专利代理师 刘喜保 (51)Int.Cl. G06T 7/246(2017.01)G06V 10/74(2022.01) G06V 10/62(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (56)对比文件 CN 113160274 A,2021.07.23 CN 114332157 A,202 2.04.12 审查员 张帅 (54)发明名称 一种多目标跟踪 方法、 系统及计算机存储介 质 (57)摘要 本发明公开了一种多目标跟踪 方法、 系统及 计算机存储介质， 方法包括： 将当前帧图像和前 序帧图像输入孪生网络中， 提取相应的特征图； 利用区域建议网络根据特征图确定预测框； 对预 测框进行第一次筛选， 获得匹配成功和失败的匹 配对； 对匹配成功和失败的匹配对分别采用高于 和低于最佳外观特征匹配阈值的外观特征匹配 阈值进行第二次筛选； 将第二次筛选后匹配失败 的目标特征输入重新识别分支中， 得到跟踪结 果。 本发明通过引入区域建议网络作为预测模 块， 分析数据关联模块中的距离矩阵， 并采用一 种简单的自适应阈值确定方法， 结合差分匹配策 略， 增强了多目标跟踪算法对非线性、 高速等复 杂多样应用场景的适应性， 提高了被遮挡目标的 跟踪鲁棒 性。 权利要求书2页 说明书5页 附图1页 CN 114782495 B 2022.10.18 CN 114782495 B 1.一种多目标跟踪方法， 其特 征在于， 包括： 获取当前帧图像和前序帧图像； 将所述当前帧图像和前序帧图像输入孪生网络 中， 所述孪生网络包含两个卷积神经网 络， 两个所述卷积神经网络共享权值， 两个所述卷积神经网络分别用于提取所述当前帧图 像和前序帧图像的特 征图； 利用区域建议网络根据所述特 征图确定相应的预测框； 采用IOU特征阈值对所述预测框进行第一次筛选， 获得匹配成功的匹配对和匹配失败 的匹配对； 确定最佳外观特 征匹配阈值； 对所述匹配成功的匹配对和匹配失败的匹配对分别采用高于所述最佳外观特征匹配 阈值和低于所述 最佳外观特 征匹配阈值的外观特 征匹配阈值进行第二次筛 选； 将经过第二 次筛选后匹配失败的目标特征输入重新识别分支中进行重新识别， 得到跟 踪结果； 其中， 所述确定最佳外观特 征匹配阈值， 包括： 设定所述外观特 征匹配阈值的初始值； 根据所述外观特 征匹配阈值的初始值确定相应的IOU距离阈值； 当所述匹配成功的匹配对的IOU特征距离均处在所述IOU距离阈值 内时， 降低所述外观 特征匹配阈值； 重复进行以上处理， 直到得到最小的外观特征匹配阈值， 且该最小的外观特征匹配阈 值使所述匹配成功的匹配对的IOU 特征距离均处在 对应的所述IOU距离阈值内， 则所述最小 的外观特 征匹配阈值 为所述最佳外观特 征匹配阈值。 2.根据权利要求1所述的一种 多目标跟踪方法， 其特征在于， 在利用区域建议网络根据 所述特征图确定相应的预测框之前， 还 包括： 对所述区域建议网络进行初始化。 3.根据权利要求1所述的一种 多目标跟踪方法， 其特征在于， 所述利用区域建议网络根 据所述特 征图确定相应的预测框， 包括： 将所述前序帧图像的特征图输入所述区域建议网络， 获得相应的回归权重和分类权 重； 将所述回归权重和分类权重作为卷积核参数， 对所述当前帧图像进行卷积， 获得相应 的最终特 征图； 基于所述 最终特征图进行分类和线性回归， 获得多个所述预测框 。 4.根据权利要求1所述的一种多目标跟踪方法， 其特征在于， 所述采用IOU特征阈值对 所述预测框进行第一次筛 选， 获得匹配成功的匹配对和匹配失败的匹配对， 包括： 确定当前检测框和所述预测框之间的IOU预测值； 根据所述 IOU预测值确定相应的IOU特 征距离； 将所述IOU特征距离与所述IOU距离阈值进行比较， 当所述IOU特征距离小于所述IOU距 离阈值时， 则匹配成功， 获得匹配成功的匹配对； 当所述IOU 特征距离大于或等于所述IOU距 离阈值时， 则匹配失败， 获得匹配失败的匹配对。 5.一种多目标跟踪系统， 其特 征在于， 包括：权　利　要　求　书 1/2 页 2 CN 114782495 B 2图像获取模块， 用于获取当前帧图像和前序帧图像； 孪生网络， 包含两个卷积神经网络， 两个所述卷积神经网络共享权值， 两个所述卷积神 经网络分别用于提取 所述当前帧图像和前序帧图像的特 征图； 预测框确定模块， 用于利用区域建议网络根据所述特 征图确定相应的预测框； 第一次筛选模块， 用于采用IOU特征阈值对所述预测框进行第 一次筛选， 获得匹配成功 的匹配对和匹配失败的匹配对； 阈值确定模块， 用于确定最佳外观特征匹配阈值， 所述阈值确定模块设定所述外观特 征匹配阈值的初始 值， 根据所述外观特征匹配阈值的初始 值确定相应的IOU距离阈值， 当所 述匹配成功的匹配对的IOU 特征距离均处在所述IOU距离阈值内时， 降低所述外观特征匹配 阈值， 重复进 行以上处理， 直到得到最小的外观特征匹配阈值， 且该最小的外观特征匹配阈 值使所述匹配成功的匹配对的IOU 特征距离均处在 对应的所述IOU距离阈值内， 则所述最小 的外观特 征匹配阈值 为所述最佳外观特 征匹配阈值； 第二次筛选模块， 用于对所述匹配成功的匹配对和匹配失败的匹配对分别采用高于所 述最佳外观特征匹配阈值和低于所述最佳外观特征匹配阈值的外观特征匹配阈值进行第 二次筛选； 重新识别分支， 用于对经过第二次筛选后匹配失败的目标特征进行重新识别， 得到跟 踪结果。 6.根据权利要求5所述的一种 多目标跟踪系统， 其特征在于， 所述重新识别分支采用全 连接网络建立。 7.一种计算机存储介质， 其特征在于， 所述计算机存储介质中存储有多条计算机指令， 所述多条计算机指令用于使计算机执 行权利要求1 ‑4任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114782495 B 3