(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221089452 9.7 (22)申请日 2022.07.28 (65)同一申请的已公布的文献号 申请公布号 CN 114973167 A (43)申请公布日 2022.08.30 (73)专利权人 松立控股集团股份有限公司 地址 266000 山东省青岛市 市南区宁 夏路 288号软件园6号楼1 1层 (72)发明人 王永　刘寒松　王国强　翟贵乾　 刘瑞　焦安健　 (74)专利代理 机构 青岛高晓专利事务所(普通 合伙) 37104 专利代理师 黄晓敏 (51)Int.Cl. G06V 20/54(2022.01) G06V 10/82(2022.01) G06V 10/762(2022.01)G06V 10/40(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 106952293 A,2017.07.14 CN 104217428 A,2014.12.17 US 11250637 B1,202 2.02.15 何丹妮.基 于深度学习的多车辆 检测及跟踪 算法研究. 《中国优秀硕士学位 论文全文数据库 (工程科技 Ⅱ辑)》 .2020, Maryam Baradaran Khal khali et al..Situati on Assessment-Augmented Interactive Kalman Fi lter for Multi- Vehicle Track ing. 《IEEE Transacti ons on Intelligent Transportati on System s》 .2021, 审查员 郭晓坤 (54)发明名称 一种基于离线聚类的无监督对比学习的多 目标跟踪方法 (57)摘要 本发明属于目标跟踪技术领域， 涉及一种基 于离线聚类的无监督对比学习的多目标跟踪方 法， 以离线聚类的方式进行将不同帧的同一目标 聚类到一起然后计算损失学习出一个能进行关 联， 并且是在无监督的方式下进行的， 不需要标 签的信息， 对于那些没有标注的数据集进行训 练， 有效的挖掘没有标注的数据中有用的信息， 自主地进行发现和体验， 寻找模式和联系并得出 结论， 不需要人为指导， 减少了资源的浪费。 权利要求书3页 说明书7页 附图3页 CN 114973167 B 2022.11.04 CN 114973167 B 1.一种基于离线聚类的无监督对比学习的多目标跟踪方法， 其特征在于， 具体步骤如 下： （1） 、 离线过程训练一个特征提取网络， 先将所有帧输入到检测器， 检测出所有帧中的 所有车辆后输入到特 征提取网络， 获得 所有车辆的特 征向量； （2） 、 对检测出的所有车辆使用密度聚类DBSCAN算法进行聚类， 将不同帧的同一车辆聚 类到同一类中， 并计算损失， 再更新特征提取网络， 经过多轮聚类， 学习 出一个能提取出特 征物体判别性特 征的特征提取网络； （3） 、 将步骤 （2） 学习好的特征提取网络用于在线跟踪， 先将跟踪视频的视频帧送入主 干网络中， 获得当前帧的特 征图， 再将特 征图送入到检测器中检测出当前帧中的所有车辆； （4） 、 将上一帧的特征图与当前帧的特征图进行点积运算， 得到两帧之间各位置之间的 相似度图， 再将相 似度图输入两个最大池化层得到了上一帧的点 （i， j） 出现在当前帧的水 平方向位置和垂直方向位置的概率， 具体为： 将相 似度图经过一个 的最大池化层， 然 后再将结果输入softmax函数， 使其归一化， 获得在当前帧垂直方向各个位置的概率 ， 同样的将其送入一个 的最大池化层， 然后再将结果输入softmax函 数， 使其归一化， 也就获得了在当前帧水平方向各个位置的概率 ， 其中H和 W 分别为视频帧的高度和宽度； （5） 、 根据步骤 （4） 得到的两帧每点出现在当前帧水平方向位置和垂直方向的概率， 求 出当前帧根据上一帧的位移 量， 即将出现在该点的概率乘以两点之 间的水平 方向或者垂 直 方向的距离， 公式如下： 上一帧的点 （i， j） 在当前帧水平方向位置为 k之间的距离为： ， 则水平方向的偏移量 为： ， 上一帧的点 （i， j） 在当前帧垂直方向位置为 l之间的距离为： ， 则垂直方向的偏移量 为： ， 然后将位移量和上一帧的特征图作为可行变卷积网络的输入， 获得上一帧增强的特征 图， 通过上一帧增强的特 征图增强当前帧的特 征图； （6） 、 根据 步骤 （2） 检测出的所有车辆， 得到其检测框后将其在步骤 （5） 经过增强的特征 图上切割下来送入到步骤 （2） 学习好的特征提取网络中， 得到每辆车的特征向量， 并且将第 一帧的所有车辆特 征向量作为初始化模板特 征池中的每一个 类中心的特 征向量；权　利　要　求　书 1/3 页 2 CN 114973167 B 2（7） 、 将当前帧与之前的轨迹进行关联， 即与模板特征池中的类 中心特征向量计算相似 度， 根据相似度进行关联， 并且根据关联的结果对模板特征池中的类中心特征向量使用动 量更新的方式进行 更新； （8） 、 经过30帧的跟踪关联后， 对于模板特征池长时间未进行更新的类中心特征向量删 除， 并对特 征提取网络进行 更新， 以便其更适 合当前的跟踪任务， 实现多目标跟踪。 2.根据权利要求1所述基于离线聚类的无监督对比学习的多目标跟踪方法， 其特征在 于， 所述步骤 （1） 具体包括如下步骤： （11） 、 将所有的视频帧   输入到检测器Center Net中， 然后检测出当前帧的中心 点热度图 和检测出的每辆车的尺寸   ， 以及每个物体的中心点的偏移量 ， 其中H和W分别为视频帧的高度和宽度； （12） 、 然后根据步骤 （11） 中获得的中心点热度图和尺寸以及偏移量获得每辆车的位置 以及对应的检测框； （13） 、 根据步骤 （12） 获得的每辆车所在的检测框， 然后将其切割下来输入到特征提取 网络中获得每辆车的特 征向量。 3.根据权利要求2所述基于离线聚类的无监督对比学习的多目标跟踪方法， 其特征在 于， 所述步骤 （2） 具体包括如下步骤： 步骤 （21） 、 对步骤 （13） 获得的所有车辆 的特征向量使用密度聚类算法DBSCAN， 将不同 帧的同一车辆聚类到同一个 类中， 并赋予同样的id； 步骤 （22） 、  根据步骤 （21） 聚类的结果， 同一类的车辆视为正样本， 不 同类的车辆视为 负样本然后计算损失函数值， 从而拉大不同类即不同车辆之间的距离， 缩小不同帧的同一 车辆之间的距离； 步骤 （23） 、 根据步骤 （21） 将所有车辆聚类后的结果对特征池中的类中心特征进行更 新， 先将同一类中的所有车辆特征向量进行求和再求平均值， 然后再使用动量更新的方式 更新特征池中该类中心的特征向量， 并且根据步骤 （22） 计算的损失函数值反向传播， 更新 特征提取网络； 步骤 （24） 、 经过多轮聚类和更新过程后， 学习出一个能提取出目标判别性特征的特征 提取网络 。 4.根据权利要求3所述基于离线聚类的无监督对比学习的多目标跟踪方法， 其特征在 于， 所述步骤 （3） 具体包括如下步骤： 步骤 （31） 、 将视频帧送入到主干网络后， 得到特 征图； 步骤 （32） 、 将特 征图送入到检测器中检测出当前帧的所有车辆， 并得到车辆的检测框 。 5.根据权利要求4所述基于离线聚类的无监督对比学习的多目标跟踪方法， 其特征在 于， 所述步骤 （6） 具体包括如下步骤： 步骤 （61） 、 将之前检测出的当前帧的所有车辆， 将其检测框从步骤 （53） 经过增强的特 征图上给切割下来； 步骤 （62） 、 将步骤 （61） 中切割下来的每辆车送入到步骤 （2） 中学习好的特征提取网络权　利　要　求　书 2/3 页 3 CN 114973167 B 3