(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210999023.2 (22)申请日 2022.08.19 (71)申请人 浙江未来 技术研究院 （嘉兴） 地址 314000 浙江省嘉兴 市南湖区汇信路 152号 (72)发明人 高坤　邵航　夏晗　刘威　 (74)专利代理 机构 北京华清迪源知识产权代理 有限公司 1 1577 专利代理师 胡乐 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/277(2017.01) G06T 7/73(2017.01) G06T 7/80(2017.01) G06T 5/50(2006.01)G06T 3/40(2006.01) G06V 10/22(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) (54)发明名称 一种跨尺度目标跟踪方法和装置 (57)摘要 本发明公开了一种跨尺度目标跟踪方法和 装置， 方法包括： 搭建训练数据采集装置并训练 得到跨尺度目标跟踪模型； 搭建跨尺度全景感知 系统并进行图像的采集， 计算得到全局感知图像 的相邻图像的变换矩阵； 利用相邻图像的变换矩 阵将多张全局感知图像进行拼接融合， 得到360 ° 全景拼接图像IG； 计算目标在局部感知图像 中的 坐标定位结果； 根据目标在局部感知图像中的跟 踪轨迹得到目标在对应全局感知图像中的跟踪 轨迹； 通过拼接得到360 °全景拼接图像IG中目标 的具体轨迹。 本发明所利用的全 景感知系统解决 了目标感知分辨率低、 边缘成像质量差的问题， 为高精度的目标跟踪方法的训练提供了数据支 持， 使得该目标跟踪方法精度高， 适用性 好。 权利要求书3页 说明书8页 附图3页 CN 115330838 A 2022.11.11 CN 115330838 A 1.一种跨尺度目标跟踪方法， 其特 征在于， 包括： 步骤一， 搭建训练数据采集装置， 对搭建的训练数据采集装置进行感知成像相机位置 的标定， 并利用搭建的训练数据采集装置进行数据采集， 然后训练得到跨尺度目标跟踪模 型； 步骤二， 搭建跨尺度全景感知系统， 利用跨尺度全景感知系统进行图像的采集， 得到多 张全局感知图像和多张局部感知图像， 并计算得到全局感知图像的相邻图像的变换矩阵； 利用所述全局感知图像的相邻图像的变换矩阵将多张全局感知图像进行拼接融合， 得到 360°全景拼接图像IG； 步骤三， 对步骤二中采集到的多张局部感知图像， 分别利用步骤一训练得到的跨尺度 目标跟踪模型进行处理， 得到目标在局部感知图像中的坐标位置定位结果； 基于卡尔曼滤 波算法计算目标在局部感知图像中的跟踪轨迹， 并根据目标在局部感知图像中的跟踪轨迹 得到目标在 对应全局感知图像中的跟踪轨迹； 将多张全局感知图像中的目标轨迹利用所述 全局感知图像的相邻图像的变换矩阵进行变换， 得到360 °全景拼接图像IG中目标的具体轨 迹。 2.根据权利要求1所述的跨尺度目标跟踪方法， 其特征在于， 所述跨尺度全景感知系统 包括排布成正十二边形的十二组固定装置， 每组固定装置上均固定有一个相机阵列固定支 架， 每个相 机阵列固定支架上均固定有一组相 机阵列； 十二组相 机阵列分别对应覆盖正十 二边形周向的十二个外围区域； 每组相机阵列均包括三台感知成像相机， 所述三台感知成像相机包括两台局部感知成 像相机和一台全局感知成像相机， 所述全局感知成像相机固定在两台局部感知成像相机的 中间； 相邻两组相机阵列的全局感知成像相机的成像区域具有重叠部分； 对于每组相机阵 列， 全局感知成像相 机的视场角大于两台局部感知成像相 机的视场角之和， 全局感知成像 相机的垂直视场角大于局部感知成像相 机的垂直视场角的2倍， 所述局部感相 机的视场光 轴能够任意调整角度。 3.根据权利要求2所述的跨尺度目标跟踪方法， 其特征在于， 所述训练数据采集装置包 括一个所述相机阵列固定支 架和固定在所述相机阵列固定支 架上的一组所述相机阵列。 4.根据权利要求3所述的跨尺度目标跟踪方法， 其特征在于， 在跨尺度全景感知系统 中， 所有感知成像相 机的视场光轴均与所述正十二边形共面， 所有全局感知成像相 机的视 场光轴的反向延长线均经过所述正十二边形的中心； 所有全局感知成像相机的水平视场角 均大于或等于45 °， 所有全局感知成像相机和所有局部感知成像相 机的成像分辨率均大于 或等于90 0万像素。 5.根据权利要求4所述的跨尺度目标跟踪方法， 其特征在于， 步骤一中对搭建的训练数 据采集装置进行感知成像相机位置的标定， 并利用搭建的训练数据采集装置进行数据采 集， 然后训练得到跨尺度目标跟踪模型 具体包括： 对训练数据采集装置中的两 台局部感知成像相机和全局感知成像相机进行位置标定， 并利用特征点匹配方法得到两台局部感知成像相机分别相对于全局感知成像相机的映射 矩阵 和 利用搭建的训练数据采集装置在特定地点进行图像数据的采集， 得到局部感知图像数权　利　要　求　书 1/3 页 2 CN 115330838 A 2据集和全局感知图像数据集， 并对局部感知图像数据集和全局感知图像数据集中采集到的 目标进行定位框标注； 将带有标注的局部感知图像数据集按照预设比例划分成训练集、 测 试集和验证集； 利用现有的目标跟踪算法及其对应的损失函数对训练集进行训练， 并根据预先设定的 训练策略迭代训练模型， 直至损失函数收敛， 得到跨尺度目标跟踪模型。 6.根据权利要求5所述的跨尺度目标跟踪方法， 其特征在于， 所述特征点匹配方法为 surf特征点匹配算法； 所述特定地 点包括步行街广场和十 字路口。 7.根据权利 要求5所述的跨尺度目标跟踪方法， 其特征在于， 所述预设比例为8:1:1； 所 述目标跟踪算法为ByteTrack 算法。 8.根据权利要求5所述的跨尺度目标跟踪方法， 其特 征在于， 所述 步骤二具体包括： 搭建跨尺度全景感知系统， 并使用方波同步触发方法进行12组相机阵列的图像数据的 同步采集， 将t时刻12组相机阵列感知到的全局感知图像记为 以及将感知到 的局部感 知图像记为 i表示一组相机阵列的索引， i∈{1,2, …,12}； 对于t时刻下全局感知图像序列 使用基于图像特征的匹配算法分别 对序列中的相邻图像 和 进行特征提取和匹配， 得到全局感知图像的相邻图像的变换 矩阵 利用全局感知图像的相邻图像的变换矩阵， 将12张全局感知图像进行拼接融合， 得到 360°全景拼接图像IG。 9.根据权利要求8所述的跨尺度目标跟踪方法， 其特 征在于， 所述 步骤三具体包括： 对于t时刻下12组相机阵列感知到的24张局部感知图像， 利用步骤一训练得到的跨尺 度目标跟踪模型分别进行处 理， 得到目标在局部感知图像中的坐标位置 定位结果； 基于卡尔曼滤波算法预测t ‑1时刻保存的目标轨迹在t时刻的位置， 并基于IoU策略或 外观表征向量进行相似度矩阵计算， 然后利用匈 牙利算法进行匹配； 对匹配到的轨迹， 结合匹配结果和t时刻的目标定位结果， 利用卡尔曼滤波算法进行t 时刻轨迹更新， 然后将更新后的轨迹作为t 时刻的目标跟踪轨迹； 对于未匹配到的轨迹， 放 到未丢失轨迹集中， 在下一时刻再进 行匹配； 对于未匹配到的定位结果， 作为新的轨迹加入 到当前跟踪轨 迹集， 并根据卡尔曼 滤波算法进行轨 迹的更新； 根据映射矩阵 和 将目标在局部感知图像中的跟踪轨迹， 映射回对应的全局感 知图像中， 得到目标在全局感知图像中的跟踪轨 迹； 针对全局感知图像的获取的目标轨迹， 利用所述全局感知图像的相邻图像的变换矩阵 将12张全局感知图像的目标轨迹进行变换， 得到360 °全景拼接图像IG中目标的具体 轨迹， 实现亿像素级全景图像的跨尺度目标跟踪。 10.一种跨尺度目标跟踪装置， 其特 征在于， 包括： 跨尺度目标跟踪模型训练模块， 用于搭建训练数据采集装置， 对搭建的训练数据采集 装置进行感知成像相 机位置的标定， 并利用搭建的训练数据采集装置进行数据采集， 然后 训练得到跨尺度目标跟踪模型；权　利　要　求　书 2/3 页 3 CN 115330838 A 3