(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210542138.9 (22)申请日 2022.05.18 (71)申请人 哈尔滨工业大 学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号 申请人 哈尔滨工业大 学重庆研究院 (72)发明人 崔建勋　曲明成　徐培刚　李博文　 (74)专利代理 机构 哈尔滨华夏松花江知识产权 代理有限公司 23213 专利代理师 张利明 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/40(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01)G06K 9/62(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于多重特征相似性匹配算法的视觉 多目标跟踪方法 (57)摘要 一种基于多重特征相似性匹配算法的视觉 多目标跟踪方法， 涉及自动驾驶感知和安防监控 领域。 解决了现有多目标跟踪方法缺少对检测目 标和已存在跟踪轨迹之间的时空特征相关性考 量， 存在跟踪准确率低的问题。 本发明获取t时刻 的目标检测集合； 对历史轨迹进行纹理特征提 取； 对每个新目标的纹理特征进行空间融合， 再 对每条历史轨迹进行时空特征融合， 对每条历史 轨迹时空融合后的纹理特征和每个新目标的纹 理特征进行多重融合， 最后将t时刻的目标与所 述历史跟踪轨迹匹配， 完成多目标跟踪。 本发明 适用于目标跟踪。 权利要求书4页 说明书8页 附图1页 CN 114820714 A 2022.07.29 CN 114820714 A 1.一种基于多重特 征相似性匹配算法的视 觉多目标跟踪方法， 其特 征在于， 包括： 步骤一、 采用CenterNet目标检测算法对待检测视频流 中含有目标的图像进行采集， 并 将采集的含有目标的图像采用紧邻矩形框的方式进行目标标识， 获取t 时刻含有目标的图 像中目标集 合Bt； 步骤二、 采用ResNet50网络对t时刻含有目标的图像中目标集合Bt中所有目标和t时刻 历史轨迹集合Tt‑1中的每条历史轨迹 分别进行纹理特征提取； 所述每条历史轨迹为t ‑1个时 刻含有目标图像中每 个目标对应匹配跟踪获得； 步骤三、 采用空间特征融合深度神经网络对t时刻图像中每个目标的纹理特征与该时 刻图像中其他 目标的纹理特征进行空间融合， 获取t 时刻图像中每个目标空间融合后的纹 理特征； 采用时空特征融合深度神经网络对t时刻历史轨迹集合Tt‑1的每条历史轨迹分别进行 时空特征融合， 获取每条历史轨 迹时空融合后的纹 理特征； 步骤四、 采用多重特征关联深度神经网络将每条历史轨迹时空融合后的纹理特征分别 与t时刻图像中所有目标纹理特征分别进 行融合， 获取每条历史轨迹与 t时刻图像中每个目 标的相似性得分； 步骤五、 利用每条历史轨迹与t时刻图像中每个目标特征的相似性得分构建相似性得 分矩阵； 步骤六、 利用所述相似性得分矩阵构建待匹配二分图； 步骤七、 利用匈牙利算法和待 匹配二分图， 将t时刻图像 中的目标分别与 所述历史跟踪 轨迹匹配跟踪， 完成多目标跟踪。 2.根据权利要求1所述的一种基于多重特征相似性匹配算法的视觉多目标跟踪方法， 其特征在于， 步骤三中， 获取t时刻图像中每 个目标空间融合后的纹 理特征的具体过程 为： 对t时刻的任意目标j的文理特征 与该时刻图像中的其他目标的纹理 进行时空融 合； 采用： 计算目标j的纹理与目标o1的纹理的空间注意力分数sjo1， 其中<.， .>表示向量的内积， W1为空间融合共享 参数； 其中, 表示t时刻除目标j的所有目标的集 合； 采用公式： 计算目标j的文理特征与目标o1的文理特征的空间注意力系数αjo1； k1表示t时刻图像 中除目标j和目标o1以外的任意 一个目标； 采用公式： 计算目标j空间融合后的纹 理特征 权　利　要　求　书 1/4 页 2 CN 114820714 A 23.根据权利要求2所述的一种基于多重特征相似性匹配算法的视觉多目标跟踪方法， 其特征在于， 步骤三中， 获取每条历史轨 迹时空融合后的纹 理特征的具体过程 为： 首先， 对t时刻目标轨 迹集合的每条历史轨 迹进行空间融合； 对于t时刻的历史轨迹中目标i时刻 τ 的纹理特征 与同一时刻图像中被检测到的其它 目标对应的纹理分别进行空间融合， 其中， Nτ为时刻τ被检测到的目标总数， t ‑q≤τ≤t‑1； 表示目标o2时刻 τ 的纹 理特征； 采用： 计算目标i与目标o2时刻 τ 的空间注意力分数sio2， 其中<.， .>表示向量的内积， W1为空间 融合共享 参数； 采用： 计算目标i时刻τ的空间注意力系数αio2， k2表示时刻τ 图像中除目标i和目标o2以外的 任意一个目标； 采用： 获取空间融合后的目标i时刻τ 的纹理特征 对空间融合后的每个历史轨迹中目标i 进行时间融合； 采用： 计算目标i的时间注意力分数sτ； W2为时间融合共享 参数； 采用： 计算目标i的时间注意力系数ατ； 其中， q为时刻； 采用： 计算目标i的历史轨 迹时空融合后的纹 理特征 4.根据权利要求1所述的一种基于多重特征相似性匹配算法的视觉多目标跟踪方法， 其特征在于， 步骤四中， 采用多重特征关联深度神经网络将每条历史轨迹时空融合后的纹 理特征分别与t时刻图像中所有目标纹 理特征分别进行融合的具体方法为： 分别对每个目标历 史轨迹时空融合后的纹理特征 与t时刻每个目标空间融合后的权　利　要　求　书 2/4 页 3 CN 114820714 A 3