(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210933811.1 (22)申请日 2022.08.04 (66)本国优先权数据 202111500721.5 2021.12.09 CN (71)申请人 杭州海康威视数字技 术股份有限公 司 地址 310051 浙江省杭州市滨江区阡 陌路 555号 (72)发明人 张杰　 (74)专利代理 机构 北京柏杉松知识产权代理事 务所(普通 合伙) 11413 专利代理师 李冬　项京 (51)Int.Cl. G06T 7/292(2017.01) G06K 9/62(2022.01)G06V 10/74(2022.01) G06V 10/762(2022.01) (54)发明名称 一种跨相机 轨迹关联方法、 装置及电子设备 (57)摘要 本申请实施例提供了一种跨相机轨迹关联 方法、 装置及电子设备， 涉及计算机视觉技术领 域， 获取多个相机各自采集的目标的轨迹， 作为 目标轨迹； 获取各目标轨迹中每两个轨迹的图像 特征之间的相似度， 作为关联相似度； 将关联相 似度最大的两个轨迹进行关联， 得到包含该两个 轨迹的轨迹集合作为新的目标轨迹； 计算新的目 标轨迹与其他目标轨迹的图像特征之间的关联 相似度， 并返回执行将关联相似度最大的两个轨 迹进行关联， 得到包含该两个轨迹的轨迹集合作 为新的目标轨迹的步骤， 直至得到第一数目个目 标轨迹。 基于此， 能够有效地将各目标轨迹进行 关联。 权利要求书4页 说明书15页 附图5页 CN 115272426 A 2022.11.01 CN 115272426 A 1.一种跨相机 轨迹关联方法， 其特 征在于， 所述方法包括： 获取多个相机各自采集的目标的轨 迹， 作为目标轨 迹； 获取各目标轨 迹中每两个轨 迹的图像特 征之间的相似度， 作为关联相似度； 将关联相似度最大的两个轨迹进行关联， 得到包含该两个轨迹的轨迹集合作为新的目 标轨迹； 计算新的目标轨迹与其他目标轨迹的图像特征之间的关联相似度， 并返回执行所述将 关联相似度最大的两个轨迹进 行关联， 得到包含该两个轨迹的轨迹集合作为新的目标轨迹 的步骤， 直至得到第一数目个目标轨 迹。 2.根据权利要求1所述的方法， 其特征在于， 所述获取各目标轨迹 中每两个轨迹的图像 特征之间的相似度， 作为关联相似度， 包括： 分别获取每一目标轨 迹在各视频帧中对应的图像特 征， 作为该目标轨 迹的图像特 征； 计算每两个目标轨 迹的图像特 征之间的相似度， 作为原 始相似度； 基于所述多个相机的视野区域之间的关系， 对所述原始相似度进行优化， 得到各关联 相似度。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述多个相机的视野区域之间的 关系， 对所述原 始相似度进行优化， 得到各关联相似度， 包括： 针对每两个目标轨迹， 若该两个目标轨迹各自对应的时间段之间存在重合部分， 且该 两个目标轨迹各自所属的相机的视野区域之间不存在重合部分， 则将该两个目标轨迹对应 的原始相似度置为第一数值， 得到各关联相似度。 4.根据权利要求2所述的方法， 其特征在于， 所述基于所述多个相机的视野区域之间的 关系， 对所述原 始相似度进行优化， 得到各关联相似度， 包括： 针对每一目标轨迹， 将该目标轨迹输入至预先训练 的该目标轨迹所属的第 一相机对应 的时空转移网络， 得到所述多个相机中除所述第一相机外的每一第二相机的转移概率和预 测时长； 其中， 所述时空转移网络为基于所述第一相机对应的训练样本进行训练得到的； 所述 训练样本为基于所述第一相机中的历史样本轨迹， 以及所述多个相机的历史关联结果得到 的； 每一第二相 机的转移概率表示： 该目标轨迹所属的目标在离开所述第一相 机后进入该 第二相机的概率； 每一第二相 机的预测时长表示： 该目标轨迹所属的目标从离开所述第一 相机至进入该第二相机之间的时长； 将与该目标轨迹和第三相机中的目标轨迹对应的原始相似度置为第一数值； 其中， 所 述第三相机的转移 概率小于第一阈值； 和/或， 将与该目标轨迹和 第四相机中的待处理轨迹 对应的原始相似度置为第一数值， 得到各关联相似度； 其中， 所述第四相机的转移 概率大于 第一阈值， 且所述待处理轨迹与该目标轨迹对应的时间段之间的时长， 与所述第四相 机的 预测时长 差值的绝对值大于第二阈值。 5.根据权利要求 4所述的方法， 其特 征在于， 所述方法还 包括： 在得到第一数目个目标轨迹后， 确定关联得到的前第二数目个轨迹集合， 作为待处理 轨迹集合； 针对每一待处理轨迹集合， 将该待处理轨迹集合中的一个轨迹作为输入数据， 将该待 处理轨迹集合中的其他轨迹与该轨迹对应的时间段之 间的时长作为输出数据， 对该轨迹所权　利　要　求　书 1/4 页 2 CN 115272426 A 2属的相机对应的时空转移网络进行训练。 6.根据权利要求1所述的方法， 其特征在于， 在所述获取各目标轨迹 中每两个轨迹的图 像特征之间的相似度， 作为关联相似度之后， 所述方法还 包括： 计算包含所述关联相似度的相似度矩阵的各 特征值； 确定大于第三阈值的特 征值的数目， 作为第一数目。 7.根据权利要求1所述的方法， 其特征在于， 所述获取多个相机各自采集的目标的轨 迹， 作为目标轨 迹， 包括： 获取多个相机各自采集的目标的原 始轨迹； 针对每一原始轨迹， 根据第 一检测方式和/或第 二检测方式， 确定该原始轨迹对应的视 频图像中发生目标 交换的视频帧， 作为目标视频帧； 其中， 所述第一检测方式基于所述视频 图像中目标的朝向确定目标视频帧； 所述第二检测方式基于所述视频图像包含的各视频帧 的图像特 征的相似度的平均水平确定目标视频帧； 按照所述目标视频帧在所述视频图像中的位置， 对该原始轨迹进行划分， 得到多个目 标轨迹。 8.根据权利要求7 所述的方法， 其特 征在于， 所述第一检测方式包括以下步骤： 针对所述视频图像中的每一视频帧， 将该视频帧中与 该原始轨迹对应的图像区域输入 至预先训练的朝向分类网络， 得到该视频帧中该原 始轨迹所属的目标的朝向； 若该视频帧中该原始轨迹所属的目标的朝向， 与 所述视频图像中下一视频帧中该原始 轨迹所属的目标的朝向之间的改变量， 大于第四阈值， 则将该视频帧确定为所述视频图像 中发生目标交换的目标视频帧。 9.根据权利要求7 所述的方法， 其特 征在于， 所述第二检测方式包括以下步骤： 针对所述视频图像中的每一视频帧， 确定所述视频图像中该视频帧 以及该视频帧之前 的视频帧， 作为第一视频帧， 以及确定所述视频图像中该视频帧之后的视频帧， 作为第二视 频帧； 计算该原始轨迹在所述第 一视频帧中对应的各图像特征之间的相似度的平均 水平， 作 为第一平均相似度； 以及该原始轨迹在所述第二视频帧中对应各图像特征之间的相似度的 平均水平， 作为第二平均相似度； 确定对应的第 一平均相似度和第 二平均相似度的和值最大的视频帧， 作为所述视频图 像中发生目标交换的目标视频帧。 10.一种跨相机 轨迹关联装置， 其特 征在于， 所述装置包括： 目标轨迹获取模块， 用于获取多个相机各自采集的目标的轨 迹， 作为目标轨 迹； 关联相似度获取模块， 用于获取各目标轨迹中每两个轨迹的图像特征之间的相似度， 作为关联相似度； 关联模块， 用于将关联相似度最大的两个轨迹进行关联， 得到包含该两个轨迹的轨迹 集合作为新的目标轨 迹； 计算模块， 用于计算新的目标轨迹与其他目标轨迹的图像特征之间的关联相似度， 并 触发所述关联模块， 直至得到第一数目个目标轨 迹。 11.根据权利要求10所述的装置， 其特 征在于， 所述关联相似度获取模块， 包括： 图像特征获取子模块， 用于分别获取每一目标轨迹在各视频帧中对应的图像特征， 作权　利　要　求　书 2/4 页 3 CN 115272426 A 3