(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210728847.6 (22)申请日 2022.06.24 (71)申请人 浙江华锐捷技 术有限公司 地址 310053 浙江省杭州市滨江区浦沿街 道南环路2 930号3号楼3 01室 (72)发明人 缪其恒　吴长伟　苏志杰　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 张洁 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/764(2022.01) G06V 20/58(2022.01) G06T 7/73(2017.01) G06T 7/80(2017.01)G06F 17/16(2006.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种目标对象的运动轨 迹确定方法及装置 (57)摘要 本申请公开一种目标对象的运动轨迹确定 方法及装置， 基于采集的当前视频帧和前序视频 帧， 确定各目标对象； 针对任一目标对象， 根据目 标对象在当前视频帧中的图像信息， 确定目标对 象的几何信息； 将几何信息通过空间坐标系下的 投影和相机坐标系下的位置的一致性关系， 确定 出目标对象的当前空间位置； 根据目标对象 的当 前空间位置和历史空间位置， 确定目标对象在后 续时刻的预测空间位置。 该方式基于图像时序纹 理相关性及路面目标运动学模型， 可准确跟踪视 觉场景目标轨迹； 基于待预测目标与其周围目标 三维空间位置与运动关系， 通过时序长短期记忆 网络可准确预测目标未来特定时间片段内的运 动轨迹， 为后续自身车辆驾驶行为决策提供重要 依据。 权利要求书2页 说明书12页 附图2页 CN 115272407 A 2022.11.01 CN 115272407 A 1.一种目标对象的运动轨 迹确定方法， 其特 征在于， 包括： 基于采集的当前视频帧和所述当前视频帧之前的前序视频帧， 确定各目标对象； 针对所述各目标对象中的任一目标对象， 根据所述目标对象在所述当前视频帧中的图 像信息， 确定所述 目标对象的几何信息； 将所述几何信息通过空间坐标系 下的投影和相 机 坐标系下的位置的一致性关系， 确定出在所述当前视频帧所在时刻下所述目标对象的当前 空间位置； 根据所述 目标对象的当前空间位置和所述 目标对象的历史空间位置， 确定所述 目标对象在后续时刻的预测空间位置 。 2.如权利要求1所述的方法， 其特 征在于， 所述基于采集的当前视频帧和所述当前视频帧之前的前序视频帧， 确定各目标对象， 包括： 对采集的任一视频帧进行目标检测； 若确定当前视频帧中的第一目标检测结果和采集时间位于所述当前视频帧之前的前 一帧视频帧中的第二目标检测结果的区域重合度满足第一设定阈值， 则确定所述第一目标 检测结果 为目标对象； 否则， 则确定所述第 一目标检测结果的第 一特征描述和所述第 二目标检测结果的第 二 特征描述的相关性匹配置信度； 若所述相关性匹配置信度满足第二设定阈值， 则确定所述 第一目标检测结果 为目标对象。 3.如权利要求2所述的方法， 其特 征在于， 所述相关性匹配置信度是通过基于二进制交叉熵的权重损失函数和目标对象所属类 别的类别中心损失函数确定的。 4.如权利要求1所述的方法， 其特 征在于， 所述各目标对象中包括车辆； 所述根据 所述目标对象在所述当前视频帧中的图像信 息， 确定所述目标对象的几何信 息， 包括： 针对所述各目标对象中的任一目标车辆， 通过卷积神经网络的第 一主干和第 二主干分 别对所述目标车辆的图像信息进 行处理， 分别得到所述目标车辆的第一几何信息和第二几 何信息； 所述第一几何信息包括所述目标车辆的尾部信息、 所述目标车辆的朝向信息、 所述 目标车辆的关键点在所述当前视频帧中的位置信息， 所述第二几何信息包括所述目标车辆 的深度信息和所述目标 车辆的尺寸信息 。 5.如权利要求 4所述的方法， 其特 征在于， 所述将所述几何信 息通过空间坐标系下的投影和相机坐标系下的位置的一致性关系， 确定出在所述当前视频帧所在时刻下 所述目标对象的当前空间位置， 包括： 基于所述目标车辆的尾部信 息得到所述目标车辆的车尾特征线， 基于所述目标车辆的 朝向信息得到所述目标 车辆的朝向特 征线； 基于所述目标车辆的车尾特征线、 所述目标车辆的朝向特征线、 所述目标车辆的关键 点在所述当前视频帧中的位置信息和所述目标车辆的尺寸信息， 通过能量函数中对应的各 个校正权 重， 得到所述目标 车辆在所述当前视频帧所在时刻的当前空间位置 。 6.如权利要求5所述的方法， 其特 征在于， 所述能量 函数通过如下 方式确定， 包括： 针对样本车辆， 确定所述样本车辆的各车辆顶点在基于所述样本车辆的底面中心点构权　利　要　求　书 1/2 页 2 CN 115272407 A 2建的空间坐标系下的坐标； 根据所述样本车辆的各车辆顶点在所述空间坐标系下的坐标， 得到所述样本车辆的各 车辆顶点在所述相机坐标系下的投影点坐标； 确定所述各车辆顶点的投影点坐标与所述各 车辆顶点在所述相机坐标系下的坐标之间的各组对应关系； 对于所述各组对应关系指示的所述样本车辆的同一车辆顶点， 基于所述同一车辆顶点 的偏差、 所述样本车辆的尺寸偏差、 所述样本车辆的朝向线偏差和所述样本车辆的车尾偏 差， 确定能量 函数。 7.如权利要求1所述的方法， 其特 征在于， 所述根据 所述目标对象的当前空间位置和所述目标对象的历史空间位置， 确定所述目 标对象在后续时刻的预测空间位置， 包括： 将所述目标对象的空间运动轨迹、 所述目标对象的周边对象的空间运动轨迹及车道线 信息， 通过长 短记忆神经网络LSTM， 确定所述目标对象在后续时刻的预测空间位置； 所述目 标对象的空间运动轨迹是通过所述目标对 象的当前空间位置和所述目标对 象的历史空间 位置确定的； 所述周边对象的空间运动轨迹是通过所述周边对象的当前空间位置和所述周 边对象的历史空间位置确定的； 所述周边对象为所述各目标对象中与所述目标对象满足距 离阈值的目标对象。 8.一种目标对象的运动轨 迹确定装置， 其特 征在于， 包括： 目标对象确定单元， 用于基于采集的当前视频帧和所述当前视频帧之前的前序视频 帧， 确定各目标对象； 运动轨迹预测单元， 用于针对所述各目标对象中的任一目标对象， 根据所述目标对象 在所述当前视频帧中的图像信息， 确定所述 目标对象的几何信息； 将所述几何信息通过空 间坐标系下的投影和相机坐标系下的位置的一致性关系， 确定出在所述当前视频帧所在时 刻下所述目标对象的当前 空间位置； 根据所述目标对象的当前 空间位置和所述目标对象的 历史空间位置， 确定所述目标对象在后续时刻的预测空间位置 。 9.一种计算机设备， 其特 征在于， 包括： 存储器， 用于存 储计算机程序； 处理器， 用于调用所述存储器中存储的计算机程序， 按照获得的程序执行如权利要求 1‑7任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述存储介质存储有程序， 当所述程序在 计算机上运行时， 使得计算机实现执 行如权利要求1 ‑7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115272407 A 3