(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210200266.5 (22)申请日 2022.03.02 (71)申请人 清华大学 地址 100084 北京市海淀区清华园 (72)发明人 郑四发　吴浩然　张创　许庆　 王建强　李克强　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 黄德海 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 迭代优化式的端到端智能车辆感知方法、 装 置及电子设备 (57)摘要 本申请涉及车辆技术领域， 特别涉及一种迭 代优化式的端到端智能车辆感知方法、 装置及电 子设备， 方法包括： 获取智能车辆的感知信息； 将 感知信息输入至迭代优化后的端对端网络， 执行 检测任务、 跟踪任务和预测任务， 同时得到检测 结果、 跟踪结果和预测结果， 其中， 端对端网络包 括多目标检测网络、 多目标跟踪网络和多目标轨 迹预测网络； 以及基于检测结果、 跟踪结果和预 测结果获取端到端智能车辆的感知结果。 由此， 解决了跟踪、 检测及预测三类感知任务相互依 赖、 算法独立、 协 同性较低及遮挡带来的目标丢 失等问题， 通过端到端的检测跟踪、 三类感知模 块一体化和迭代优化方案的实施， 提高了被遮挡 物的跟踪率、 跟踪结果的鲁棒性以及感知方案的 实时性和精度。 权利要求书3页 说明书12页 附图3页 CN 114677555 A 2022.06.28 CN 114677555 A 1.一种迭代优化式的端到端智能车辆感知方法， 其特 征在于， 包括以下步骤： 获取智能车辆的感知信息； 将所述感知信息输入至迭代优化后的端对端网络， 执行检测任务、 跟踪任务和预测任 务， 同时得到检测结果、 跟踪 结果和预测结果， 其中， 所述端对端网络包括多目标检测网络、 多目标跟踪网络和多目标轨 迹预测网络； 以及 基于所述检测结果、 跟踪结果和预测结果获取 所述端到端智能车辆的感知结果。 2.根据权利要求1所述的方法， 其特征在于， 在将所述感知信 息输入至所述迭代优化后 的端对端网络之前， 还 包括： 对所述端对端网络进行端到端训练， 其中， 在训练过程中， 采取预设的迭代优化式的训 练模式进 行网络前向传播， 分别得到检测、 跟踪、 预测的初始结果， 且进 行迭代优化， 将预测 网络用于跟踪部分的交并比矩阵的求解， 得到新的跟踪结果， 并将检测结果和跟踪结果用 于预测网络， 得到新的预测结果， 以再用于跟踪得到新的跟踪结果， 重复迭代， 直到满足网 络收敛条件， 得到所述迭代优化后的端对端网络 。 3.根据权利要求1或2所述的方法， 其特 征在于， 所述多目标检测网络的检测公式为： Fi＝CNN(IMGi,IMGi‑1,Oi‑1) Ci＝FC(Fi) 其中， Fi为特征向量， IMGi为当前时刻的图像信息， IMGi‑1为上一时刻的图像信息， Oi‑1为 上一时刻的检测网络输出信息， Ci为低维的编码向量， 为检测目标相关的重要特征， Oi为 当前时刻的解码向量。 4.根据权利要求1或2所述的方法， 其特 征在于， 多目标跟踪网络的跟踪公式为： If 目标跟踪成功， 第k个目标跟踪结果 为 If 第k个目标跟踪结果从 变为 If 目标跟踪失败， 但继续保留该目标k； If 观测结果 为新目标， 其中， 为第i帧第Ki个目标的解码向量， 为第i‑1帧第Ki‑1个目标在第i帧的预测 输出， 为第i帧第k个预测和第j个检测的交并比计算结果， i表示检测中的第i帧， σ 、 β 均 为预设阈值。 5.根据权利要求1或2所述的方法， 其特征在于， 所述多目标轨迹预测网络的预测公式 为： 或 权　利　要　求　书 1/3 页 2 CN 114677555 A 2其中， 为基于历史观测信息的预测向量， k为目标 ， 为历史信息的预测向量， 为当前帧所有目标的交 互结果， 为当前帧所有目标的预测向量。 6.一种迭代优化式的端到端智能车辆感知装置， 其特 征在于， 包括： 获取模块， 用于获取智能车辆的感知信息； 执行模块， 用于将所述感知信息输入至迭代优化后的端对端 网络， 执行检测任务、 跟踪 任务和预测任务， 同时得到检测结果、 跟踪结果和预测结果， 其中， 所述端对端网络包括多 目标检测网络、 多目标跟踪网络和多目标轨 迹预测网络； 以及 感知模块， 用于基于所述检测结果、 跟踪结果和预测结果获取所述端到端智能车辆的 感知结果。 7.根据权利要求6所述的装置， 其特 征在于， 所述感知模块， 具体用于： 对所述端对端网络进行端到端训练， 其中， 在训练过程中， 采取预设的迭代优化式的训 练模式进 行网络前向传播， 分别得到检测、 跟踪、 预测的初始结果， 且进 行迭代优化， 将预测 网络用于跟踪部分的交并比矩阵的求解， 得到新的跟踪结果， 并将检测结果和跟踪结果用 于预测网络， 得到新的预测结果， 以再用于跟踪得到新的跟踪结果， 重复迭代， 直到满足网 络收敛条件， 得到所述迭代优化后的端对端网络 。 8.根据权利要求6或7 所述的装置， 其特 征在于， 所述多目标检测网络的检测公式为： Fi＝CNN(IMGi,IMGi‑1,Oi‑1) Ci＝FC(Fi) 其中， Fi为特征向量， IMGi为当前时刻的图像信息， IMGi‑1为上一时刻的图像信息， Oi‑1为 上一时刻的检测网络输出信息， Ci为低维的编码向量， 为检测目标相关的重要特征， Oi为 当前时刻的解码向量。 9.根据权利要求6或7 所述的装置， 其特 征在于， 多目标跟踪网络的跟踪公式为： If 目标跟踪成功， 第k个目标跟踪结果 为 If 第k个目标跟踪结果从 变为 If 目标跟踪失败， 但继续保留该目标k； If 观测结果 为新目标， 其中， 为第i帧第Ki个目标的解码向量， 为第i‑1帧第Ki‑1个目标在第i帧的预测权　利　要　求　书 2/3 页 3 CN 114677555 A 3