(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211175040.0 (22)申请日 2022.09.26 (71)申请人 上海汽车集团股份有限公司 地址 201203 上海市浦东 新区中国 （上海） 自由贸易试验区松涛路563号1号楼 509室 申请人 上海汽车工业 （集团） 有限公司 (72)发明人 艾建勇　丁文博　 (74)专利代理 机构 北京信远 达知识产权代理有 限公司 1 1304 专利代理师 冯柳伟 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种深度学习网络训练方法、 装置、 设备及 存储介质 (57)摘要 本申请公开了一种视觉感知模 型训练方法、 装置、 设备及存储介质， 可用于人工智能领域， 该 方法中， 首先， 获取相机内参、 相机外参、 相机捕 捉图像以及相机捕捉图像中识别目标的标注二 维表达式； 然后， 根据预设的视觉感知模 型、 相机 内参以及相机外参， 确定相机捕捉图像中识别目 标的预测三维表达式； 接着， 基于识别目标的预 测三维表达式和相机捕捉图像中识别目标的标 注二维表达式， 得到网络损失； 最后， 根据网络损 失， 训练视觉感知模型。 由此， 不需获取识别目标 的三维真值 即可得到网络损失， 从而在训练过程 中完成参数梯度的反向传播， 实现视觉感知模型 的无真值训练， 能够以低成本的方式对视觉感知 模型进行训练。 权利要求书2页 说明书8页 附图2页 CN 115457499 A 2022.12.09 CN 115457499 A 1.一种视 觉感知模型训练方法， 其特 征在于， 所述方法包括： 获取相机内参、 相机外参、 相机捕捉图像以及所述相机捕捉图像中识别目标的标注二 维表达式； 根据预设的视觉感知模型、 所述相机内参以及所述相机外参， 确定所述相机捕捉图像 中识别目标的预测三维表达式； 基于所述识别目标的预测三维表达式以及所述相机捕捉图像中识别目标的标注二维 表达式， 得到网络损失； 根据所述网络损失， 训练视 觉感知模型。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述识别目标的预测三维表达式 以及所述相机捕捉图像中识别目标的标注二维表达式， 得到网络损失， 包括： 基于所述识别目标的预测三维表达式以及预设的坐标系转换规则， 将所述识别目标的 预测三维表达式转换为所述相机捕捉图像所在的坐标系下的投影二维表达式； 基于所述识别目标的投影二维表达式与所述相机捕捉图像中识别目标的标注二维表 达式的差异， 得到损失函数； 根据所述损失函数， 计算网络损失。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述识别目标的投影二维表达式 与所述相机捕捉图像中识别目标的标注二维表达式的差异， 得到损失函数， 包括： 基于所述识别目标的投影二维表达式与所述相机捕捉图像中识别目标的标注二维表 达式中组成所述识别目标的点的坐标值差异和存在性差异， 得到损失函数。 4.根据权利要求1所述的方法， 其特 征在于， 所述识别目标包括： 车道线； 所述基于所述识别目标的预测三维表达式以及所述相机捕捉图像中识别目标的标注 二维表达式， 得到网络损失， 包括： 基于所述识别目标的预测三维表达式在所述相机捕捉图像所在坐标系中的投影二维 表达式与所述相机捕捉图像中识别目标的标注二维表达式的差异， 得到第一损失函数； 基于所述识别目标的预测三维表达式， 计算同一车道的车道宽度差异， 得到第二损 失 函数； 基于所述识别目标的预测三维表达式， 计算同一距离下相邻车道线的高度差异， 得到 第三损失函数； 根据所述第一损 失函数、 所述第二损 失函数以及所述第三损 失函数中的至少一项， 计 算网络损失。 5.根据权利要求4所述的方法， 其特征在于， 所述基于所述识别目标的预测三维坐标 值， 获取同一车道的车道宽度差异， 得到第二损失函数， 包括： 基于所述识别目标的预测三维表达式， 获取同一车道的车道宽度差异 的标准差、 方差 或均方差中的任意 一项； 根据所述同一车道 的车道宽度差异 的标准差、 方差或均方差中的任意一项， 得到第二 损失函数。 6.根据权利要求4所述的方法， 其特征在于， 所述基于所述识别目标的预测三维表达 式， 计算同一距离下相邻车道线的高度差异， 得到第三损失函数， 包括： 基于所述识别目标的预测三维表达式， 计算同一距离下相邻车道线的高度差异的绝对权　利　要　求　书 1/2 页 2 CN 115457499 A 2值、 平方或多次幂中的任意 一项； 根据所述同一距离下相邻车道线的高度差异 的绝对值、 平方或多次幂中的任意一项， 得到第三损失函数。 7.根据权利要求1所述的方法， 其特征在于， 所述根据所述网络损 失， 训练视觉感知模 型， 包括： 根据所述网络损失， 更新视 觉感知模型的参数。 8.一种视觉感知模型训练装置， 其特征在于， 所述装置包括： 数据获取模块， 坐标预测 模块， 损失计算模块以及模型训练模块； 所述数据获取模块， 用于获取相机内参、 相机外参、 相机捕捉图像以及所述相机捕捉图 像中识别目标的标注二维表达式； 所述坐标预测模块， 用于根据 预设的视觉感知模型、 所述相机内参以及所述相机外参， 确定所述相机捕捉图像中识别目标的预测三维表达式； 所述损失计算模块， 用于基于所述识别目标的预测三维表达 式以及所述相机捕捉图像 中识别目标的标注二维表达式， 得到网络损失； 所述模型训练模块， 用于根据所述网络损失， 训练视 觉感知模型。 9.一种视 觉感知模型训练设备， 其特 征在于， 所述设备包括： 存 储器和处 理器； 所述存储器用于存 储程序代码， 并将所述 程序代码传输给 所述处理器； 所述处理器用于根据 所述程序代码中的指令执行权利要求1 ‑7中任一项所述的视觉感 知模型训练方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 指令， 当所述计算机指令在视觉感知模型训练设备上运行时， 所述视觉感知模型训练设备 执行权利要求1 ‑7中任一项所述的视 觉感知模型训练方法的步骤。权　利　要　求　书 2/2 页 3 CN 115457499 A 3