(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211194508.0 (22)申请日 2022.09.28 (71)申请人 深圳海星智驾科技有限公司 地址 518110 广东省深圳市龙华区观湖街 道鹭湖社区澜清一路6号1号研发楼 801 (72)发明人 王发平　庄鸿杰　李南星　 (74)专利代理 机构 北京三聚阳光知识产权代理 有限公司 1 1250 专利代理师 胡晓静 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 20/56(2022.01) (54)发明名称 基于像素与点云特征融合的目标检测网络 模型训练方法 (57)摘要 本发明实施例涉及一种基于像素与点云特 征融合的目标检测网络模型训练方法， 包括： 获 取工程车辆所处行驶环境的点云和图像； 将所述 点云投影到所述图像上， 得到投影图像； 获取所 述投影图像的像素通道特征； 基于所述像素通道 特征对初始网络模型进行训练， 得到训练完成的 目标检测 网络模型。 由此方法， 通过控制点云与 不同数量的像素通道进行绑 定得到投影图像， 进 而根据投影图像以及投影图像对应的图像特征 训练目标检测网络模型， 通过此种方式训练得到 的目标检测网络模型进行目标检测， 可以避免传 感器相对运动产生的误差， 使得目标检测更精 准。 权利要求书2页 说明书10页 附图5页 CN 115457293 A 2022.12.09 CN 115457293 A 1.一种基于像素与点云特 征融合的目标检测网络模型的训练方法， 其特 征在于， 包括： 获取工程车辆所处行驶环境的点云和图像； 将所述点云投影到所述图像上， 得到投影图像； 获取所述投影图像的像素通道特 征； 基于所述像素通道特征对初始网络模型进行训练， 得到训练完成的目标检测网络模 型。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述点云投影到所述图像上， 得到 投影图像， 包括： 当存在误差时， 基于预设规则将所述点云与所述图像的像素通道进行绑定， 得到投影 图像。 3.根据权利要求2所述的方法， 其特征在于， 所述当存在误差时， 基于预设规则将所述 点云与所述图像的像素通道进行绑定， 得到投影图像， 包括： 当只存在横向误差或纵向误差时， 控制每 个点云绑定第一预设数量的像素通道； 当所述横向误差和纵向误差同时存在时， 控制每个点云绑定第二预设数量的像素通 道； 将点云与像素通道 绑定完成后的图像作为投影图像。 4.根据权利要求3所述的方法， 其特征在于， 所述获取所述投影图像的像素通道特征， 包括： 采用图像 语义分割方法， 获取每 个点云绑定的像素通道的类别； 基于所述类别， 确定每 个点云绑定的像素通道组成的像素区域的像素通道特 征。 5.根据权利要求 4所述的方法， 其特 征在于， 所述方法还 包括： 将所述像素通道特 征输入至多层感知机进行 特征混合， 得到像素通道混合特 征。 6.所述基于所述像素通道特征对初始网络模型进行训练， 得到训练完成的目标检测网 络模型， 包括： 将所述像素通道混合特征输入至初始网络模型中进行模型训练， 直至所述初始网络模 型输出的结果满足预设条件， 则确定所述初始网络模型训练完成， 将训练完成的初始网络 模型作为目标检测网络模型。 7.一种基于像素与点云特 征融合的目标检测方法， 其特 征在于， 包括： 获取目标工程车辆所处行驶环境的点云和图像； 将所述点云投影到所述图像上， 得到投影图像； 将所述投影图像输入至如权利要求1 ‑6任一项所构建的目标检测网络模型中， 检测所 述目标工程车辆所处行驶环境的多个目标。 8.一种基于像素与点云特 征融合的目标检测网络模型的训练装置， 其特 征在于， 包括： 获取模块， 用于获取工程车辆所处行驶环境的点云和图像； 投影模块， 用于将所述 点云投影到所述图像上， 得到投影图像； 所述获取模块， 还用于获取 所述投影图像的像素通道特 征； 训练模块， 用于基于所述像素通道特征对初始网络模型进行训练， 得到训练完成的目 标检测网络模型。 9.一种基于像素与点云特 征融合的目标检测装置， 其特 征在于， 包括：权　利　要　求　书 1/2 页 2 CN 115457293 A 2获取模块， 用于获取目标工程车辆所处行驶环境的点云和图像； 投影模块， 用于将所述 点云投影到所述图像上， 得到投影图像； 检测模块， 用于将所述投影图像输入至目标检测网络模型中， 检测所述目标工程车辆 所处行驶环境的多个目标。 10.一种电子设备， 其特征在于， 包括： 处理器和存储器， 所述处理器用于执行所述存储 器中存储的基于像素与点云特征融合的目标检测网络模型的训练程序和基于像素与点云 特征融合的目标检测程序， 以实现权利要求 1～6中任一项 所述的基于像素与点云特征融合 的目标检测网络模型的训练方法和权利要求7中所述的基于像素与点云特征融合的目标检 测方法。 11.一种存储介质， 其特征在于， 所述存储介质存储有一个或者多个程序， 所述一个或 者多个程序可被一个或者多个处理器执行， 以实现权利要求 1～6中任一项所述的基于像素 与点云特征融合的目标检测网络模型的训练方法和权利要求7中所述的基于像素与点云特 征融合的目标检测方法。权　利　要　求　书 2/2 页 3 CN 115457293 A 3