(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210736827.3 (22)申请日 2022.06.27 (65)同一申请的已公布的文献号 申请公布号 CN 114842455 A (43)申请公布日 2022.08.02 (73)专利权人 小米汽车 科技有限公司 地址 100176 北京市大兴区北京经济技 术 开发区科创十街15号院5号楼6层618 室 (72)发明人 牛宝龙　 (74)专利代理 机构 北京英创嘉友知识产权代理 事务所(普通 合伙) 11447 专利代理师 曾尧 (51)Int.Cl. G06V 20/58(2022.01)G06V 10/764(2022.01) G06V 10/74(2022.01) G01S 17/93(2020.01) G01S 17/86(2020.01) G01S 13/93(2020.01) G01S 13/86(2006.01) (56)对比文件 CN 114529884 A,202 2.05.24 CN 113920487 A,202 2.01.11 CN 114596555 A,2022.06.07 WO 20210 56499 A1,2021.04.01 审查员 蒋娜 (54)发明名称 障碍物检测方法、 装置、 设备、 介质、 芯片及 车辆 (57)摘要 本公开涉及自动驾驶技术领域的一种障碍 物检测方法、 装置、 设备、 介质、 芯片及车辆， 包 括： 获取同一时刻采集的待检测图像和雷达点 云； 将待检测图像和雷达点云输入至图像标注模 型， 得到图像标注模型输出的针对待检测图像的 目标标注图像； 图像标注模型对待检测图像中障 碍物的原始点云簇进行多次补全后再标注得到 目标标注图像， 多次补全是对原始点云簇镜像复 制后， 根据前一次补全后点云簇从全量图像集中 确定目标点 云簇， 再通过目标点 云簇对前一次补 全后点云簇进行补全， 原始点云簇是将待检测图 像与雷达点 云进行匹配后得到的； 对目标标注图 像进行障碍物检测， 得到障碍物检测结果。 对原 始点云簇进行多次补全后再标注， 可以提高图像 标注准确性。 权利要求书3页 说明书16页 附图4页 CN 114842455 B 2022.09.09 CN 114842455 B 1.一种障碍物检测方法， 其特 征在于， 包括： 获取同一时刻采集的待检测图像以及雷达点云； 将所述待检测图像以及所述雷达点云输入至图像标注模型中， 得到所述图像标注模型 输出的针对所述待检测图像的目标 标注图像； 其中， 所述图像标注模型对所述待检测图像中障碍物的原始点云簇进行多次补全后再 标注得到所述 目标标注图像， 多次补全是对所述原始点云簇镜像复制后， 根据前一次补全 后的点云簇从全量图像集中确定目标点云簇， 再通过所述目标点云簇对所述前一次补 全后 的点云簇进行补全， 所述原始点云簇是将所述待检测图像与所述雷达点云进 行匹配后得到 的； 对所述目标 标注图像进行障碍物检测， 得到障碍物检测结果； 其中， 所述图像标注模型 是通过如下 方式对所述待检测图像进行 标注的： 将所述待检测图像与 所述雷达点云进行匹配， 确定所述待检测图像中障碍物的原始点 云簇； 根据所述原 始点云簇中每 个点的坐标， 确定所述原 始点云簇的中轴线； 以所述中轴线为镜像轴， 对所述原 始点云簇中每 个点进行镜像复制， 得到 镜像点云簇； 将所述镜像点云簇中与所述原 始点云簇中坐标重复的点剔除； 将所述原 始点云簇和剔除重复点后的镜像点云簇作为所述初始补全点云簇； 从所述全量图像集中， 确定相似度与所述初始补全点云簇最高的目标点云簇； 根据所述目标点云簇对所述初始补全点云簇进行补全， 得到待标注目标点云簇； 对所述待标注目标点云簇进行 标注， 得到所述目标 标注图像。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述待检测图像与 所述雷达点云进 行匹配， 确定所述待检测图像中障碍物的原 始点云簇， 包括： 将所述待检测图像与 所述雷达点云进行匹配， 并基于预先搭建的分类模型进行障碍物 分类， 得到障碍物分类点云簇， 其中预先搭建的分类模型用于对匹配后得到的点云和预测 点云进行障碍物分类； 对所述障碍物分类点云簇进行 预标注， 得到各 所述障碍物点云对应的预 标注框； 根据所述雷达点云， 确定所述预标注框内障碍物点云的原始坐标， 得到所述待检测图 像中障碍物的原 始点云簇 。 3.根据权利要求2所述的方法， 其特 征在于， 所述预测点云是通过如下 方式确定的： 提取匹配后得到的点云中每 个点的单点维数 特征以及总体维数 特征； 计算所述单点维数 特征与所述总体维数 特征的维数 特征比例； 根据所述维数 特征比例， 提取 所述待检测图像的图像特 征； 将所述图像特征编码为 隐空间向量， 并基于反卷积点云解码器， 将所述 隐空间向量转 换为点云坐标， 根据所述 点云坐标构建所述预测点云。 4.根据权利要求2所述的方法， 其特征在于， 所述对所述障碍物分类点云簇进行预标 注， 得到各 所述障碍物点云对应的预 标注框， 包括： 对障碍物分类点云簇进行 预标注， 得到分类标注框； 计算所述分类标注框中障碍物点云与所述雷达点云的重 叠度； 将重叠度低于预设重叠度阈值的分类标注框剔除， 得到各所述障碍物点云簇对应的预权　利　要　求　书 1/3 页 2 CN 114842455 B 2标注框。 5.根据权利要求1 ‑4中任一项所述的方法， 其特征在于， 所述根据 所述目标点云簇对所 述初始补全点云簇进行补全， 得到待标注目标点云簇， 包括： 将所述目标点云簇映射到所述初始补全点云簇中； 将所述目标点云簇中映射后坐标与所述初始补全点云簇中原始点的坐标重合的目标 点剔除； 根据所述初始补全点云和剔除重合 点后的目标点云簇， 确定所述标注目标点云簇 。 6.一种障碍物检测装置， 其特 征在于， 包括： 获取模块， 被 配置为获取同一时刻采集的待检测图像以及雷达点云； 输入模块， 被配置为将所述待检测图像以及所述雷达点云输入至 图像标注模型中， 得 到所述图像标注模型输出的针对所述待检测图像的目标 标注图像； 其中， 所述图像标注模型对所述待检测图像中障碍物的原始点云簇进行多次补全后再 标注得到所述 目标标注图像， 多次补全是对所述原始点云簇镜像复制后， 根据前一次补全 后的点云簇从全量图像集中确定目标点云簇， 再通过所述目标点云簇对所述前一次补 全后 的点云簇进行补全， 所述原始点云簇是将所述待检测图像与所述雷达点云进 行匹配后得到 的； 检测模块， 被 配置为对所述目标 标注图像进行障碍物检测， 得到障碍物检测结果； 其中， 所述图像标注模型 是通过如下 方式对所述待检测图像进行 标注的： 将所述待检测图像与 所述雷达点云进行匹配， 确定所述待检测图像中障碍物的原始点 云簇； 根据所述原 始点云簇中每 个点的坐标， 确定所述原 始点云簇的中轴线； 以所述中轴线为镜像轴， 对所述原 始点云簇中每 个点进行镜像复制， 得到 镜像点云簇； 将所述镜像点云簇中与所述原 始点云簇中坐标重复的点剔除； 将所述原 始点云簇和剔除重复点后的镜像点云簇作为所述初始补全点云簇； 从所述全量图像集中， 确定相似度与所述初始补全点云簇最高的目标点云簇； 根据所述目标点云簇对所述初始补全点云簇进行补全， 得到待标注目标点云簇； 对所述待标注目标点云簇进行 标注， 得到所述目标 标注图像。 7.一种电子设备， 其特 征在于， 包括： 处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述处 理器被配置为： 获取同一时刻采集的待检测图像以及雷达点云； 将所述待检测图像以及所述雷达点云输入至图像标注模型中， 得到所述图像标注模型 输出的针对所述待检测图像的目标 标注图像； 其中， 所述图像标注模型对所述待检测图像中障碍物的原始点云簇进行多次补全后再 标注得到所述 目标标注图像， 多次补全是对所述原始点云簇镜像复制后， 根据前一次补全 后的点云簇从全量图像集中确定目标点云簇， 再通过所述目标点云簇对所述前一次补 全后 的点云簇进行补全， 所述原始点云簇是将所述待检测图像与所述雷达点云进 行匹配后得到 的；权　利　要　求　书 2/3 页 3 CN 114842455 B 3