(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210924042.9 (22)申请日 2022.08.02 (71)申请人 华为技术有限公司 地址 518129 广东省深圳市龙岗区坂田华 为总部办公楼 (72)发明人 付锦斌　袁鹏　冯柏岚　 (74)专利代理 机构 上海音科专利商标代理有限 公司 31267 专利代理师 夏峰 (51)Int.Cl. G06T 17/00(2006.01) G06V 20/70(2022.01) G06V 20/56(2022.01) G06V 10/74(2022.01) G06V 20/40(2022.01)G06V 10/26(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 道路标注方法、 可读介质、 程序产品和电子 设备 (57)摘要 本申请涉及图像处理技术领域， 提供了一种 道路标注方法、 可读介质、 程序产品和电子设备。 其中， 道路标注方法包括： 根据标注模型接收与 有效网格点对应的空间位置信息和语义类别信 息， 并在判断空间位置信息满足第一条件， 及判 断语义类别信息满足第二条件的情况下， 利用标 注模型对有效网格点进行语义三维重建。 上述道 路标注方法， 引入其他模态信息， 通过其他模态 信息初步实现对 标注模型第一阶段的训练， 以及 通过参考类别信息和语义类别信息二次实现对 标注模型第二阶段的训练， 通过两个维度实现多 模态下的语义监督模式， 降低了标注模型的收敛 难度， 加速了标注模型的收敛速度， 提升了语义 类别信息的精度， 扩大了适用范围。 权利要求书3页 说明书27页 附图13页 CN 115423932 A 2022.12.02 CN 115423932 A 1.一种道路标注方法， 其特 征在于， 所述方法包括： 获取样本数据， 所述样本数据包括与有效 网格点对应的平面 位置信息； 将所述样本数据输入标注模型， 并接收与 所述有效网格点对应的空间位置信 息和语义 类别信息； 在判断所述空间位置信 息满足第 一条件， 及判断所述语义类别信 息满足第 二条件的情 况下， 利用所述标注模型对所述有效 网格点进行语义 三维重建。 2.根据权利要求1所述的方法， 其特征在于， 所述空间位置信 息是否满足所述第 一条件 的判定方式， 包括： 根据所述平面位置信息和所述空间位置信息确定出所述有效网格点在第一平面内的 投影点； 获取与所述有效网格点对应的参考位置信 息， 并根据所述参考位置信 息确定出所述有 效网格点在所述第一平面内的参 考点； 在判断所述投影点和所述参考点之间的距离位于预设距离阈值范围内的情况下， 所述 空间位置信息符合所述第一条件； 在判断所述投影点和所述参考点之间的距离位于所述预设距离 阈值范围外的情况下， 所述空间位置信息不符合所述第一条件。 3.根据权利要求2所述的方法， 其特 征在于， 所述空间位置信息包括高度信息 。 4.根据权利要求3所述的方法， 其特 征在于， 所述 参考位置信息的获取 方式包括： 获取与所述有效 网格点对应的激光雷达点云； 根据所述激光雷达点云对所述有 效网格点进行激光三维重建， 确定出与所述有 效网格 点对应的激光高度， 将所述激光高度作为所述 参考位置信息 。 5.根据权利要求2所述的方法， 其特 征在于， 所述空间位置信息包括深度信息 。 6.根据权利要求2 ‑5中任一项所述的方法， 其特征在于， 所述语义类别信息是否满足所 述第二条件的判定方式， 包括： 获取在所述第一平面内与所述有效 网格点对应的参 考类别信息； 在判断所述语义类别信息和所述参考类别信息之间的相似度位于预设相似度阈值范 围内的情况 下， 所述语义类别 信息符合所述第二条件； 在判断所述语义类别信息和所述参考类别信息之间的相似度位于所述预设相似度阈 值范围外的情况 下， 所述语义类别 信息不符合所述第二条件。 7.根据权利要求6所述的方法， 其特 征在于， 所述 参考类别信息的获取 方式包括： 获取与所述有效 网格点对应的视频流， 其中， 所述视频流包括至少一帧参 考图像； 对所述至少一帧参考图像中的每帧参考图像进行图像语义分割， 确定每帧参考图像中 每个像素点对应的语义类别； 在每帧参考图像中， 将与 所述有效网格点对应的像素点对应的语义类别作为与所述有 效网格点对应的所述 参考类别信息。 8.根据权利要求2 ‑7中任一项所述的方法， 其特征在于， 所述有效网格点的获取方式包 括： 获取自车位姿， 并根据所述自车位姿确定自车运动轨 迹； 根据所述自车运动轨 迹确定出与第二平面对应的重建区域；权　利　要　求　书 1/3 页 2 CN 115423932 A 2对所述重建区域进行网格划分， 得到多个网格点， 从所述多个网格点中筛选出与所述 自车运动轨 迹相关的所述网格点作为所述有效 网格点。 9.根据权利要求8所述的方法， 其特征在于， 所述第一平面为PV视角下的平面， 所述第 二平面为BEV视角下的平面。 10.根据权利要求1 ‑9中任一项所述的方法， 其特征在于， 所述标注模型包括MLP网络模 型。 11.根据权利要求1 ‑10中任一项所述的方法， 其特 征在于， 所述方法还 包括： 在判断所述空间位置信息不满足所述第一条件的情况下， 生成第一调整指令， 并根据 所述第一调整指令调整所述标注模型； 将所述样本数据输入调整后的标注模型， 并接收与所述有 效网格点对应的空间位置信 息， 判断所述空间位置信息是否满足所述第一条件。 12.根据权利要求1 ‑11中任一项所述的方法， 其特 征在于， 所述方法还 包括： 在判断所述语义类别 信息不满足所述第二条件的情况 下， 生成第二调整指令； 根据所述第二调整指令调整所述标注模型； 将所述样本数据输入调整后的标注模型， 并接收与所述有 效网格点对应的语义类别信 息， 判断所述语义类别 信息是否满足所述第二条件。 13.根据权利要求1 ‑12中任一项所述的方法， 其特征在于， 所述在判断所述空间位置信 息满足第一条件， 及判断所述语义类别信息满足第二条件的情况下， 利用所述标注模型对 所述有效 网格点进行语义 三维重建， 包括： 判断所述空间位置信息是否满足所述第一条件； 在判断所述空间位置信 息满足所述第 一条件的情况下， 判断所述语义类别信 息是否满 足所述第二条件； 在判断所述语义类别信 息满足所述第 二条件的情况下， 利用所述标注模型对所述有效 网格点进行语义 三维重建。 14.根据权利要求1 ‑12中任一项所述的方法， 其特征在于， 所述在判断所述空间位置信 息满足第一条件， 及判断所述语义类别信息满足第二条件的情况下， 利用所述标注模型对 所述有效 网格点进行语义 三维重建， 包括： 判断所述空间位置信息是否满足所述第一条件； 在判断所述空间位置信 息满足所述第 一条件的情况下， 判断所述语义类别信 息是否满 足所述第二条件， 以及判断所述空间位置信息是否满足第三条件； 在判断所述语义类别信 息满足所述第 二条件， 以及判断所述空间位置信 息满足所述第 三条件的情况 下， 利用所述标注模型对所述有效 网格点进行语义 三维重建。 15.根据权利要求1 ‑12中任一项所述的方法， 其特征在于， 所述在判断所述空间位置信 息满足第一条件， 及判断所述语义类别信息满足第二条件的情况下， 利用所述标注模型对 所述有效 网格点进行语义 三维重建， 包括： 判断所述空间位置信 息是否满足所述第 一条件， 同时判断所述语义类别信 息是否满足 所述第二条件； 在判断所述空间位置信 息满足所述第 一条件， 且判断所述语义类别信 息满足所述第 二 条件的情况 下， 利用所述标注模型对所述有效 网格点进行语义 三维重建。权　利　要　求　书 2/3 页 3 CN 115423932 A 3