(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210629786.8 (22)申请日 2022.06.06 (71)申请人 上海人工智能创新中心 地址 200232 上海市徐汇区云锦路701号 37、 38层 (72)发明人 李怡康　石博天　李想　 (74)专利代理 机构 上海智晟知识产权代理事务 所(特殊普通 合伙) 31313 专利代理师 李镝的 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06V 20/70(2022.01)G06V 20/56(2022.01) (54)发明名称 一种基于点云弱监 督的实例分割方法 (57)摘要 本发明涉及一种基于点云弱监督的实例分 割方法， 包括： 将激光雷达点云投影到图像平面 形成投影点云； 对投影点云进行提纯， 去除因激 光雷达和相机之间的视差导致的重叠点得到提 纯点云； 将提纯点云中的点分配前景标签/背景 标签； 以及以具有前景标签/背景标签的提纯点 云为监督信号训练分割器， 并利用分割器进行实 例分割预测掩码。 权利要求书3页 说明书11页 附图2页 CN 114972758 A 2022.08.30 CN 114972758 A 1.一种基于点云弱监 督的实例分割方法， 包括： 将激光雷达点云投影到图像平面形成投影点云； 对投影点云进行提纯， 去除因激光雷达和相机之间的视差导致的重叠点得到提纯点 云； 将提纯点云中的点分配前 景标签/背景 标签； 以及 以具有前景标签/背景标签的提纯点云为监督信号训练分割器， 并利用分割器进行实 例分割预测掩码。 2.根据权利要求1所述的基于点云弱监督的实例分割方法， 在所述将激光雷达点云映 射到图像平面形成投影点云的步骤之前， 还包括： 输入图像， 通过图像特征提取器提取图像 特征， 其中图像特 征作为训练分割器的输入特 征； 以及 标注图像中物体的三维包围盒。 3.根据权利要求2所述的基于点云弱监督的实例分割方法， 其特征在于， 在训练分割器 时， 采用点 误差损失函数和图一 致性损失函数来约束分割器的输出。 4.根据权利要求3所述的基于点云弱监督的实例分割方法， 其特征在于， 其中将激光雷 达点云投影到图像平面形成投影点云包括： 激光雷达点云在齐次坐标系下表示为 通过变换矩阵 将 所述激光雷达点 云从激光雷达坐标系投影到相机坐标系下， 再通过相机矩阵 进 一步投影到图像平面形成投影点云， 其中投影点云为： 其中 是所述激 光雷达点云投影到图像平面后在齐次坐 标表示下的点的集 合。 5.根据权利要求3所述的基于点云弱监督的实例分割方法， 其特征在于， 其中对投影点 云进行提纯， 去除因激光雷达和相机之间的视 差导致的重叠点得到提纯点云包括： 将投影到图像平面得到的每个像素P2d和其对应的激光雷达点的深度真值组成稀疏深 度图 以及 使用一个二维滑动窗口 来遍历整张稀疏深度图， 在每一个窗口内， 投影点云根据相 对深度被分割成临近点 和远距点 其中相对深度超过深度阈值的点为远距点 相对深度未超过深度阈值的点 为临近点 其中p(x,y)表示在二维滑动窗口 中一个坐标为(x,y)的像素对应的激光雷达点云中 的点， τdepth表示深度阈值， 采用所述深度阈值能够过滤掉距离较远的点， d(x,y)表示坐 标为 (x,y)的像素对应的深度值， dmin和dmax分别表示在二 维滑动窗口 内的最小深度值和最大 深度值； 通过计算临近点 中的最小包络范围， 将邻近点的最小包络范围内距离较远的点权　利　要　求　书 1/3 页 2 CN 114972758 A 2作为重叠点去除， 得到提纯提纯点云 其中重叠点 为： 其中xmin,xmax是临近点 中在x轴上的最小值和最大值， ymin,ymax是临近点 中 在y轴上的最小值和最大值。 6.根据权利要求5所述的基于点云弱监督的实例分割方法， 其特征在于， 其中将提纯点 云中的点分配前 景标签/背景 标签包括： 根据所述提纯点云和所述三维包围盒之间的位置关系， 将所述提纯点云 分为 在三维包围盒内的点 和在三维包围盒外的点 在三维包围盒内的点 作为正样 本， 并分配前景标签， 将 中围绕在所述三维包围盒附近的一部分点作为负样本， 分配 背景标签， 其中正样本和负 样本的数量共s个； 根据图像特 征相似度将所述 正样本和负 样本的伪标签传播到周围8个 像素上。 7.根据权利要 求6所述的基于点 云弱监督的实例分割方法， 其特征在于， 其中将 中 围绕在所述 三维包围盒附近的一部分点作为负 样本， 分配背景 标签包括： 首先将所述三维包围盒的8个定点投影到图像平面， 然后计算得到最小的包络矩形 选择 中能够投影落在包络矩形b内的部分点作为负 样本 8.根据权利要求6所述的基于点云弱监督的实例分割方法， 其特征在于， 其中根据图像 特征相似度将所述 正样本和负 样本的伪标签传播到周围8个 像素上包括： 当图像特征相似度超过相 似度阈值时， 将选自正样本和负样本的候选点pc的标签传播 到图像周围8个像素上， 使得这8个像素具有与候选点pc同样的类别标签， 其中标签传播的 判断公式为： 其中l(p)是点p被分配的伪标签， 是候选点pc在图像上周围的8个像素， 是点p从经过预训练得到的图像特征提取器 中抽取的图像特 征， τdense是相似度阈值。 9.根据权利要求6所述的基于点云弱监督的实例分割方法， 其特征在于， 其中在训练分 割器时， 采用点 误差损失函数和图一 致性损失函数来约束分割器的输出包括： 采用双线性插值方法构建点误差损失函数， 其中通过点误差损失函数能够衡量预测掩 码与伪标签之间损失， 点 误差损失函数为： 其中K为图像中实例的总数， S为所有带有伪标签的点， pks是第k个实例中的第s个点， lks 则为点pks的伪标签， Lpoint表示点误差损失。 10.根据权利要求9所述的基于点云弱监督的实例分割方法， 其特征在于， 其中在训练 分割器时， 采用点 误差损失函数和图一 致性损失函数来约束分割器的输出包括：权　利　要　求　书 2/3 页 3 CN 114972758 A 3