(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210631423.8 (22)申请日 2022.06.06 (71)申请人 阿里巴巴 （中国） 有限公司 地址 311121 浙江省杭州市余杭区五常街 道文一西路969号3幢5层5 54室 (72)发明人 刘袁　蔡思佳　陈静远　邓兵　 黄建强　 (74)专利代理 机构 北京合智同创知识产权代理 有限公司 1 1545 专利代理师 李杰　兰淑铎 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/22(2022.01) G06V 10/26(2022.01) G06V 10/40(2022.01)G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 20/70(2022.01) G06T 17/00(2006.01) G06T 7/73(2017.01) G06T 7/20(2017.01) G06N 3/04(2006.01) (54)发明名称 自动打标、 检测模型训练及目标识别方法、 和电子设备 (57)摘要 本申请实施例提供了一种自动打标方法、 检 测模型训练方法、 目标识别方法和电子设备， 其 中， 自动打标方法包括： 根据对相邻帧3D点云数 据进行目标检测的检测结果， 确定未跟踪匹配的 跟踪目标； 为未跟踪匹配的所述跟踪目标设置跟 踪任务并进行持续跟踪， 直至所述跟踪目标对应 的检测框中不存在所述跟踪目标的3D点 云数据， 或者根据3D点云数据确定所述跟踪目标超出预 设范围； 根据跟踪结果为未跟踪匹配的所述跟踪 目标进行数据打标。 通过本申请实施例， 使得数 据打标能够更为准确， 打标质量也更高， 进而使 得检测模型训练效果更好。 将其应用于目标识别 过程中， 能够获得更为 准确的目标识别结果。 权利要求书3页 说明书13页 附图4页 CN 114937177 A 2022.08.23 CN 114937177 A 1.一种自动打标 方法， 包括： 根据对相邻帧3D点云数据进行目标检测的检测结果， 确定未跟踪匹配的跟踪目标； 为未跟踪 匹配的所述跟踪目标设置跟踪任务并进行持续跟踪， 直至所述跟踪目标对应 的检测框中不存在所述跟踪目标的3D点云数据， 或者根据3D点云数据确定所述跟踪目标超 出预设范围； 根据跟踪结果 为未跟踪匹配的所述跟踪目标进行 数据打标。 2.根据权利要求1所述的方法， 其中， 在所述根据跟踪结果为3D点云数据进行数据打标 之前， 所述方法还 包括： 基于持续跟踪过程， 获得 所述跟踪目标对应的跟踪框序列； 至少根据 所述跟踪框序列对应的跟踪信 息， 判断是否对所述跟踪框序列对应的跟踪框 进行滤除操作； 根据判断结果对所述跟踪框序列进行对应的操作， 并根据操作 结果确定对未匹配跟踪 的所述跟踪目标的跟踪结果。 3.根据权利要求2所述的方法， 其中， 所述至少根据所述跟踪框序列对应的跟踪信息， 判断是否对所述跟踪框序列对应的跟踪框进行 滤除操作， 包括以下至少之一： 根据所述跟踪框序列中的跟踪框与对应的检测框的匹配信 息与预设匹配 阈值的关系， 判断是否对所述跟踪框序列中的所有跟踪框进行 滤除； 根据所述跟踪框序列的持续 时间长度与 预设时间长度阈值的关系， 判断是否对所述跟 踪框序列中的所有跟踪框进行 滤除； 根据所述跟踪框序列中各个跟踪框中所述跟踪目标的3D点云数据的数量与预设数量 阈值的关系， 判断是否对所述跟踪框序列中的所有跟踪框进行 滤除。 4.根据权利要求3所述的方法， 其中， 所述根据操作结果确定对未匹配跟踪的所述跟踪 目标的跟踪结果， 包括： 根据操作结果确定保留下来的跟踪框， 并从中选择出跟踪框 中的3D点云数据的数量排 序满足预设排序标准的跟踪框； 基于选择出的跟踪框， 确定对未匹配跟踪的所述跟踪目标的跟踪结果。 5.根据权利要求1 ‑4任一项所述的方法， 其中， 所述方法还 包括： 若根据对相邻帧3D点云数据进行目标检测的检测结果， 确定跟踪 匹配的跟踪目标为从 远及近的跟踪目标， 则获取 所述跟踪目标对应的跟踪框序列； 确定所述跟踪框序列中最初始的跟踪框， 以及最初始的跟踪框对应的3D点云数据帧的 初始时间； 获取时间早于所述初始时间的预设帧数的3D点云数据帧； 基于所述 最初始的跟踪框， 对预设帧数的3D点云数据帧进行跟踪； 根据跟踪结果， 为预设帧数的3D点云数据帧中的跟踪目标进行 数据打标。 6.根据权利要求1 ‑4任一项所述的方法， 其中， 在所述根据对相邻帧3D点云数据进行目 标检测的检测结果， 确定未跟踪匹配的跟踪目标之前， 所述方法还 包括： 通过基于3D点云数据进行目标检测的检测模型， 对3D点云数据进行目标检测； 其中， 所 述检测模型为基于点云 分割辅助任务进行训练的机器学习模型。 7.根据权利要求6所述的方法， 其中， 所述方法还 包括：权　利　要　求　书 1/3 页 2 CN 114937177 A 2使用3D点云样本数据， 对所述检测模型进行训练； 其中， 所述检测模型包括主干网络部分、 检测头网络部分和辅助网络部分； 所述主干网 络部分， 用于对3D点云样 本数据进 行特征提取， 并输出对应的特征向量； 所述检测头网络部 分， 用于基于所述主干网络部分输出 的特征向量， 进行目标检测； 所述辅助网络部分， 用于 基于所述主干网络部 分输出的特征向量， 对3D点云样本数据中的每一个位置是否属于目标 对象样本进行 预测， 并输出 预测信息 。 8.根据权利要求7所述的方法， 其中， 所述使用3D点云样本数据， 对所述检测模型进行 训练， 包括： 将所述3D点云样本数据输入所述待训练的检测模型； 通过所述检测模型的主干网络部分， 对所述3D点云样本数据进行特征提取， 并输出对 应的特征向量； 通过所述检测模型的检测头网络部分， 基于所述特征向量进行目标检测， 获得检测结 果； 通过所述检测模型的辅助网络部分， 基于所述特征向量， 对所述3D点云样本数据中的 每一个位置是否属于目标对象样本进行 预测， 并输出 预测信息； 根据所述检测结果及其对应的第一损 失函数， 获得第一损 失值； 根据所述预测信息及 其对应的第二损失函数， 获得第二损失值； 根据所述第一损失值和所述第二损失值， 对所述检测模型进行训练。 9.一种检测模型训练方法， 所述检测模型包括主干网络部分、 检测头网络部分和辅助 网络部分； 所述方法包括： 获取3D点云样本数据， 通过所述检测模型的主干网络部分对所述3D点云样本数据进行 特征提取， 获得对应的特 征向量； 通过所述检测模型的检测头网络部分， 基于所述特征向量进行目标检测， 获得检测结 果； 通过所述检测模型的辅助网络部分， 基于所述特征向量， 对所述3D点云样本数据中的 每一个位置是否属于目标对象样本进行 预测， 并输出 预测信息； 根据所述检测结果及其对应的第一损 失函数， 获得第一损 失值； 根据所述预测信息及 其对应的第二损失函数， 获得第二损失值； 根据所述第一损失值和所述第二损失值， 对所述检测模型进行训练。 10.根据权利要求9所述的方法， 其中， 所述通过所述检测模型的辅助网络部分， 基于所 述特征向量， 对所述3D点云样本数据中的每一个位置是否属于目标对象样本进行预测， 并 输出预测信息， 包括： 通过所述检测模型的辅助网络 部分， 基于所述特 征向量进行语义分割； 根据语义分割的结果， 判断3D点云样本数据中的每一个位置是否属于目标对象样本进 行预测， 并输出 预测信息 。 11.根据权利要求10所述的方法， 其中， 所述基于所述特 征向量进行语义分割， 包括： 对所述特征向量进行上采样， 获得与所述主干网络部分输入的3D点云样本数据相同维 度的特征向量； 基于相同维度的所述特 征向量， 对3D点云样本数据进行语义分割。权　利　要　求　书 2/3 页 3 CN 114937177 A 3