(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210643401.3 (22)申请日 2022.06.09 (65)同一申请的已公布的文献号 申请公布号 CN 114742893 A (43)申请公布日 2022.07.12 (73)专利权人 浙江大学湖州研究院 地址 313000 浙江省湖州市西塞山路819号 南太湖新区科技创新综合体B1、 B2幢 2-3层 (72)发明人 任杰　胡亦承　 (74)专利代理 机构 上海新隆知识产权代理事务 所(普通合伙) 31366 专利代理师 金利琴 (51)Int.Cl. G06T 7/73(2017.01)G06V 20/70(2022.01) G06V 10/26(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (56)对比文件 CN 111192270 A,2020.0 5.22 CN 110243370 A,2019.09.17 审查员 秦涛 (54)发明名称 一种基于深度学习的3D激光数据训练与快 速定位方法 (57)摘要 本发明公开一种基于深度学习的3D激光数 据训练与快速定位方法， 包括以下步骤： 1） 3D激 光数据采集， 生成3D环境地图； 2） 在3D环境地 图 中， 挑选可信度高较高的物体进行标注； 3） 将经 步骤2） 的地图生成标注数据， 放入该标注数据生 成软件； 4） 生成扩展数据； 5） 数据放入网络中训 练； 6） 语义分割模块预测标签并用聚类的方式产 生多个子点云； 7） 得到训练后的网络模型； 8） 输 入激光点 云即可得到位姿。 本发明使得3D激光定 位在实际使用时摆脱了对初值的依赖， 只使用采 集到的点云就能够完成位姿预测。 权利要求书1页 说明书4页 附图1页 CN 114742893 B 2022.10.21 CN 114742893 B 1.一种基于深度学习的3D激光数据训练与快速 定位方法， 其特 征在于， 包括以下步骤： 1） 3D激光数据采集， 生成3D环境 地图； 2） 在所述3D环境地 图中， 挑选可信度较高的物体， 即尽量采集环境中面积大、 稳定、 且 不容易移动的物体进行 标注； 3） 在经标注 的地图上生成标注数据， 放入该标注数据生成软件， 该软件可根据地图以 及指定激光特性自动在地图中选取一处位姿， 并生成对应激光点云， 以得到各个位姿与激 光点云的一 一对应关系， 作为训练数据进行训练， 并采用合成数据集扩展样本数量； 4） 生成扩展数据； 5） 数据放入网络中训练， 具体为： 扩展数据生成完毕后， 将大量数据放入搭建好的卷积 神经网络中进行训练； 6） 语义分割模块预测标签并用聚类的方式产生多个子点云,  具体为： 所述卷积神经网 络包含一个语义分割模块用以预测所述步骤2） 中标注物体的语义标签， 用聚类的方式来产 生多个点云子集， 每一次聚类算法输出的多个点集都被当作抽象后的点云再进行下一次处 理； 将聚类后的点云和学习到的高层次特征再映射回原始的所述激光点云， 通过插值的办 法得到传播后的特征， 插值的权重根据点与点之间的距离来计算； 然后， 将所述特征与 原始 的特征进 行拼接， 并利用一个共享的全连接网络来作进一步的特征提取； 最后， 再用一个全 连接网络来输出每个点的类别， 得出所有的点云轮廓； 带有大量点云信息和语义信息的激 光点云， 与其实际位姿之间的关系更加紧密， 将得到的所有点云轮廓数据即n*3的3维点云 矩阵输入至不同的一维的卷积核中， 通过反向传播算法的不断迭代训练， 最终达到根据点 云轮廓直接推测位姿的效果； 7） 得到训练后的网络模型； 8） 输入激光 点云即可得到位姿。 2.根据权利要求1所述的一种基于深度学习的3D激光数据训练与快速定位方法， 其特 征在于， 所述步骤1） 中使用3D激光对需部署环境进行数据采集， 使用SLAM的方式构建环境 3D点云地图。 3.根据权利要求1所述的一种基于深度学习的3D激光数据训练与快速定位方法， 其特 征在于， 所述步骤3） 具体为： 首先根据经步骤2） 标注过的地图生 成标注数据， 并得到不同位 姿对应的激光点云， 这个过程中， 所述软件自带的算法根据之前的标注结果， 自动对生 成的 所述激光点云进行标注处理， 此时得到的标注结果， 多为所述步骤2） 中标注物体的不完整 轮廓。 4.根据权利要求1所述的一种基于深度学习的3D激光数据训练与快速定位方法， 其特 征在于， 所述步骤4） 具体为： 在所述标注数据基础上， 添加少量不同的随机噪声， 并通过数 据增强方法， 对多个数据进行随机 旋转、 排布的方式进行拼接， 以扩展数据集。 5.根据权利要求1所述的一种基于深度学习的3D激光数据训练与快速定位方法， 其特 征在于， 所述步骤8） 具体为： 将实际采集到的所述激光点云输入训练后的所述卷积神经网 络， 该卷积神经网络就能够直接推算出激光雷达的当前位姿信息； 训练后的所述卷积神经 网络具有将所述激光点云进 行语义分割的能力， 同时， 根据带有语义的点云， 能够推算出当 前所在的位姿。权　利　要　求　书 1/1 页 2 CN 114742893 B 2一种基于深度学习的3D 激光数据训练与快速定位方 法 技术领域 [0001]本发明涉及一种基于深度学习的3D激光数据训练与快速 定位方法。 背景技术 [0002]目前主流的使用传感器进行定位的方法分为激光定位和视觉定位两大类， 均在无 人系统等领域进行了广泛应用。 其中， 视觉定位成本低， 信息量较激光定位更丰富， 但受到 光照等条件影响比较大； 激光定位单一传感器成本一般高于视觉传感器， 且信息种类单一， 但激光定位能够提供较为 准确的测距信息， 对于 工业场景中的高精度应用有重要意 义。 [0003]目前激光定位主要采取点云匹配的方式进行， 而无论何种点云匹配， 尤其是大范 围环境中的匹配， 都要求有一个大致准确的初值。 无初值情况下的点云匹配， 会存在计算量 大， 匹配易出错等问题。 而视觉定位， 无论是稀疏还是稠密特征匹配， 均可以通过类似词袋 法等方法来 直接进行定位， 无需初值。 [0004]另一方面， 目前的激光定位往往将整帧激光点云当作一个整体看待， 而不对点云 内部进行区分， 缺少 了对于在视觉定位领域大量运用的语义信息的使用， 这也是 由于激光 数据量少， 很难提取 出丰富的语义信息导 致的。 [0005]最后， 为了避免网络训练的复杂度过高， 近期以来将深度学习用于激光定位领域 的方法， 通常需要激光按照固有的行驶路线采集激光数据， 然后作为训练数据进 行训练。 这 样的方法， 其弊端在于周围环境变化后， 之前的训练结果可能失效； 另一方面， 需要等待路 线规划完 毕， 或者等待项目实施完 毕， 才能够进 行数据采集， 无法在项目前期就进 行有效训 练。 发明内容 [0006]为了解决激光定位对初值依赖过高的问题， 同时对于现有3D激光定位方式进行优 化， 引入激光语义信息在定位中的使用， 本发明提出一种基于深度学习的3D激光数据训练 与快速定位方法。 [0007]本发明可通过以下技 术方案予以实现： [0008]一种基于深度学习的3D激光数据训练与快速 定位方法， 包括以下步骤： [0009]1） 3D激光数据采集， 生成3D环境 地图； [0010]2） 在所述3D环境地图中， 挑选可信度高较高的物体， 即尽量采集环境中面积大、 稳 定、 且不容易移动的物体进行 标注； [0011]3） 在经标注的地图上生成标注数据， 放入该标注数据生成软件,  所述的软件可根 据地图以及指定激光特性自动在地图中选取一处位姿， 并生成对应激光点云， 以得到各个 位姿与激光点云的一一对应关系， 作为训练数据进行训练， 并采用合成数据集扩展样本数 量； [0012]4） 生成扩展数据； [0013]5） 数据放入网络中训练,  具体为： 数据生成完毕后， 将大量数据放入搭建好的卷说　明　书 1/4 页 3 CN 114742893 B 3