(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210894983.2 (22)申请日 2022.07.28 (71)申请人 山东新一代信息产业 技术研究院有 限公司 地址 250100 山东省济南市高新区港兴三 路北段未来创业广场3号楼1 1-12层 (72)发明人 尹青山　高明　李洪生　 (74)专利代理 机构 济南信达专利事务所有限公 司 37100 专利代理师 姜鹏 (51)Int.Cl. G06V 10/77(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01)G06T 17/00(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于注意机制的点云目标检测方法及 系统 (57)摘要 本发明涉及系统环 境感知技术领域， 具体为 一种基于注 意机制的点云目标检测方法， 从二维 特征BEV图提取上下文特征， 并从二维骨干网络 提取空间特征； 将从二维特征BEV图提取的上下 文特征与二维骨干网络提取到的空间特征连接 后， 送入RPN中生成更精确的三维提议框； 有益效 果为： 本发 明提出的基于注意机制的点云目标检 测方法及系统将即插即用的基于自注意力机制 的模块插入三维目标检测器中， 通过直接建模来 捕捉通道之间的相互关系和位置之间的长范围 依赖， 从而获得全局结构信息。 在KITT I数据集上 的实验观察到了其相对于基线网络在平均精度 以及各项评估指标。 权利要求书3页 说明书6页 附图2页 CN 115439703 A 2022.12.06 CN 115439703 A 1.一种基于注意机制的点云目标检测方法， 其特征在于： 所述基于注意机制的点云目 标检测方法包括： 从二维特 征BEV图提取 上下文特征， 并从二维骨干网络提取空间特 征； 将从二维特征BEV图提取的上下文特征与二维骨干网络提取到的空间特征连接后， 送 入RPN中生成更精确的三维提 议框； 将特征节点i的特征xi通过线性层， 转换为查询Query向量Qi， 同时， 将所有特征节点通 过线性层， 分别提取到的关键词K ey向量K和价 值Value向量V； 生成一个三维特 征图， 通过重组操作转 化为二维特征BEV图； 卷积送入RPN中， 进行三维提 议框的生成。 2.根据权利要求1所述的一种基于注意机制的点云目标检测方法， 其特征在于： 从二维 骨干网络提取 空间特征时， 通过自注意力机制捕捉当前特征节点和其他所有 特征节点的相 似度， 从而为每一个特 征节点i编码全局结构信息； 从二维特征BEV图提取的上下文特征与二维骨干网络提取到的空间特征连接后， 在ROI 池化模块同样放置 了一个MSA模块 来生成更精准的最终预测结果。 3.根据权利要求2所述的一种基于注意机制的点云目标检测方法， 其特征在于： 查询 Query向量Qi转换时， 当前特征节点i的查询向量为Qi， Qi与K中所有关键词Kj的相似度通过 点乘获得， 相似度通过softmax函数归一 化变成特 征权重wij， 生成注意力图； 节点位置i,j之间的相互作用， rij可由下式表示： rij＝wijvj 其中wij表示特征权重， vj表示特征节点j的价值向量， 将这些位置之间的相互作用相加 起来就是当前 特征节点i的全局上 下文向量rij， 可由下式表示： 4.根据权利要求1所述的一种基于注意机制的点云目标检测方法， 其特征在于： 二维特 征BEV图转换时， 三维骨干网络采用了四个卷积块， 每个卷积块的卷积核 数(输出通道数)分 别为16， 32， 32， 64； 四个卷积块分别包含1， 3， 3， 3个卷积层， 每个卷积块的第一层使用步长为2， 卷积核尺 寸为(3,3,3)的稀疏卷积层， 将输入的三维特征图降采样为原来的一半， 再接几个步长为1 的子流形 卷积层； 所有的卷积层后都跟有一个批归一化层和ReLU层， 网络的最后， 一个卷积核数为128， 步长为(2,1,1)， 卷积核尺寸为(3,1,1)的输出卷积层进一步压缩Z轴的信息， 生成一个(W/ 8,H/8,D/16,128)的三维特征 图， 通过重组操作转化为(W/8,H/8,D/16 ×128)的二维特征 BEV图。 5.根据权利要求1所述的一种基于注意机制的点云目标检测方法， 其特征在于： 三维提 议框生成时， 二 维骨干网络采用了两个卷积块， 每个卷积块的卷积核 数， 输出通道数分别为 64和128， 这两个卷积块都包 含5个卷积层； 第一个卷积块步长为1， 保持第一个卷积块输出的特征图尺寸与原来输入的特征图的 尺寸一样； 第二个卷积块的第一个卷积层block  2‑1使用步长为2的卷积层， 将输入的上一 阶段的特 征图降采样为原来的一半；权　利　要　求　书 1/3 页 2 CN 115439703 A 2对于这两个卷积块输出的特征图， 分别使用步长为1和2的反卷积进行上采用并连接； 最后通过两个1 ×1卷积送入RPN中， 进行三维提 议框的生成。 6.一种如上述权利要求1 ‑5所述的基于注意机制的点云目标检测系统， 其特征在于： 所 述点云目标检测系统包括提取模块、 生成模块、 多头自注意力模块、 转化模块以及二 维骨干 网络设计模块； 提取模块， 用于从二维特 征BEV图提取 上下文特征， 并从二维骨干网络提取空间特 征； 生成模块， 用于将从二维特征BEV图提取的上下文特征与二维骨干网络提取到的空间 特征连接后， 送入RPN中生成更精确的三维提 议框； 多头自注意力模块， 用于将特征节点i的特征xi通过线性层， 转换为查询Query向量Qi， 同时， 将所有特 征节点通过线性层， 分别提取到的关键词K ey向量K和价 值Value向量V； 转化模块， 用于生成一个三维特 征图， 通过重组操作转 化为二维特征BEV图； 二维骨干网络设计模块， 用于卷积送入RPN中， 进行三维提 议框的生成。 7.根据权利要求6所述的一种基于注意机制的点云目标检测方法及系统， 其特征在于： 所述提取模块中， 从二维骨干网络提取空间特征时， 通过自注意力机制捕捉当前特征节点 和其他所有特 征节点的相似度， 从而为每一个特 征节点i编码全局结构信息； 生成模块中， 从二维特征BEV图提取的上下文特征与二维骨干网络提取到的空间特征 连接后， 在ROI池化模块同样放置 了一个MSA模块 来生成更精准的最终预测结果。 8.根据权利要求7所述的一种基于注意机制的点云目标检测方法及系统， 其特征在于： 所述多头自注 意力模块中， 查询Query向量Qi转换时， 当前特征节 点i的查询向量为Qi， Qi与K 中所有关键词Kj的相似度通过点乘获得， 相似度通过softmax函数归一化变成特征权重wij， 生成注意力图； 节点位置i,j之间的相互作用， rij可由下式表示： rij＝wijvj 其中wij表示特征权重， vj表示特征节点j的价值向量， 将这些位置之间的相互作用相加 起来就是当前 特征节点i的全局上 下文向量rij， 可由下式表示： 9.根据权利要求8所述的一种基于注意机制的点云目标检测方法及系统， 其特征在于： 所述转化模块中， 三维骨干网络采用了四个卷积块， 每个卷积块的卷积核数(输出通道数) 分别为16， 32， 32， 64； 四个卷积块分别包含1， 3， 3， 3个卷积层， 每个卷积块的第一层使用步长为2， 卷积核尺 寸为(3,3,3)的稀疏卷积层， 将输入的三维特征图降采样为原来的一半， 再接几个步长为1 的子流形 卷积层； 所有的卷积层后都跟有一个批归一化层和ReLU层， 网络的最后， 一个卷积核数为128， 步长为(2,1,1)， 卷积核尺寸为(3,1,1)的输出卷积层进一步压缩Z轴的信息， 生成一个(W/ 8,H/8,D/16,128)的三维特征 图， 通过重组操作转化为(W/8,H/8,D/16 ×128)的二维特征 BEV图。 10.根据权利要求9所述的一种基于注意机制的点云目标检测方法及系统， 其特征在 于： 所述二 维骨干网络 设计模块中， 二维骨干网络采用了两个卷积块， 每个卷积块的卷积核权　利　要　求　书 2/3 页 3 CN 115439703 A 3