(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210513187.X (22)申请日 2022.05.11 (71)申请人 广东工业大 学 地址 510000 广东省广州市东 风东路729号 (72)发明人 王涛　程良伦　张志刚　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 吕金金 (51)Int.Cl. G06T 7/73(2017.01) G06T 1/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种机械臂六自由度抓取位姿估计方法和 装置 (57)摘要 本发明公开了机械臂六自由度抓取位姿估 计方法和装置， 所述方法包括： 获取目标物体的 点云数据； 利用PointNet++网络对所述点 云数据 进行特征提取， 得到点云特征； 通过第一卷积神 经网络从点云特征中获取目标物体的全量抓取 点， 并利用最远点采样算法从全量抓取点中提取 若干候选抓取点； 根据点云特征确定各候选抓取 点对应的索引特征， 得到由候选抓取点及其对应 索引特征 组成的候选抓取点特征； 将候选抓取点 特征输入第二卷积神经网络中， 得到各候选抓取 点对应的抓取方向； 将候选抓取点特征输入至多 分支神经网络模型中， 得到六自由度抓取位姿； 根据各候选抓取点对应的抓取方向和六自由度 抓取位姿确定目标物体的候选抓取位姿， 以使抓 取作业的灵活性更高。 权利要求书2页 说明书8页 附图2页 CN 114882111 A 2022.08.09 CN 114882111 A 1.一种机 械臂六自由度抓取位姿估计方法， 其特 征在于， 包括： 获取目标物体的点云数据， 所述 点云数据包 含所述目标物体的空间位置信息； 利用PointNet++网络对所述 点云数据进行 特征提取， 得到点云特 征； 通过预设的第 一卷积神经网络从所述点云特征中获取所述目标物体的全量抓取点， 并 利用最远点采样算法从全量所述 抓取点中提取若干候选抓取点； 根据所述点云特征确定各所述候选抓取点对应的索引特征， 得到由所述候选抓取点及 其对应索引特 征组成的候选抓取点特 征； 将所述候选抓取点特征输入预设的第 二卷积神经网络 中， 得到各所述候选抓取点对应 的抓取方向； 将所述候选抓取点特征输入至多分支神经网络模型中， 得到夹爪各指间宽度、 候选抓 取置信度、 抓取 前进距离和机 械臂末端法兰盘旋转角度； 根据各所述候选抓取点对应的抓取方向、 夹爪各指间宽度、 候选抓取置信度、 抓取前进 距离以及机 械臂末端法兰盘旋转角度， 确定所述目标物体的候选抓取位姿。 2.根据权利要求1所述的机械臂六自由度抓取位姿估计方法， 其特征在于， 所述第 一卷 积神经网络包括： 由三个一维卷积层组成的卷积块， 以及连接所述卷积块的Sigmo id激活函数； 所述卷积块中， 各一维卷积层之间均通过LeakyReLU激活函数依次连接 。 3.根据权利要求1所述的机械臂六自由度抓取位姿估计方法， 其特征在于， 所述第 二卷 积神经网络包括： 两个一维卷积层、 全连接层以及连接所述全连接层的Sigmo id激活函数； 其中， 所述一维卷积层与所述全连接层之间通过LeakyReLU激活函数 连接。 4.根据权利要求3所述的机械臂六自由度抓取位姿估计方法， 其特征在于， 所述将所述 候选抓取点特征输入预设的第二卷积神经网络中， 得到各所述候选抓取点对应的抓取方 向， 具体为： 将所述候选抓取点特征输入预设的第 二卷积神经网络 中， 输出各候选抓取点对应的若 干个候选方向； 根据各候选方向的抓取预测概率， 从若干个候选方向中确定对应候选抓取点的抓取方 向。 5.根据权利要求1所述的机械臂六自由度抓取位姿估计方法， 其特征在于， 所述多分支 神经网络模型包括： 特征处理分支， 以及连接所述特征处理分支的宽度 预测分支、 置信度 预测分支、 前进距 离预测分支和旋转角度预测分支； 其中， 特征处理分支通过一维卷积层和LeakyReLU激活函数获取所述候选抓取点特征的目标 操作特征； 宽度预测分支、 置信度预测分支、 前进距离预测分支和旋转角度预测分支基于输入的 所述目标操作特征， 分别通过两个一 维卷积层得到夹爪 各指间宽度、 候选抓取置信度、 抓取 前进距离和机 械臂末端法兰盘旋转角度。 6.一种机 械臂六自由度抓取位姿估计装置， 其特 征在于， 包括： 数据获取模块， 用于获取目标物体的点云数据， 所述点云数据包含所述目标物体的空权　利　要　求　书 1/2 页 2 CN 114882111 A 2间位置信息； 特征提取模块， 用于利用PointNet++网络对所述点云数据进行特征提取， 得到点云特 征； 抓取点预测模块， 用于通过预设的第 一卷积神经网络从所述点云特征中获取所述目标 物体的全量 抓取点， 并利用最远点采样算法从全量所述 抓取点中提取若干候选抓取点； 根据所述点云特征确定各所述候选抓取点对应的索引特征， 得到由所述候选抓取点及 其对应索引特 征组成的候选抓取点特 征； 抓取方向预测模块， 用于将所述候选抓取点特征输入预设的第二卷积神经网络中， 得 到各所述候选抓取点对应的抓取 方向； 抓取参数预测模块， 用于将所述候选抓取点特征输入至多分支神经网络模型中， 得到 夹爪各指间宽度、 候选抓取置信度、 抓取 前进距离和机 械臂末端法兰盘旋转角度； 根据各所述候选抓取点对应的抓取方向、 夹爪各指间宽度、 候选抓取置信度、 抓取前进 距离以及机 械臂末端法兰盘旋转角度， 确定所述目标物体的候选抓取位姿。 7.根据权利要求6所述的机械臂六自由度抓取位姿估计装置， 其特征在于， 所述抓取方 向预测模块具体用于： 将所述候选抓取点特征输入预设的第 二卷积神经网络 中， 输出各候选抓取点对应的若 干个候选方向； 根据各候选方向的抓取预测概率， 从若干个候选方向中确定对应候选抓取点的抓取方 向。 8.根据权利要求6所述的机械臂六自由度抓取位姿估计装置， 其特征在于， 所述抓取参 数预测模块中， 所述多分支神经网络模型包括： 特征处理分支， 以及连接所述特征处理分支的宽度 预测分支、 置信度 预测分支、 前进距 离预测分支和旋转角度预测分支； 其中， 特征处理分支通过一维卷积层和LeakyReLU激活函数获取所述候选抓取点特征的目标 操作特征； 宽度预测分支、 置信度预测分支、 前进距离预测分支和旋转角度预测分支基于输入的 所述目标操作特征， 分别通过两个一 维卷积层得到夹爪 各指间宽度、 候选抓取置信度、 抓取 前进距离和机 械臂末端法兰盘旋转角度。 9.一种数据处 理设备， 其特 征在于， 包括： 处理器， 所述处理器和存储器耦合， 所述存储器存储有程序， 所述程序由所述处理器执 行， 使得所述数据处理设备执行如权利要求 1～5中任一项 所述的机械臂六自由度抓取位姿 估计方法。 10.一种计算机存储介质， 其特征在于， 所述计算机存储介质存储有计算机指令， 所述 计算机指令用于执行上述权利要求1～5中任一项所述的机械臂六自由度抓取位姿估计方 法。权　利　要　求　书 2/2 页 3 CN 114882111 A 3