(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210508817.4 (22)申请日 2022.05.11 (71)申请人 广东工业大 学 地址 510000 广东省广州市东 风东路729号 (72)发明人 王涛　程良伦　郑梓安　吴勇　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 吕金金 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/41(2017.01) G06T 7/11(2017.01) G06T 19/20(2011.01) (54)发明名称 一种弱纹 理物体的位姿 估计方法及系统 (57)摘要 本发明提供一种弱纹理物体的位姿估计方 法及系统， 所述方法包括： 将原始RGB图像送入包 含多重注 意力机制模块的2D检测器， 获取目标物 体的类别、 边界框和掩码信息； 将原始深度图像 经过转换得到图像的三维点云数据； 通过最远点 采样算法计算目标物体掩码边界的4个像素点， 进而确定 各物体的掩码对角线信息； 将目标物体 按照边界框最长边乘以系数进行裁剪之后的图 像和掩码信息输入3D旋转估计网络， 与码本进行 匹配， 得到目标物体的旋转估计； 然后将旋转估 计和掩码信息输入到3D平移估计网络， 通过投影 距离估计技术， 获得目标物体的平移估计； 最后 将得到的图像的三维点云数据和目标物体的旋 转估计以及 平移估计输入至ICP位姿细化网络得 到目标物体最终的6D位姿。 权利要求书2页 说明书8页 附图3页 CN 114897982 A 2022.08.12 CN 114897982 A 1.一种弱纹 理物体的位姿估计方法， 其特 征在于， 包括： 获取第一图像， 通过包含多重注意力 机制模块的2D检测器网络对所述第 一图像进行处 理， 得到所述第一图像中每 个物体的类别、 每 个物体的2D边界框及每 个物体的掩码； 通过相机的内参数矩阵， 将所述第一图像的深度信息转换为 点云数据； 通过最远点采样算法对每个物体的掩码边界进行处理， 得到各物体的掩码边界所对应 的4个像素点， 通过计算 4个像素点的对角线长度， 确定各物体的掩码对角线信息； 根据3D旋转估计网络对所述第一图像裁剪后得到的图像、 目标物体的2D边界框及目标 物体的掩码对角线信息进行处 理， 得到所述第一图像中目标物体的3D旋转估计信息； 根据3D平移估计网络对所述目标物体的掩码对角线信息及3D旋转估计信息进行处理， 得到目标物体的3D平 移估计信息； 通过ICP位姿细化网络对所述点云数据、 所述目标物体的3D旋转估计信息及所述目标 物体的3D平 移估计信息进行处 理， 得到目标物体的最终姿态。 2.如权利要求1所述的一种弱纹理物体的位姿估计方法， 其特征在于， 所述通过包含多 重注意力机制模块的2D检测器网络对 所述第一图像进 行处理， 得到所述第一图像中每个物 体的类别、 每 个物体的2D边界框及每 个物体的掩码， 具体地： 对所述第一图像进行对象检测及实例分割， 得到所述第一图像中每个物体的类别、 每 个物体的2D边界框及每 个物体的掩码。 3.如权利要求2所述的一种弱纹理物体的位姿估计方法， 其特征在于， 所述对所述第 一 图像进行对象检测及实例分割， 得到所述第一图像中每个物体的类别、 每个物体的2D边界 框及每个物体的掩码， 具体为： 采用包含多重注意力 机制模块的2D检测器网络对第 一图像进行对象检测和实例分割， 获取第一图像中每 个物体的类别、 每 个物体的2D边界框及每 个物体的掩码。 4.如权利要求1所述的一种弱纹理物体的位姿估计方法， 其特征在于， 所述通过最远点 采样算法对每 个物体的掩码边界进行处 理， 包括： 在各物体的掩码边界的N个 像素点中随机 选取一个点作为 起始点， 并写入起始点 集； 计算剩余(N ‑1)个像素点与所述起始点之间的距离， 将距离最远的点移入起始点集， 以 对所述起始点集进行更新； 计算(N‑2)个像素点中每个点与更新后的起始点集中的每一个点的距离， 将最短的那 个距离作为该点到起始点集的距离， 这样就得到(N ‑2)个到起始点集的距离， 然后从这(N ‑ 2)个距离中选取距离最远的那个点写入起始点 集。 重复上一 步， 直到起始点 集满足预设点数。 5.如权利要求1所述的一种弱纹理物体的位姿估计方法， 其特征在于， 所述根据3D旋转 估计网络对所述第一图像裁剪后得到的图像、 目标物体的2D边界框及目标物体的掩码对角 线信息进行处 理， 得到所述第一图像中目标物体的3D旋转估计信息， 具体为： 将第一图像通过目标边界框的最长边乘以预设系数裁剪后， 加上目标物体的掩码对角 线信息输入3D旋转估计网络； 将裁剪图像和目标物体的掩码对角线信 息通过编码器进行编码， 计算编码结果与3D旋 转估计网络中码本的所有编码的余弦相似性， 得到第一图像中目标物体的3D旋转估计。 6.如权利要求1所述的一种弱纹理物体的位姿估计方法， 其特征在于， 所述根据3D平移权　利　要　求　书 1/2 页 2 CN 114897982 A 2估计网络对所述目标物体的掩码对角线信息及3D 旋转估计信息进 行处理， 得到目标物体的 3D平移估计信息， 具体为： 将目标物体的3D旋转估计和掩码对角线信 息输入到3D平移估计网络， 计算检测到的掩 码对角线和相对应的代码本中的掩码对角线之间的比率， 得到目标物体的3D平 移估计。 7.一种弱纹 理物体的位姿估计系统， 其特 征在于， 包括： 图像处理单元， 用于获取第一图像， 通过包含多重注意力机制模块的2D检测器网络对 所述第一图像进行处理， 得到所述第一图像中每个物体的类别、 每个物体的2D边界框及每 个物体的掩码； 点云数据确定单元， 用于通过相机的内参数矩阵， 将所述第一图像的深度信息转换为 点云数据； 掩码处理单元， 用于通过最远点采样算法对每个物体的掩码边界进行处理， 得到各物 体的掩码边界所对应的4个像素点， 通过计算4个像素点的对角线长度， 确定各物体的掩码 对角线信息； 3D旋转估计信息确定单元， 用于根据3D旋转估计网络对所述第一图像裁剪后得到的图 像、 目标物体的2D边界框及目标物体的掩码对角线信息进行处理， 得到所述第一图像中目 标物体的3D旋转估计信息； 3D平移估计信息确定单元， 用于根据3D平移估计网络对所述目标物体的掩码对角线信 息及3D旋转估计信息进行处 理， 得到目标物体的3D平 移估计信息； 位姿估计单元， 用于通过ICP位姿细化网络对所述点云数据、 所述目标物体的3D旋转估 计信息及所述目标物体的3D平 移估计信息进行处 理， 得到目标物体的最终姿态。 8.如权利要求7所述的一种弱纹理物体的位姿估计系统， 其特征在于， 所述图像处理单 元具体用于： 采用包含多重注意力 机制模块的2D检测器网络对第 一图像进行对象检测和实例分割， 获取第一图像中每 个物体的类别、 每 个物体的2D边界框及每 个物体的掩码。权　利　要　求　书 2/2 页 3 CN 114897982 A 3