(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210714018.2 (22)申请日 2022.06.22 (71)申请人 聚时科技 （上海） 有限公司 地址 200000 上海市杨 浦区杨树浦路23 00 号3B层B02- 59室 (72)发明人 褚怡文　郑军　 (74)专利代理 机构 武汉天领众智专利代理事务 所(普通合伙) 42300 专利代理师 杨建军 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/80(2017.01) G06N 3/04(2006.01) (54)发明名称 一种基于深度学习的视觉定位方法、 系统和 存储介质 (57)摘要 本发明公开了一种基于深度学习的视觉定 位方法、 系统和存储介质。 所述视觉定位方法， 包 括如下步骤： S1、 对相机的内参进行标定； S2、 采 集工件的图像， 并对工件特征区域以及特征区域 内的特征点进行标注， 然后进行离线训练， 获得 定位检测模型和关键点检测模型； S3、 使用定位 检测模型对工件进行检测， 得到候选定位区域， 再使用关键点检测模型对候选区域进行相应类 别的关键点检测、 并提取关键点， 然后计算每个 关键点在工件坐标系下的三维坐标； S4、 根据所 述关键点的图像坐标、 所述关键点在工件坐标系 下的三维坐标以及相机内参矩阵， 求解工件相对 相机的相对位姿， 最后计算出工件的旋转矩阵和 平移矩阵； 具有精度高， 鲁棒 性高等优点。 权利要求书1页 说明书4页 附图1页 CN 115272457 A 2022.11.01 CN 115272457 A 1.一种基于深度学习的视 觉定位方法， 其特 征在于， 包括如下步骤： S1、 对相机的内参进行 标定； S2、 采集工件的图像， 并对工件特征区域以及特征区域内的特征点进行标注， 然后进行 离线训练， 获得定位检测模型和关键点检测模型； S3、 使用定位检测模型对工件进行检测， 得到候选定位区域， 再使用关键点检测模型对 候选区域进行相 应类别的关键点检测、 并提取关键点， 然后计算每个关键点在工件坐标系 下的三维坐标； S4、 根据所述关键点的图像坐标、 所述关键点在工件坐标系下的三维坐标以及相机内 参矩阵， 求 解工件相对相机的相对位姿， 最后计算出工件的旋转矩阵和平 移矩阵。 2.根据权利要求1所述的基于深度学习的视觉定位方法， 其特征在于， 步骤S1中， 所述 相机的内参 通过张正友标定法进行 标定。 3.根据权利要求1所述的基于深度学习的视觉定位方法， 其特征在于， 步骤S2中， 所述 工件特征区域以及特 征区域内的特 征点是基于深度学习进行 标注。 4.根据权利要求1所述的基于深度学习的视觉定位方法， 其特征在于， 步骤S2中， 所述 定位检测模型 是基于YOLOX模型训练工件各个面上 具有特征的区域得到的。 5.根据权利要求1所述的基于深度学习的视觉定位方法， 其特征在于， 步骤S2中， 所述 关键点检测模型 是基于HRNet训练各个特 征区域内自定义的特 征点得到的。 6.根据权利要求1所述的基于深度学习的视觉定位方法， 其特征在于， 步骤S2中， 所述 工件的3D模型 是已知的。 7.根据权利要求1所述的基于深度学习的视觉定位方法， 其特征在于， 步骤S4中， 所述 求解的算法为DLT、 EPnP、 PnP中的一种。 8.一种基于深度学习的视 觉定位系统， 其特 征在于， 所述视 觉定位系统包括： 相机内参标定模块： 用于对相机的内参进行 标定； 检测模型的获取模块： 采集工件的图像， 并对工件特征区域以及特征区域内的特征点 进行标注， 然后进行离线训练， 获得定位检测模型和关键点检测模型； 检测模块： 用于使用定位检测模型对工件进行检测， 得到候选定位区域， 再使用关键点 检测模型对候选区域进行相 应类别的关键点检测、 并提取关键点， 然后计算每个关键点在 工件坐标系下的三维坐标； 视觉定位模块： 用于根据所述关键点的图像坐标、 所述关键点在工件坐标系下的三维 坐标以及相 机内参矩阵， 求解工件相对相 机的相对位姿， 最后计算出工件的旋转矩阵和平 移矩阵。 9.一种存储介质， 其特征在于， 所述存储介质用于存储计算机程序， 所述计算机程序被 处理器加载以执 行权利要求1～7任一项所述的检测方法。权　利　要　求　书 1/1 页 2 CN 115272457 A 2一种基于深度学习的视觉定位方 法、 系统和存 储介质 技术领域 [0001]本发明属于深度学习技术领域， 具体涉及一种基于深度学习的视觉定位方法、 系 统和存储介质。 背景技术 [0002]在现有的视觉定位技术中， 大多都是通过多相机协同， 又或者通过深度相机来估 计工件姿态， 以及通过单目姿态估计来定位工件， 这些都需要高精度的真值来训练模型， 而 这在实际工作中， 是非常难以获取的。 在机器定位应用中， 标准工件的3D模型， 深度相机的 精度和噪声以及多相机标定的稳定性 直接影响视 觉定位的准确性。 [0003]中国专利文献CN112927297  A中公开了一种基于YOLO系列的目标检测和视觉定位 方法， 包括以下步骤： 首先， 获取待抓取 目标的RGB彩色图像图像和深度图像； 将采集的RGB 彩色图像输入基于 darknet框架搭建 的YOLO系列目标检测模型中， 获得坐标信息和类别及 置信度； 将坐标信息结合深度图像信息解算出待检测目标 的空间三维坐标。 但是该方法中 还存在定位精度不高、 噪声影响较大等问题。 [0004]有鉴于此， 有必要开发一种基于深度学习的视 觉定位方法来 解决上述 技术问题。 发明内容 [0005]本发明的目的在于克服现有技术的不足， 提供一种基于深度学习的视觉定位方 法、 系统和存储介质。 解决现有的视觉定位方法中还存在定位精度不高、 噪声影响较大等问 题。 [0006]本发明的一个目的在于提供一种基于深度学习的视 觉定位方法。 [0007]一种基于深度学习的视 觉定位方法， 包括如下步骤： [0008]S1、 对相机的内参进行 标定； [0009]S2、 采集工件的图像， 并对工件特征区域以及特征区域内的特征点进行标注， 然后 进行离线训练， 获得定位检测模型和关键点检测模型； [0010]S3、 使用定位检测模型对工件进行检测， 得到候选定位区域， 再使用关键点检测模 型对候选区域进行相应类别的关键点检测、 并提取关键点， 然后计算每个关键点在工件坐 标系下的三维坐标； [0011]S4、 根据所述关键点的图像坐标、 所述关键点在工件坐标系下的三维坐标以及相 机内参矩阵， 求 解工件相对相机的相对位姿， 最后计算出工件的旋转矩阵和平 移矩阵。 [0012]进一步地， 步骤S1中， 所述相机的内参 通过张正友标定法进行 标定。 [0013]进一步地， 步骤S2中， 所述工件特征区域以及特征区域内的特征点是基于深度学 习进行标注。 [0014]进一步地， 步骤S2中， 所述定位检测模型是基于YOLOX模型训练工件各个面上具有 特征的区域得到的。 [0015]进一步地， 步骤S2中， 所述关键点检测模型是基于H RNet训练各个特征区域内自定说　明　书 1/4 页 3 CN 115272457 A 3