(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210781080.3 (22)申请日 2022.07.04 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 杨溢　朱利丰　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 杜静静 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/90(2017.01) G06T 7/00(2017.01) G06T 7/521(2017.01) (54)发明名称 一种基于深度信息的相机位姿 估计方法 (57)摘要 本发明公开了一种基于深度信息的相机位 姿估计方法， 包括以下步骤： 将2维ArUco标志的 黑、 白两部分的颜色信息转化为3维ArUco标志的 两部分高度差的深度信息； 使用双目深度相机采 集包含3维ArUco标志的深度图像； 对深度图像进 行二值化处理， 得到二值图； 在二值图中检测 ArUco标志， 利用其颜色信息， 并结合相机内外参 数矩阵， 解算出相机位姿。 相较于传统基于颜色 信息的相机位姿估计方法， 该方法的优点在于基 于深度信息， 不受颜色约束， 且受环境因素影响 小。 权利要求书1页 说明书4页 附图2页 CN 115147486 A 2022.10.04 CN 115147486 A 1.一种基于深度信息的相机位姿估计方法， 其特 征在于， 所述方法包括以下步骤： 步骤1： 将2维ArUco标志的黑、 白两部分的颜色信息转化为3维ArUco标志的两部分高度 差的深度信息； 步骤2： 使用双目深度相机采集包 含3维ArUco标志的深度图像； 步骤3： 对深度图像进行二 值化处理， 得到黑、 白颜色信息； 步骤4： 在二 值图中检测A rUco标志， 利用其颜色信息解 算出相机位姿。 2.根据权利要求1所述的一种基于深度信息的相机位姿估计方法， 其特征在于， 步骤1 中， 将颜色信息转换成深度信息的过程为： 根据 2维ArUco标志的颜色信息， 通过3D建模 软件 生成具有高度差的3维ArUco标志模型， 再利用3D打印技术打印得到具有深度信息的3维 ArUco标志。 3.根据权利要求2所述的一种基于深度信息的相机位姿估计方法， 其特征在于， 所述3 维ArUco标志由3D打印技术打印成与环境或待检测物体相同或适配的一种颜色或多种颜 色。 4.根据权利要求1所述的一种基于深度信息的相机位姿估计方法， 其特征在于， 步骤2 中， 使用双目深度相机采集深度图像的过程为： 利用步骤1中的二维ArUco标志对双目相机 进行标定， 得到相机的内外参数矩阵； 根据标定结果对原始图像校正， 校正后的两张图像位 于同一平面且互相平行； 对校正后的两张图像进行像素点匹配； 根据匹配结果计算每个像 素的深度， 获得深度图像。 5.根据权利要求1所述的一种基于深度信息的相机位姿估计方法， 其特征在于， 步骤3 中， 二值化处理的步骤为： 对双目相 机采集到的深度图像采用高斯滤波算法进行滤波处理 以平滑物体边界； 再利用改进后的Bernsen 算法， 对滤波后深度图像进行局部阈值 二值化。 6.根据权利要求5所述的一种基于深度信 息的相机位姿估计方法， 其特征在于， 改进后 的Bernsen算法， 计算以当前像素p为中心的窗口内所有像素深度值的最大值与最小值； 再 分别计算该像素点的深度值与最大值和 最小值的差值， 以及最大值与最小值的差值； 将这 些差值与设定的阈值比较进行区域 二值化。 7.根据权利要求1所述的一种基于深度信息的相机位姿估计方法， 其特征在于， 步骤4 中， 得到相机位姿的步骤为： 利用二值化图像的颜色信息提取ArUco标志的ID， 轮廓和角点 坐标， 结合相机内外参数矩阵， 求解ArUco标志坐标系到相机坐标系的变换矩阵， 得到相机 位姿。权　利　要　求　书 1/1 页 2 CN 115147486 A 2一种基于深度信息的相机位姿估计方 法 技术领域 [0001]本发明涉及一种基于深度信息 的相机位姿估计方法， 属于计算机视觉领域， 特别 是相机位姿估计技 术领域。 背景技术 [0002]相机位姿估计是指在多张场景或者目标图像中,估计图像间相机运动的变化情 况。 在这个过程中,图像间的旋转、 光度变化、 运动幅度的变化以及纹理稀疏等问题,会大大 影响相机位姿估计的准确 性,进而影响无人驾驶技术与机器人在环境中的定位、 建图与识 别等一系列任务。 [0003]从图像中获取相机位姿需要先从图像或者环境当中的许多已知特征点， 然后在图 像间进行特征匹配， 最后再根据匹配得到的特征点求解出其在相 机投影中的对应关系。 目 前获取特征点的方法主要有两类： 一是从图片中寻求自然特征， 例如关键点 或者纹理； 二是 添加基准标记。 基准标记是添加到场景中的人工标志， 能够帮助定位图像之间或者图像与 已知模型之间的点对应关系。 当场景能够添加标记 时， 可靠的基准点解决了特征点检测和 匹配问题。 基准点的正确设计和用于检测它们的相关计算机视觉算法可以为增强现实、 机 器人导航等应用提供准确的姿态检测。 [0004]ArUco基准码是目前常用的针对相机位姿估计的一个解决方法。 ArUco码布置方式 为打印在纸张上， 并将其贴于地面、 墙壁或者待检测物体上。 但是这种ArUco码的布置方式 会受多种因素影响。 例如， 自然环境中的灰尘、 污渍等会导致ArUco码的信息缺失。 此外， 当 ArUco码用于检测物体的位姿时， 在物体表 面贴上打印的二 维ArUco标志会破坏物体的美观 性。 [0005]福州视驰科技有限公司申请了一项与本发明相关的专利， 专利号为 ： CN112837373A(一种不需要特征点匹配的多相机位姿估计方法)。 该专利中的多相机位姿估 计方法通过提取设置在地面上的ArUco码计算不同时刻不同相机之间的单应矩阵， 在通过 相机之间的单应矩阵计算得到相机之间的位姿。 所述的在地面上设置的ArUco码鲁棒性较 差， 当受灰尘等自然因素影响时相 机的识别能力下降； 且通过相 机之间的单应矩阵计算位 姿的方式稳定性较差， 当其中一个相机的单应矩阵出错， 整个系统的相机将会收到影响。 [0006]综上所述， 传统的基于特征点匹配 的相机位姿估计方法， 在自然环境的影响下鲁 棒性差， 且黑白颜色的A rUco标志会 破坏环境或者物体的美观性。 发明内容 [0007]本发明的目的在于提供一种基于深度信息的相机位姿估计方法以提高相机位姿 估计的鲁棒性和普适度； 该方法将2维ArUco标志的颜色信息转换成3维ArUco标志的深度信 息， 使ArUco标志的检测效果受自然因素的影 响下降， 且不再 受颜色约束， 已解决传统ArUco 标志在受灰尘、 污 渍等影响导 致颜色信息 丢失和影响物体美观性的问题。 [0008]为解决上述技术问题， 本发明采用以下技术方案： 一种基于深度信息 的相机位姿说　明　书 1/4 页 3 CN 115147486 A 3