(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210792911.7 (22)申请日 2022.07.05 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 刘之涛　夏越　苏宏业　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 林超 (51)Int.Cl. G06T 7/80(2017.01) G06T 7/70(2017.01) G06V 10/74(2022.01) (54)发明名称 结合十字骨架窗口和图像金字塔的立体图 像深度检测方法 (57)摘要 本发明公开了一种结合十字骨架窗口和图 像金字塔的立体图像深度检测方法。 双目相机实 时采集左右图像， 计算初始视差图； 计算X和Y方 向梯度信息获得描述子； 结合灰度图颜色相似性 和距离约束构建十字骨架窗口， 选取最小长度的 分支为最小臂长； 将立体图像多次高斯下采样构 建图像金字塔； 利用初始的视差图和十字骨架窗 口以较低层对相邻较高层依次更新处理， 层层往 上处理获得最终视差图而求取立体图像深度。 本 发明采用了十字骨架窗口提高支持点的视差精 度且很容易并行化； 同时结合图像金字塔利用多 尺度信息在弱纹理区域获取更多的支持点， 改善 跨边缘连接的现象； 并且缩小高分辨率的视差搜 索范围， 减少误匹配支持点， 有效缩短高分辨率 的时间。 权利要求书3页 说明书7页 附图2页 CN 115018934 A 2022.09.06 CN 115018934 A 1.一种结合十字骨架窗口和图像金字塔的立体图像深度检测方法， 其特征在于， 方法 包括以下步骤： 步骤1： 通过双目相机实时采集左右图像， 左右图像构成了原始 的立体图像， 根据左右 图像中目标和背景之间的变化关系计算左右图像之间的视差图并作为立体图像初始的视 差图； 步骤2： 计算 立体图像的X 方向和Y方向的梯度信息， 获得像素点的描述子； 步骤3： 结合灰度图颜色相似性和距离约束构建十字骨架窗口， 从十字骨架窗口选取四 个分支中最小长度的分支， 以最小长度的分支的长度作为十 字骨架窗口 的最小臂长； 步骤4： 将原 始的立体图像进行多次高斯下采样构建图像金字塔； 步骤5： 利用 初始的视差图和十字骨架窗口以图像金字塔较低层的立体图像对图像金 字塔相邻较高层的立体图像进行依 次更新处理， 对图像金字塔层层往上处理， 获得最终视 差图进而求取立体图像的深度。 2.根据权利要求1所述的一种结合十字骨架窗口和图像金字塔的立体图像深度检测方 法， 其特征在于： 所述 步骤2具体为： 对于X方向和Y方向分别建立 一个梯度窗口： X方向的梯度窗口为7x7大小， 梯度窗口内选取24个像素点的X方向梯度信息， 24个像素 点包括以沿梯度窗口的中心像素 的邻域八个方向均匀选择 的22个像素点和选取两次的中 心像素点； Y方向的梯度窗口为5x5大小， 梯度窗口内选取8个像素点的Y方向梯度信息， 8个像素点 是包括梯度窗口 的四角像素点和四边中心的像素点； 针对每个像素点， 通过X方向和Y方向的梯度窗口获得X方向梯度信息和Y方向梯度信 息， 由像素点的X 方向梯度信息和Y方向梯度信息构成像素点的描述子 。 3.根据权利要求1所述的一种结合十字骨架窗口和图像金字塔的立体图像深度检测方 法， 其特征在于： 所述步骤4中， 图像金字塔包括了原始的立体图像和每一次高斯下采样后的立体图像； 原始的立体图像分辨率最高， 构成了图像金字塔的最高层； 每次高斯下采样后的立体图像 分辨率降低， 每次高斯下采样后的立体图像构成了图像金字塔的一层， 最后一次高斯下采 样后的立体图像分辨 率最低， 构成了图像金字塔的最低层。 4.根据权利要求1所述的一种结合十字骨架窗口和图像金字塔的立体图像深度检测方 法， 其特征在于： 所述 步骤5， 具体为： 步骤5.1： 针对图像金字塔最低层的立体图像， 以初始的视差图作为图像金字塔最低层的视差 图， 根据图像金字塔最低层的视差图和十字骨架窗口进行 处理获得图像金字塔最低层的支 持点集合及其置信度； 步骤5.2： 对于图像金字塔当前层的立体图像， 将置信度高于预设的第 一置信度阈值的支持点作 为三角剖分的顶点进行Delaunay三角剖分 建立众多三角形视 差平面； 在当前视差图中， 通过三角形视差平面及其三个顶点对三角形视差平面内的所有像素 进行线性插值而 更新视差图， 同时根据更新后的视差图和十字骨架窗口进 行处理获得立体权　利　要　求　书 1/3 页 2 CN 115018934 A 2图像中每个像素 的匹配相似度和置信度， 由所有像素 的置信度构成置信度图， 获得图像金 字塔当前层的立体图像的置信度图； 步骤5.3： 根据图像金字塔当前层的视差图和立体图像的置信度图分别通过各自的最近邻插值 处理后获得更高分辨率的视差阈值先验图和置信度先验图， 置信度先验图中选择置信度均 高于预设的第二置信度阈值的像素点作为图像金字塔更高一层的补充支持点， 且以补充支 持点在视差阈值先验图中的视差值赋值更新到更新后的视差图中作为该补充支持点对应 位置像素点的视 差值， 进而获得图像金字塔更高一层的视 差图； 步骤5.4： 针对图像金字塔更高一层的立体图像， 根据图像金字塔更高一层的视差图和十字骨架 窗口进行处 理获得图像金字塔更高一层的支持点 集合及其置信度； 步骤5.5： 将步骤5.3获得的补充支持点补充到步骤5.4获得的支持点 集合中求并集； 步骤5.6： 再 回到步骤5.2中， 不断重复步骤5.2～步骤5.5进行迭代更新， 直到获得达到 图像金字塔更高层为止， 获得图像金字塔更高层的视差图， 获得图像金字塔层最高层的视 差图作为 最终视差图， 利用最终视 差图求取立体图像的深度。 5.根据权利要求4所述的一种结合十字骨架窗口和图像金字塔的立体图像深度检测方 法， 其特征在于： 所述步骤5.2中， 根据更新后的视差图和 十字骨架窗口进行处理获得立体 图像中每 个像素的匹配相似度和置信度， 具体为： 5.2.1、 先立体图像中的一幅作为当前图像， 另一幅作为参考 图像， 按照以下方式遍历 当前图像中的每 个像素点作为当前像素点： 再利用更新后的视差图找到在参考图像中和当前像素点视差对应的像素点， 利用当前 像素点及其视差对应的像素点的描述子进行计算获得当前像素点及其视差对应的像素点 之间的匹配相似度作为当前像素点的匹配相似度， 再根据当前像素点的匹配相似度计算当 前像素点的置信度； 5.2.2、 将 当前图像和参考图像互换， 重复进行步骤5.2.1， 获得立体图像中的两幅图像 各自每个像素的匹配相似度和置信度。 6.根据权利要求4所述的一种结合十字骨架窗口和图像金字塔的立体图像深度检测方 法， 其特征在于： 所述 步骤5.1和步骤5.4， 均具体为： 立体图像中的任意一幅作为当前图像， 另一幅作为参考图像； 对当前图像沿横纵坐标 均以固定步长均匀采样， 得到候选支持点， 按照以下方式遍历 每个候选支持点： 在当前图像 中， 先以候选支持点为中心像素、 以十字骨架窗口的最小臂长作为邻域的半径建立一个匹 配窗口邻域， 在匹配窗口邻域内选取9个 关键点； 再利用视差图找到在参考图像中和关键点 视差对应的像素点， 利用关键点及其视差对应的像素点的描述子进行计算获得关键点及其 视差对应的像素点之间的匹配相似度作为关键点的匹配相似度， 将所有关键点的匹配相似 度相加获得候选支持点的匹配相似度； 然后对候选支持点的匹配相似度进行判断： 若匹配相似度大于预设的相似度阈值， 则将候选支持点保留作为支持点； 若匹配相似度不大于预设的相似度阈值， 则将候选支持点舍弃， 不作为支持点； 遍历每个候选支持点之后获得所有支持点， 所有支持点构建支持点集合， 根据支持点权　利　要　求　书 2/3 页 3 CN 115018934 A 3