(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211027407.4 (22)申请日 2022.08.25 (71)申请人 四川大学 地址 610000 四川省成 都市一环路南 一段 24号 (72)发明人 于承均　李毅　 (74)专利代理 机构 深圳知帮办专利代理有限公 司 44682 专利代理师 王艺欢 (51)Int.Cl. G06V 10/75(2022.01) G06V 10/74(2022.01) G06T 7/00(2017.01) (54)发明名称 一种双目立体匹配算法 (57)摘要 本发明公开了一种双目立体匹配算法， 该算 法首先对输入的图像的每一个像素随机一个视 差和法线， 并生成动态倾斜视差窗口作为视差平 面； 在进行代价计算后， 对得到的图像进行空间 传播‑视图传播 ‑平面传播三次迭代传播； 最后进 行左右一致性检测、 视差填充及加权中值滤波 得 到优化之后的视差图。 本发明采用动态倾斜窗口 做视差平 面， 解决了基线与被拍摄物体平行的角 度问题。 权利要求书2页 说明书5页 附图2页 CN 115457298 A 2022.12.09 CN 115457298 A 1.一种双目立体匹配算法， 其特征在于该算法首先对输入的图像的每一个像素随机一 个视差和法线， 并生成动态倾斜视差窗口作为视差平面； 在进 行代价计算后， 对得到的图像 进行空间传播 ‑视图传播 ‑平面传播三次迭代传播； 最后进行左右一致性检测、 视差填充及 加权中值滤波得到优化之后的视 差图。 2.如权利要求1所述的双目立体匹配算法， 其特 征在于包括如下步骤： 步骤1、 为每 个像素随机生成一个动态倾 斜视差平面； 随机生成视差值z给每一个像素， 同时为了表示平面， 还需要随机一个法向量 用法向量的方法表示空间中的平面， 令ap,bp,cp分别为动态倾斜窗口的三 个参数， 其中， ap,bp,cp可以表示 为： 步骤2、 像素初始化； 对于像素点C的视 差平面方程可以表示 为: dC＝aCx+bCy+c 其中a,b,c为视差平面的3个参数， 三个参数随着点C的x坐标及y坐标变化不断调整， 形 成动态平面； 步骤3， 代价计算； 对于左右视图的像素， 采用的匹配公式为： r(p,f)＝∑t(p,q) ·ρ(q,q‑(aqx+bqy+c) 式中r(p,f)为像素p当视 差平面为f时的聚合代价 值， t(p,q)是自适应的权 重； 然后， 通过色差判断像素p和q是否在同一个平面： 公式中， λ是自定义 参数， ∥Lp ‑Lq∥为像素p和q在RGB空间的距离； 步骤4、 迭代传播， 具体包括空间传播、 平面传播及视图传播三个方面， 对得到的图像进 行空间传播 ‑视图传播 ‑平面传播 三次迭代传播； 步骤5、 视 差修正， 包括一致性检测和视差填充； 其中， 左右一致性检测， 是对于左视图的像素p， 根据p ’＝p‑d找到在右视图对应的像素 p’， 判断二者视差值是否在一定范围内， 否则为 误匹配点； 对于视差填充， 用加权中值滤波代替普通的滤波， 在保存误匹配点的数组中， 记录每一 个点的视 差平面， 用其中结果 最好的平面作为代替。 3.如权利要求2所述的双目立体匹配算法， 其特征在于步骤3中， 对于左视 图的一个像 素p， 它与其在右 视图的对应点p ’的相似性计算公式为： ρ(p,p')＝(1 ‑θ )·min(||Lp‑Lp'||, Γcol)+θ·min(||Gp‑Gp'||,Γgrad) 式中∥Gp‑Gp’∥为二者梯度的差值， θ、 Γcol以及Γgrad为自定义参数， 可以控制遮挡区域 的像素， 两个 像素的梯度以及颜色差值越小则拥有越高的相似度。 4.如权利要求2所述的双目立体匹配算法， 其特征在于步骤4中， 将先进行平面传播再 进行视图传播， 这样可以在进行视图传播时， 传给右视图更好的视 差平面。 5.如权利要求2所述的双目立体匹配算法， 其特征在于步骤4中， 空间传播是针对每一权　利　要　求　书 1/2 页 2 CN 115457298 A 2个像素进 行的， 计算左视图的代价， 判断新的代 价是否比当前代价小， 并不断更新最小的代 价； 在偶数次传播中， 依次查找当前像素块下方以及右侧的像素块， 确定其中与当前像素最 相似的像素； 在奇数次传播中， 传播 顺序改为 寻找上方及左侧像素。 6.如权利要求2所述的双目立体匹配算法， 其特征在于步骤4中， 在平面传播步骤， 提前 设定z坐标变化范围( ‑ωz,ωz)以及法向量的变化范围( ‑ωn,ωn)， 随机一个在z坐标变化 范围内的值与当前视差求和， 同时随机一个 向量在变化范围内的值与原向量求和； 新得到 的视差值和法线组成新的视差平面， 判断当前平面的代价与之前平面的大小， 并不断更新 最小代价。 7.如权利要求6所述的双目立体匹配算法， 其特征在于步骤4中， 进一步， 为了更快找到 目标平面， 采用随机扰动的形式进行搜索， 以当前像素为中心， 在特定范围内随机搜索， 搜 索范围公式为： S＝X0+wαiZi Z随机在‑1到1之间， w设定了初始的搜索范围， α为缩小系数， 通常每次随着i的增加搜 索范围减半， 因此α 通常为 8.如权利要求2所述的双目立体匹配算法， 其特征在于步骤4中， 在视图传播步骤， 对左 视图像素p， 找到其在右视图的同名点p ’， 把p的视差平面传播给p ’， 左视图的视差平面的公 式为： dp＝apx+bpy+c 左右视图的纵坐标相同， 横坐标相差的数值为视差值， 由此得到右视 图的视差平面公 式： d'＝‑axp'‑byp'‑(c+adp)。 9.如权利要求2所述的双目立体匹配算法， 其特征在于步骤5 中， 进一步， 为了解决视差 方向单一产生的条纹问题， 为窗口内的像素增 加了权重: 按照权重大小的升序对所有数据进行排列， 对权值进行累计求和， 当和值超过总权值 的一半时， 得到最终的视 差图。权　利　要　求　书 2/2 页 3 CN 115457298 A 3