(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210547672.9 (22)申请日 2022.05.18 (71)申请人 燕山大学 地址 066004 河北省秦皇岛市海港区河北 大街438号 (72)发明人 张文明　张超　李雅倩　李海滨　 (74)专利代理 机构 石家庄众志华清知识产权事 务所(特殊普通 合伙) 13123 专利代理师 周胜欣 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/90(2017.01) G06V 10/74(2022.01) G06T 3/00(2006.01) (54)发明名称 一种用于鱼眼 图像的非局部立体匹配算法 (57)摘要 本发明公开了一种用于鱼眼图像的非局部 立体匹配算法， 首先根据鱼眼相机成像模型推导 出鱼眼立体系统的对极曲线约束， 以极曲线约束 为基础规范对应点的搜索路径计算初始匹配代 价； 然后对初始匹配代价空间进行信任传播优 化， 防止大面积的错误代价值进入代价聚合过 程， 将基于最小生成树(MST)的非局部代价聚合 算法应用于鱼眼图像， 对优化后的匹配代价空间 进行代价聚合； 最后使用赢家通吃策略计算视差 图， 对视差误匹配区域进行基于视差的分块优 化， 从而获得鱼眼 图像稠密视 差结果。 权利要求书3页 说明书7页 附图4页 CN 114998225 A 2022.09.02 CN 114998225 A 1.一种用于鱼眼 图像的非局部立体匹配算法， 其特 征在于： 包括如下步骤： S1： 使用像素的颜色信息和梯度信息计算匹配代价， 得到左右鱼眼图像的初始匹配代 价空间； S2： 对初始匹配代价空间进行信任传播过程； S3： 使用鱼眼图像作为输入构建最小生成树， 并对S2优化后的匹配代价空间进行非局 部的代价聚合； S4： 采用赢家通吃策略， 计算聚合后的匹配代价空间得到 视差图； S5： 对S4得到的鱼眼图像视差图执行一致性检查， 分离出误匹配区域进行进行基于视 差的分块优化， 求得鱼眼 图像稠密视 差结果。 2.根据权利要求1所述的一种用于鱼眼图像的非局部立体匹配算法， 其特征在于： 所述 步骤S1的具体步骤如下： 颜色信息 部分的代价 值计算公式为: 式中， Ii(p)代表p像素对应i 通道的颜色 分量， d表示视 差； 梯度信息的代价 值是由像素点的极曲线方向上的梯度计算 求得， 公式为： 式中， 代表p像素的在极曲线方向上的梯度值； 将两部分代价 值进行归一 化处理， 然后叠加到一 起， 总的匹配代价 值为: C(p,d)＝ρ(Ccolor(p,d), λcolor)+ρ(Cgradient(p,d), λgradient)， 其中， C(p,d)表示像素点p视差为d时对于的匹配代价值； λcolor和 λgradient是计算颜色代 价和梯度代价的控制参数； ρ(C, λ )是算法的鲁棒参数， 可以将计算结果归一化， 具体公式 为： ρ(C, λ )＝1 ‑exp(‑C(p,d)/ λ )。 3.根据权利要求1所述的一种用于鱼眼图像的非局部立体匹配算法， 其特征在于： 所述 步骤S2的具体步骤如下： 计算一个临时视差 图， 对临时视差 图执行一致性检查和唯一性检查； 通过一致性检查 和唯一性检查的视差像素标记为可信任像素， 否则， 标记为不信任像素； 在匹配代价空间的 所有视差维度上对不信任视差像素的代价值做信任传播， 信任传播过程需要满足颜色相近 性和空间相近性， 当遇 到如下条件则终止传播过程: DC(p,q)＞τ DC(p,q)是像素p和q的颜色差值， τ 是设定的颜色阈值， DS(p,q)＞L DS(p,q)是像素p和q的距离 差值， L是设定的距离阈值， 上面的两个式子中， p是待优化的不信任视差像素， q是进行信任传播过程中遍历到的 像素； 不信任像素点所有视 差维度的匹配代价的优化公式如下： 式中p表示待优化的不信 任像素点， T(p)表示对p点进行信任传播过程中可以遍历到的权　利　要　求　书 1/3 页 2 CN 114998225 A 2可信任像素点的集合； 如果找到属于该集合的元素q则进行优化， 否则将p点对应所有匹配 代价值置为无效值。 4.根据权利要求1所述的一种用于鱼眼图像的非局部立体匹配算法， 其特征在于： 所述 步骤S3的具体步骤如下： 使用鱼眼图像作为输入构建最小生成树， 连接相邻两个顶点的边权重值计算公式如 下: W(s,r)＝ W(r,s)＝|I(s) ‑I(r)|， 式中s和r代表两个相邻的节点； I(s)和I(r)代表两个节点对应的像素值， 如果输入为 彩色图像， 则代 表三通道中最大的像素值； 使用构建完成的最小生成树对优化后的匹配代价空间进行非局部的代价 聚合操作， 在 代价聚合过程中两个节点的相似性计算公式为: 式中, σ 是一个常数,用来衡量2个节点p和q的相似程度， S(p,q)是初始的相似度， D(p, q)代表节点p和q的距离值； 像素点p聚合后的匹配代价 为： 代价聚合过程分2步完成： 自下而上的代价 聚合， 由最小生成树的叶子节点向根节点方向对 匹配代价值进行聚合 操作: 其中, 表示代价聚集值,q是节点p的子节点， P(p)是p的子节点集合, 为节 点q的下子树中所有节点对它的聚合支撑； 自上而下的代价聚合， 由最小生成树的的根节点到 叶子节点的聚合操作， 对于任意一 个像素， 它的代价聚合 值为: 其中， 是聚合后的匹配代价 值,Pr(p)是像素p的父节点； 经过两次对最小生成树的遍历可以得到整个鱼眼图像所有像素代价聚合后的匹配代 价值。 5.根据权利要求1所述的一种用于鱼眼图像的非局部立体匹配算法， 其特征在于： 步骤 S5的具体步骤如下： 对得到的鱼眼图像视差 图执行一致性检查， 满足一致性检查的点是稳定点， 否则就是 不稳定点； 分离出不稳定区域进行视 差优化： 对鱼眼图像进行连通域检测， 找到目标块S， 通过视差将S进行分块， 分割成不同的视差 块Si(i＝0...N， N为分割块数)； 在Si中寻找S的最优视差平面： 遍历Si， 每次都用Si的视差 拟合一个视差平面， 用拟合好的视差平面计算S的代价值， 使用最优代价值对应的视差平 面权　利　要　求　书 2/3 页 3 CN 114998225 A 3