(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210654067.1 (22)申请日 2022.06.10 (71)申请人 大连大学 地址 116622 辽宁省大连市经济技 术开发 区学府大街10号 (72)发明人 邹启杰　张洁　高兵　石潇月　 郭文娟　 (74)专利代理 机构 大连智高专利事务所(特殊 普通合伙) 2123 5 专利代理师 毕进 (51)Int.Cl. G06T 7/10(2017.01) G06V 10/40(2022.01) G06V 10/74(2022.01) (54)发明名称 一种基于密集分组空洞卷积和多尺度代价 聚合的双目视 觉立体匹配方法 (57)摘要 本发明公开了一种基于密集分组空洞卷积 和多尺度代 价聚合的双目视觉立体匹配方法， 包 括构建特征提取模块， 该模块采用密集分组空洞 金字塔在三个尺度下对左右图像分别进行特征 处理， 得到三种分辨率的特征图； 构建代价卷模 块， 该模块利用特征相关性对三种分辨率的特征 图关联左右特征， 构造三个尺度的代价卷； 构建 多尺度代 价聚合模块， 用于聚合不同尺度的代价 卷之间的特征； 采用softargmin函数 获得每一个 像素的预测视差。 本发明保证了提取特征的关联 性， 同时可以获得更大感受野， 避免卷积退化问 题， 提高对小物体的分割精准度； 在图像的低纹 理、 形变、 反光 等区域获得更精准的视 差图。 权利要求书2页 说明书6页 附图3页 CN 115049676 A 2022.09.13 CN 115049676 A 1.一种基于密集分组空洞卷积和多尺度代价 聚合的双目视觉立体匹配方法， 其特征在 于， 包括： 构建特征提取模块， 该模块采用密集分组空洞金字塔在三个尺度 下对左右图像分别进 行特征处理， 得到三种分辨 率的特征图； 构建代价卷模块， 该模块利用特征相关性对三种分辨率的特征图关联左右特征， 构造 三个尺度的代价卷； 构建多尺度代价聚合模块， 用于聚合 不同尺度的代价卷之间的特 征； 采用softargmi n函数获得每一个 像素的预测视 差 2.根据权利要求1所述一种基于密集分组空洞卷积和多尺度代价 聚合的双目视觉立体 匹配方法， 其特征在于， 所述特征提取模块包括三层具有密集连接 关系的分组空洞卷积层， 在每层中分配两个具有连续小扩张率的卷积层， 将具有连续小扩张率的卷积层进行连接， 然后将三层空洞卷积层得到的三种分辨 率的特征图两两相连充分融合特 征信息。 3.根据权利要求1所述一种基于密集分组空洞卷积和多尺度代价 聚合的双目视觉立体 匹配方法， 其特 征在于， 所述特 征提取模块实现过程 为： 其中， i代表网络层数， Xi代表密集 分组空洞卷积在网络层i的输出， Xi‑1表示网络输入， G 代表分组空洞卷积函数， 它是一个组合运算， U代表上采样操作， 表示一个 拼接操作， 即不同网络层之间的组合。 4.根据权利要求1所述一种基于密集分组空洞卷积和多尺度代价 聚合的双目视觉立体 匹配方法， 其特征在于， 所述多尺度代价聚合模块包括同尺度代价聚合模块和跨尺度代价 聚合模块； 所述同尺度代价聚合模块只对相同尺度的代价卷进行代价聚合， 所述代价卷之 间直接采用复制操作； 所述 跨尺度代价聚合模块用于聚合 不同尺度的代价卷之间特 征。 5.根据权利要求1或4所述一种基于密集分组空洞卷积和多尺度代价聚合的双目视觉 立体匹配方法， 其特征在于， 所述多尺度 代价聚合模块以某 一个尺度为基准， 通过下采样以 及上采样的方式改变尺度， 进 而对齐分辨 率， 获得丰富的鉴别性特 征。 6.根据权利要求1所述一种基于密集分组空洞卷积和多尺度代价 聚合的双目视觉立体 匹配方法， 其特 征在于， 所述预测视 差 的获取方式为： 其中， Dmax是最大视差范围， σ 是softmax函数， cd为视差候选 d的聚合匹配代价； σ(cd)看 作视差d的概率。 7.根据权利要求6所述一种基于密集分组空洞卷积和多尺度代价 聚合的双目视觉立体 匹配方法， 其特征在于， 对于预测视差 通过双线性上采样到原始分辨率， 定 义相应的损失函数为： 权　利　要　求　书 1/2 页 2 CN 115049676 A 2其中V(p)是一个二进制掩码， 用于表示像素p的地面真值视差是否可用， 是L1平滑损 失， Dgt是地面真值视 差， Dpseudo是伪地面真值； 总损失函数 是所有预测视 差的损失组合： 其中λi是平衡不同项的标量。权　利　要　求　书 2/2 页 3 CN 115049676 A 3