(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211086822.7 (22)申请日 2022.09.07 (65)同一申请的已公布的文献号 申请公布号 CN 115170745 A (43)申请公布日 2022.10.11 (73)专利权人 武汉图科智能科技有限公司 地址 430000 湖北省武汉市东湖新 技术开 发区光谷大道特1号国际企业中心2栋 4层05号B033(自贸区武汉片区) (72)发明人 陶文兵　孔维航　刘李漫　 (74)专利代理 机构 武汉蓝宝石专利代理事务所 (特殊普通 合伙) 42242 专利代理师 万畅 (51)Int.Cl. G06T 17/00(2006.01) G06V 10/74(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G01C 3/00(2006.01) (56)对比文件 US 2003206652 A1,20 03.11.06 US 2022207855 A1,202 2.06.30 US 2014267243 A1,2014.09.18 CN 109520480 A,2019.0 3.26 CN 113593037 A,2021.1 1.02 CN 107862742 A,2018.0 3.30 Yi-Chun Chen等. 《Perceptual Oriented Depth Cue Enhancement For》 . 《2016 3DTV- Conference: The True Visi on - Capture, Transmission and Display of 3D Video (3DTV-CON)》 .2016, 罗鑫禹. 《无 人机双目视 觉深度感知技 术的 研究与实现》 . 《全国优秀硕士学位 论文全文库》 .2020, 审查员 喻阳 (54)发明名称 一种基于立体视觉的无人机测距方法 (57)摘要 本发明提供一种基于立体视觉的无人机测 距方法， 该方法以无人机拍摄的多幅图像及其相 机参数作为输入， 以块匹配的多视图立体视觉方 法准确地估计出图像的深度图。 提出的方法主要 包括： 通过常规的块匹配多视图立体视觉方法和 阈值化操作来生成稀疏的可靠对应点； 采用 RANSAC方法拟合深度神经网络检测出的全局平 面先验， 采用德劳内三角剖分法建模局部平面先 验， 生成全局 ‑局部联合优化的平面模型； 结合平 面模型和光度一致性， 提出一种新颖的多视图聚 合匹配代 价， 将该代价应用到基于块匹配的多视 图立体视觉算法框架， 获得更为准确的深度估 计； 最后， 利用几何一致性来优化深度图。 利用本 发明提出的策略可用于无人机影像三维重建、 无 人机自主巡航 等多个领域。 权利要求书3页 说明书8页 附图2页 CN 115170745 B 2022.12.06 CN 115170745 B 1.一种基于立体视 觉的无人机测距方法， 其特 征在于， 所述无 人机测距方法包括： 步骤1， 选取参考图像及N ‑1幅邻域图像， 为所述参考 图像随机生成一个局部平面的假 设， 以所述邻域图像为源图像， 基于所述局部平面到每个源图像对应的匹配代价计算得到 每个所述假设的初始多视图聚合匹配代价； 随机生成的局部平面的假设为对所述参考图像 随机初始化的深度图和法向图； 步骤2， 选择多个邻域假设传播到当前待估像素， 将各个所述邻域假设和原本的假设共 同构成当前待估像素的候选假设集合； 通过光度一致性定义的多视图聚合匹配代价来度量 多视图相似性， 从所述 候选假设集 合中确定最佳假设为当前假设； 步骤3， 在每次对所述假设进行更新之后， 引入扰动和随机假设生成额外的候选假设集 合， 计算所述额外的候选假设集合的代价， 从所述额外的候选假设集合中挑选出代价最小 的假设， 如果该代价最小的假设的代价值比所述当前假设的代价小， 将选定该代价最小的 假设作为所述当前假设； 步骤4， 从所述当前假设中选择代价小的对应点阈值化操作来生成稀疏的可靠对应点， 利用所述稀疏的可靠对应点生 成平面模 型； 采用RA NSAC方法拟合深度神经网络检测出全局 平面先验， 采用德劳内三角剖分法建模局部平面先验， 生成全局 ‑局部联合优化的平面模 型； 步骤5， 结合平面模型和光度一致性， 使用平面先验辅助的多视图聚合匹配代价更新假 设； 执行步骤3对假设进行细化； 步骤6， 使用所述参考图像获得的深度图和法向图进行初始化， 使用几何一致性引导的 多视图匹配代价更新 假设； 执行步骤3对假设进行细化； 步骤7， 通过对每一幅图像迭代地执行所述步骤1 ‑步骤6， 生成每一幅图像的深度图和 法向图。 2.根据权利要求1所述的无 人机测距方法， 其特 征在于， 所述 步骤1包括： 步骤101， 为所述参考图像的每个像 素l随机生成一个局部平面的假设 ， 其 中 为三维平面到坐标原点的距离， 为法向量； 步骤102， 计算所述局部平面到每个所述源图像对应的匹配代价， 选取前K个最小 的所 述匹配代价并计算 其平均值， 得到每 个所述假设的所述初始多视图聚合匹配代价。 3.根据权利要求1所述的无 人机测距方法， 其特 征在于， 所述 步骤2包括： 步骤201， 采用V形和长条形区域来自适应地选取局部最优假设进行传播， 将八个最优 的邻域假设传播到当前待估像素， 将各个所述邻域假设和原本的假设 共同构成当前待 估像素的候选假设集 合 ； 步骤202， 采用多假设联合视图选择策略对所述匹配代价进行加权； 通过光度一致性定 义的多视图聚合匹配代价 来度量多视图相似性， 从所述 候选假设集 合中确定最佳假设。 4.根据权利要求3所述的无人机测距方法， 其特征在于， 所述步骤202中， 采用蒙特 ‑卡 洛采样计算得到每幅源图像 的权重为 ， 像素p关于假设 的多视图聚合光度一致性代 价为：权　利　要　求　书 1/3 页 2 CN 115170745 B 2（1） 其中， 为假设 对应的所述匹配代价。 5.根据权利要求 4所述的无 人机测距方法， 其特 征在于， 所述 步骤4包括： 步骤401， 采用阈值 化操作过 滤匹配代价高的深度估计， 生成稀疏的可靠对应点； 步骤402， 对于给定参考图像的稀疏可靠对应点， 进行德劳内三角化， 以自适应地生成 不同大小的三角基元， 并计算 三角基元的平面 参数， 构建局部平面模型； 步骤403， 采用RANSAC方法拟合深度神经网络检测出的全局平面先验， 构 建全局平面模 型； 步骤404， 将整个空间划分为不相交的局部面和全局平面区域， 显式地建模出全局 ‑局 部平面先验 模型。 6.根据权利要求 4所述的无 人机测距方法， 其特 征在于， 所述 步骤5包括： 步骤501， 将步骤1 ‑步骤3生成的深度图设置为初始深度图； 步骤502， 执行所述步骤201进行假设传播； 步骤503， 计算5×5局部图像块的方差var， 定义纹 理复杂度系数为： （2） 其中， 和 为设置的参数； 步骤504， 通过平面先验辅助的纹理复杂度相关的多视图聚合匹配代价来度量多视图 相似性， 从候选假设集 合中确定最佳假设； 给定平面先验假设为 ， 定义平面先验为： （3） 其中， 是一个常数， 和 分别是假设 包含的深度假设和法向假设， 和 分别 是平面先验假设 包含的深度假设和法向假设， 是深度差异的带宽， 是法向差异的 带宽； 平面先验辅助的纹 理复杂度相关的多视图聚合匹配代价 为： （4） 其中， 为纹理复杂度相关系数： （5） 其中， 是一个常数， k是一个常数； 步骤505， 执行步骤3对假设进行细化。 7.根据权利要求 4所述的无 人机测距方法， 其特 征在于， 所述 步骤6包括： 步骤601， 设置最 新生成的深度图为初始深度图； 步骤602， 执行所述步骤201进行假设传播； 步骤603， 使用几何一 致性引导的多视图匹配代价再次更新 假设， 该代价 为：权　利　要　求　书 2/3 页 3 CN 115170745 B 3