(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210676065.2 (22)申请日 2022.06.15 (71)申请人 长安大学 地址 710064 陕西省西安市雁塔区南 二环 路中段 (72)发明人 杨旭　管进超　李毅　洪翰　丁玲　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 钱宇婧 (51)Int.Cl. G06V 20/17(2022.01) G06V 30/148(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/74(2022.01)G06T 15/00(2011.01) G06T 5/00(2006.01) (54)发明名称 一种面向动态交通场景的路面三维重建方 法和系统 (57)摘要 本发明公开了一种面向动态交通场景的路 面三维重建方法和系统， 本发明基于无人机立体 摄影和深度学习实现动态交通影响下的路面三 维重建， 采用轻量化深度学习框架去除航拍图像 上的车辆噪声， 并通过图像序列空间优化自动调 整不同车流密度区域内的图像重叠率， 以提高路 面三维建模质量和速度。 权利要求书2页 说明书8页 附图7页 CN 115019208 A 2022.09.06 CN 115019208 A 1.一种面向动态交通场景的路面 三维重建方法， 其特 征在于， 包括以下步骤： 步骤1， 采集无 人机拍摄的图像； 步骤2， 将拍摄的图像作为预测集图像输入至改进YOLO车辆检测器 中， 获得拍摄预测集 图像中车辆的坐标文件； 以车辆的坐标文件为基准， 将预测集图像中车辆边界框内的区域 单值化； 步骤3， 通过特征提取法获得预测集图像中相邻图像间的空间关系， 通过相邻图像之间 的空间关系和每张图像上 的车辆边界框， 计算相邻图像间的实际遮挡率和地面重叠率， 结 合图像序列空间优化识别无效图像， 去除无效图像， 获得 预处理图像； 结合预处 理图像和图像的坐标文件， 通过立体视 觉重建路面 三维形貌 。 2.根据权利要求1所述的一种面向动态 交通场景的路面三维重建方法， 其特征在于， 步 骤1前， 从电子地图中提取计划拍摄路面区域的边界坐标， 生成飞行区域文件， 将飞行区域 文件导入无 人机中， 无 人机对计划拍摄路面区域拍摄。 3.根据权利要求1所述的一种面向动态 交通场景的路面三维重建方法， 其特征在于， 步 骤2中通过改进YOLO车辆检测器获得拍摄预测集图像中车辆的坐标文件过程 为： (1)将拍摄的图像以初始(512,512,3)的尺寸输入至改进YOLO车辆检测器中， 初步预测 出车辆边界框， 并统计车辆平均像素宽度； (2)根据训练集图像上车辆平均像素宽度和预测集图像上车辆平均像素宽度的比值， 计算缩放因子k； (3)通过缩放因子调节预测集图像输入尺寸为(512*k,512*k,3)， 再 次输入至深度学习 框架， 预测出最终准确的车辆边界框 。 4.根据权利要求1所述的一种面向动态 交通场景的路面三维重建方法， 其特征在于， 所 述改进YOLO车辆检测器的获得 过程为： 对骨干特征提取网中的第6层、 第12层和第14层从输入的图像提取出的图像分别进行 采样、 拼接及特征提取， 然后通过标准卷积， 在9个预定义的锚点框基础上， 预测边界框的类 型、 位置以及置信度， 获得 预测图像的车辆边界框角点 坐标文件数据集； 对比标注的图像车辆边界框角点坐标文件数据集和预测的图像车辆边界框角点坐标 文件数据集， 获得误差， 训练YOLO车辆检测器， 直至所述误差小于设定值， 获得改进YOLO车 辆检测器； 所述骨干特征提取网包括1个CBL模块和13个DBR模块； 所述CBL模块包括一个标准卷积 层、 1个批量归一化层和一个Leaky  ReLU激活层； 所述DBR模块包括一个深度可分离卷积层、 一个批量归一 化层和一个ReLU激活层组成。 5.根据权利要求1所述的一种面向动态 交通场景的路面三维重建方法， 其特征在于， 步 骤3中， 所述相邻图像间的空间关系通过以下公式计算： 其中， 为图像上的特征点， R为旋转矩阵， T为平移矩阵； 通过多个特征点对， 计算出旋 转矩阵R和平 移矩阵T的实际值， 获得相邻图像间的空间关系。 6.根据权利要求1所述的一种面向动态 交通场景的路面三维重建方法， 其特征在于， 步 骤3中， 识别无效图像的过程 为：权　利　要　求　书 1/2 页 2 CN 115019208 A 2(1)设原始图像序列的重叠率为IORmax， 则优化后最低的图像重叠率为IORmin＝1‑2*(1‑ IORmax)； (2)从第1张图像开始以2步间隔进行搜索， 计算第i张图像和第i+2张图像组合得到的 遮挡率OCR1， 即两张图像车辆重叠区域占图像重叠区域的比例； 同时， 可以得到车辆遮挡位 置以外区域的实际地 面重叠率GOR1； (3)计算第i张图像、 第i+1张图像和第i+2张图像组合得到的遮挡率 OCR2， 即三张图像 车 辆重叠区域占图像重叠区域的比例， 同时， 可以得到车辆遮挡位置以外区域的实际地面重 叠率GOR2； (4)若OCR2>OCR1且GOR2>GOR1， 则保留第i+1张图像， 否则 删除第i+1张图像。 7.根据权利要求6所述的一种面向动态 交通场景的路面三维重建方法， 其特征在于， 遮 挡率OCR的计算公式为： 遮挡率OCR＝两张图像叠加后仍有车辆遮挡的部分的面积/原 始图像面积； 地面重叠率GOR的计算公式为： 地面重叠率GOR＝两张图像叠加后去除车辆遮挡部分的面积/原 始图像面积。 8.根据权利要求1所述的一种面向动态 交通场景的路面三维重建方法， 其特征在于， 步 骤4中， 首先将预处理图像和步骤1中图像的坐标相匹配， 初步估计相 机在拍摄不同照片之 间的相对空间位置； 提取每张图像上的特征点， 并匹配相邻图像的特征点； 根据特征点对和 空间对极几何， 反算出相 机的空间坐标； 根据相机空间坐标解算图像上所有特征点的空间 三维坐标， 得到点云模型， 进 而通过立体视 觉重建路面 三维形貌 。 9.一种面向动态交通场景的路面 三维重建， 其特 征在于， 包括 图像采集模块， 用于采集无 人机拍摄的图像； 坐标获取模块， 将拍摄的图像作为预测集 图像输入至改进YOLO车辆检测器中， 获得拍 摄预测集图像中车辆的坐标文件； 以车辆的坐标文件为基准， 将预测集图像中车辆边界框 内的区域单值 化； 图像序列优化模块， 通过特征提取法获得预测集图像中相邻图像间的空间关系， 通过 相邻图像之 间的空间关系和每张图像上的车辆边界框， 计算相邻图像间的实际遮挡率和地 面重叠率， 结合图像序列空间优化识别无效图像， 去除无效图像， 获得 预处理图像； 重建模块， 用于结合预处 理图像和图像的坐标文件， 通过立体视 觉重建路面 三维形貌 。权　利　要　求　书 2/2 页 3 CN 115019208 A 3