(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211363939.5 (22)申请日 2022.11.02 (71)申请人 清华大学 地址 100084 北京市海淀区清华园 (72)发明人 方璐　张晋之　唐若凡　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 张润 (51)Int.Cl. G06T 17/00(2006.01) G06T 5/50(2006.01) G06N 3/08(2006.01) (54)发明名称 大场景弹性语义表征与自监督光场重建方 法及装置 (57)摘要 本公开涉及计算机技术领域， 尤其涉及一种 大场景弹性语义表征与自监督光场重建方法及 装置。 其中， 该大场景弹性语义表征与 自监督光 场重建方法， 包括： 获取目标场景对应的第一深 度图集合， 其中， 第一深度图集合包括至少一个 视角对应的第一深度图； 将第一深度图集合输入 至目标弹性语义重建模型， 得到第二深度图集 合， 其中， 第二深度图集合包括至少一个视角对 应的第二深度图； 对至少一个视角对应的第二深 度图进行融合， 得到目标场景对应的目标场景点 云。 采用本公开可 以提高光场重建的准确性、 完 整性和质量。 权利要求书2页 说明书16页 附图5页 CN 115423946 A 2022.12.02 CN 115423946 A 1.一种大场景弹性语义表征与自监 督光场重建方法， 其特 征在于， 包括： 获取目标场景对应的第一深度图集合， 其中， 所述第一深度图集合包括至少一个视角 对应的第一深度图； 将所述第 一深度图集合输入至目标弹性语义重建模型， 得到第二深度图集合， 其中， 所 述第二深度图集 合包括至少一个视角对应的第二深度图； 对所述至少一个视角对应的第 二深度图进行融合， 得到所述目标场景对应的目标场景 点云。 2.根据权利要求1所述的方法， 其特征在于， 所述获取目标场景对应的第一深度图集 合， 包括： 利用光场重建算法获取所述目标场景中至少一个视角对应的第 一深度图、 法向量图和 置信度度量图， 其中， 所述第一深度图、 所述法向量图和所述置信度 度量图一 一对应； 根据所述至少一个视角对应的第一深度图、 法向量图和置信度度量图， 确定所述目标 场景对应的第一深度图集 合。 3.根据权利要求2所述的方法， 其特征在于， 所述将所述第 一深度图集合输入至目标弹 性语义重建模型， 得到第二深度图集 合， 包括： 确定任一所述第一深度图对应的弹性语义表征； 根据所述弹性语义表征、 所述第一深度图对应的法向量图和置信度度量图， 确定所述 第一深度图对应的候选点 集合， 所述候选点集合包括至少一个候选点； 控制所述至少一个候选点分别在所述第 一深度图中进行像素传播， 得到所述第 二深度 图。 4.根据权利要求3所述的方法， 其特征在于， 所述控制所述至少一个候选点分别在所述 第一深度图中进行像素传播， 得到所述第二深度图， 包括： 控制所述至少一个候选点分别在所述第 一深度图中进行像素传播， 得到第 二传播深度 图集合， 其中， 所述第二传播深度图集合包括至少一个第二传播深度图， 所述第二传播深度 图与所述 候选点一一对应； 对所述第一深度图进行随机扰动， 得到第一深度； 对所述第一深度和所述至少一个第 二传播深度图对应的第 二深度进行评估， 选取评估 结果满足深度条件的第二传播深度图作为所述第二深度图。 5.根据权利要求4所述的方法， 其特征在于， 所述对所述第 一深度和所述至少一个第 二 传播深度图对应的第二深度进行评估， 包括： 对所述第一深度和所述至少一个第二传播深度图对应的第二深度进行跨视角的光度 一致性度量、 语义 一致性度量和参 考视角内的平 滑性度量。 6.根据权利要求1所述的方法， 其特征在于， 所述将所述第 一深度图集合输入至目标弹 性语义重建模型， 得到第二深度图集 合， 包括： 获取初始弹性语义重建模型； 将所述第一深度图集 合输入至所述初始弹性语义重建模型， 得到第三深度图集 合； 若所述第三深度图集合满足模型迭代条件， 则对所述初始弹性语义重建模型进行迭代 训练， 直至所述第三深度图集合不满足所述模型迭代条件， 得到所述 目标弹性语义重建模 型， 并确定所述 不满足所述模型迭代条件的第三深度图集 合为所述第二深度图集 合。权　利　要　求　书 1/2 页 2 CN 115423946 A 27.根据权利要求6所述的方法， 其特征在于， 所述对所述初始弹性语义重建模型进行迭 代训练， 包括： 确定所述第三深度图集 合对应的对比损失函数和空间聚集损失函数； 根据所述对比损失函数和所述空间聚集损失函数， 确定总体损失函数； 根据所述总体损失函数， 对所述初始弹性语义重建模型进行反向传播训练。 8.根据权利要求6所述的方法， 其特征在于， 所述第 三深度图集合包括至少一个视角对 应的第三深度图， 所述确定所述第三深度图集 合对应的对比损失函数， 包括： 确定所述至少一个视角对应的第 三深度图中每一个像素对应的置信度， 得到目标像素 集合， 其中， 所述目标像素集合包括至少一个目标像素， 所述目标像素的置信度不小于置信 度阈值； 确定所述目标像素集合中所有目标像素对应的对比学习损失函数之和为所述对比损 失函数。 9.根据权利要求6所述的方法， 其特征在于， 所述第 三深度图集合包括至少一个视角对 应的第三深度图， 所述确定所述第三深度图集 合对应的空间聚集损失函数， 包括： 对所述至少一个视角对应的第 三深度图中每一个像素进行高斯采样， 得到所述每一个 像素对应的考 察点集合， 其中， 所述 考察点集合包括至少一个考 察点； 根据所述 考察点集合， 确定所述空间聚集损失函数。 10.一种大场景弹性语义表征与自监 督光场重建装置， 其特 征在于， 包括： 集合获取单元， 用于获取目标场景对应的第一深度图集合， 其中， 所述第 一深度图集合 包括至少一个视角对应的第一深度图； 集合生成单元， 用于将所述第一深度图集合输入至目标弹性语义重建模型， 得到第二 深度图集 合， 其中， 所述第二深度图集 合包括至少一个视角对应的第二深度图； 深度图融合单元， 用于对所述至少一个视角对应的第二深度图进行融合， 得到所述目 标场景对应的目标场景点云。权　利　要　求　书 2/2 页 3 CN 115423946 A 3