(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210714758.6 (22)申请日 2022.06.23 (71)申请人 成都索贝数码科技股份有限公司 地址 610041 四川省成 都市高新区新园南 二路2号 (72)发明人 袁霞　何金龙　温序铭　 (74)专利代理 机构 成都九鼎天元知识产权代理 有限公司 51214 专利代理师 周浩杰 (51)Int.Cl. G06T 19/00(2011.01) G06T 17/00(2006.01) G06T 5/40(2006.01) G06T 5/50(2006.01) G06T 7/80(2017.01)G06V 10/74(2022.01) (54)发明名称 图像数据解析装置、 场景估计装置、 3D融合 系统 (57)摘要 本发明公开了一种图像数据解析装置、 场景 估计装置、 3D融合系统， 属于视频领域， 包括针对 多端实景数据异地融合的图像数据解析单元、 图 像raw数据解析单元、 焦栈数据解析单元、 相机参 数解析单元、 场景估计和图像融合， 实现实时、 多 端相机协同、 多应用的视频图像异地融合， 规避 在屏幕端的复杂限制的问题； 同时脱离三维渲染 引擎， 能够将多个异地端的实景数据进行重建， 获取正确的3D视觉几何关系， 提出了实景融合的 解决方案， 避免了过渡依赖3D虚拟场景建模操 作； 且能够实现自由改变视点的同时保持融合数 据的一致性表达， 本地端视点改变后， 融合数据 的场景内容跟随本地端视点变化而变化， 从而达 到异地与本地场景在视 觉上的实时无缝融合。 权利要求书2页 说明书8页 附图2页 CN 115063561 A 2022.09.16 CN 115063561 A 1.一种图像数据解析装置， 其特征在于， 包括针对多端实景数据异地融合的图像解析 单元； 具体包括： 图像raw数据解析 单元； 焦栈数据解析 单元； 相机参数解析 单元。 2.根据权利要求1所述的图像数据解析装置， 其特征在于， 所述图像raw数据解析单元 包括如下子单 元： 计算子单元， 用于计算从二维图像中提取的每一帧中的主体数据及其在 当前帧下的尺 度； 量化子单元， 用于对图像数据进行量化操作， 同一端相机的视频数据进行帧间的相似 性判断以及对异端视频数据进行差异性判断； 量化操作的方法包括基于图像色彩信息、 灰 度信息、 梯度信息以及频域里振幅数据的方法， 并生成不同中间数据； 度量子单元， 包括同端数据的相似性度量、 异端数据的差异性度量； 同端数据的相似性 度量包括非等距地间隔标记视频帧， 以此来判断视频中的动态主体的位置和尺度信息， 使 主体在后续处理过程中能够保持大小、 位置的稳定性； 异端数据的差异性度量包括逐帧地 估计多端视频中动态主体之 间的关系因子， 确认关系因子之后用于保证融合后的每帧数据 完成局部一 致性； 建模子单元， 用于将同端数据的相似性度量参数和 异端数据的差异性度量参数进行共 同建模估计， 得到一个全局的度量因子， 利用全局的度量因子确保解析出来的视频数据的 全局一致。 3.根据权利要求1或2所述的图像数据解析装置， 其特征在于， 所述焦栈数据解析单元 包括如下子单 元： 焦栈估计子单元， 用于将多端视频的焦栈数据归一化到共 同的尺度下， 然后在频域中 处理每帧图像数据， 估计 每帧数据所处的焦段位置； 焦栈融合子单元， 用于在频域中完成所述焦栈估计子单元中处理过的图像数据的焦栈 状态转换后， 再完成这部分图像数据地融合。 4.根据权利要求3所述的图像数据解析装置， 其特征在于， 所述相机参数解析单元包括 如下子单 元： 基于图像的相机参数估计子单元， 用于对图像raw数据解析单元和焦栈数据解析单元 中的数据建立多帧图像数据之间的3D关系， 通过重投影过程估计相机的CCD、 FOV及物理焦 距， 从而恢复相机成像的视椎 数据； 相机物理焦距与图像焦栈数据的映射求解子单元， 用于利用焦栈估计子单元获得的每 一端设备 的离散焦栈范围， 结合基于图像的相 机参数估计子单元 的结果， 估算出实际相 机 焦距范围和焦栈数据之间的映射关系， 拟合数据之间的函数变化关系。 5.一种场景估计装置， 其特征在于， 包括三维场景数据重构单元， 用于将权利要求1或2 所述的图像数据解析装置解析后的数据进行三维场景 数据的重构； 具体包括如下子单 元： 屏幕参数化估计子单元， 用于将点阵图像显示在屏幕上， 对拍摄的屏幕图像进行点阵 的坐标提取， 估计出屏幕数据在欧式空间中的参数化 函数； 场景尺度估计子单元， 用于将相机参数解析单元处理后的不同的端的相机成像视椎数权　利　要　求　书 1/2 页 2 CN 115063561 A 2据拼接在一起， 使得多端相 机共同组成一个等效的视觉成像系统， 获得场景最终的输出尺 度； 静态场景重建子单元， 用于针对静态场景， 结合图像raw数据解析单元得到的尺度数 据， 同时基于相机 视椎构造来模拟多个平面 来近似三维静态场景空间； 动态场景重建子单元， 用于针对动态场景， 对动态场景的运动轨迹和其几何结构进行 计算， 结合图像raw数据解析单元得到的尺度数据， 让动态场景的三维数据还原到真实尺 度。 6.一种3D融合系统， 其特征在于， 包括融合单元， 用于融合权利要求5所述的场景估计 装置估计后得到的数据和权利要求1或2任一项所述的图像数据解析装置解析后得到的数 据； 具体包括如下子单 元： 几何融合子单元， 用于利用图像信息提取匹配数据， 建立3D几何关系， 将多端的三维场 景数据转换成等效视 觉成像系统上的二维图像数据； 图像融合子单元， 用于将图像数据按几何融合子单元中3D几何关系定义为不同图像 块， 分别建立每块图像数据的像素数据直方图， 计算不同图像块之间的相似程度， 然后生成 对应的掩码图像以辅助图像块之间的边 缘融合； 融合一致性处理子单元， 用于根据几何融合子单元、 图像融合子单元计算出多端视频 数据转换到拍摄端下的图像数据， 然后根据多端场景估计装置的参数将其投影到显示媒介 上。 7.根据权利要求6所述的3D融合系统， 其特征在于， 所述融合一致性处理子单元包括几 何一致性处理子单元和图像数据一致性处理子单元； 利用所述几何一致性处理子单元将多 端相机的外参数据和主成像端的相 机外参数据进行联动， 计算相对位姿关系； 所述图像数 据一致性处理子单元采用色彩映射 算法纠正显示 媒介上的图像数据。权　利　要　求　书 2/2 页 3 CN 115063561 A 3