(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210714675.7 (22)申请日 2022.06.23 (65)同一申请的已公布的文献号 申请公布号 CN 114818992 A (43)申请公布日 2022.07.29 (73)专利权人 成都索贝数码科技股份有限公司 地址 610041 四川省成 都市高新区新园南 二路2号 (72)发明人 何金龙　袁霞　温序铭　 (74)专利代理 机构 成都九鼎天元知识产权代理 有限公司 51214 专利代理师 周浩杰 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/74(2022.01) G06T 5/50(2006.01) G06V 20/40(2022.01) (56)对比文件 CN 113096763 A,2021.07.09 CN 102568026 A,2012.07.1 1 CN 104183 014 A,2014.12.0 3CN 110516639 A,2019.1 1.29 CN 111836012 A,2020.10.27 CN 112465401 A,2021.0 3.09 WO 2021042 957 A1,2021.0 3.11 WO 2013085927 A1,2013.0 6.13 袁霞.室内场景动态光照在线 采集. 《现代计 算机》 .2020,(第3 3期),第58- 63+69页. 闫甲鹏.移动增强现实装配系统的虚实场景 融合研究. 《中国优秀硕士学位 论文全文数据库 信息科技 辑》 .2016,(第1 1期),第I138-4 40页. 王婷婷.基于Silverlight的3D虚拟实景研 究与实现. 《中国优秀硕士学位 论文全文数据库 (信息科技 辑)》 .2015,(第1期),第I138-1543页. 形象思维VR.虚实融合 技术 | 虚实融合 技 术是什么意思？ . 《ht tp://www.siweivr.com/ bksy/1072 9.html》 .2020,第1页. 视频融合家族.三维全景融合 技术， 北京智 汇云舟把虚拟和现实全景组合 渲染连一 起. 《https://page.om.qq.com/pa ge/ O4r96KP6y2w8 DQNcdz4DhePg0》 .202 2,第1页. (续) 审查员 周琼 (54)发明名称 图像数据解析方法、 场景估计方法、 3D融合 方法 (57)摘要 本发明公开了一种图像数据解析方法、 场景 估计方法、 3D融合方法， 属于视频领域， 包括针对 多端实景数据异地融合的图像数据解析步骤、 图 像raw数据解析步骤、 焦栈数据解析步骤、 相机参 数解析步骤、 场景估计和图像融合步骤， 实现实 时、 多端相机协同、 多应用的视频图像异地融合， 规避在屏幕端的复杂限制问题； 同时脱离三维渲 染引擎， 能够将多个异地端的实景数据进行重 建， 获取正确的3D视觉几何关系， 提出了实景融 合的解决方案， 避免了过渡依 赖3D虚拟场景建模 操作； 且能够实现自由改变视点的同时保持融合数据的一致性表达， 本地端视点改变后， 融合数 据的场景内容跟随本地端视点变化而变化， 从而 达到异地与本地场景在视 觉上的实时无缝融合。 [转续页] 权利要求书2页 说明书8页 附图5页 CN 114818992 B 2022.09.23 CN 114818992 B (56)对比文件 Chengwei Pan 等.Virtual-Real Fusi on with Dynamic Scene from Videos. 《2016 Internati onal Conference o n Cyberw orlds (CW)》 .2016,第6 5-72页. 机器人创新 生态.融合3D场景几何信息的视 觉定位算法. 《ht tps://www.elecfans.com/d/ 1378940.html》 .2020,第1页.2/2 页 2[接上页] CN 114818992 B1.一种图像数据解析方法， 其特征在于， 针对多端实景数据异地融合所需的图像数据 进行解析， 具体包括 步骤： S10， 图像raw数据解析； 在步骤S10中， 所述图像raw数据解析， 包括子步骤： S101， 计算从二维图像中提取的每一帧中的主体数据及其在当前帧下的尺度； S102， 对图像数据进行量化操作， 同一端相机的视频数据进行帧间的相似性判断以及 对异端视频数据进 行差异性判断； 量化操作的方法为基于图像色彩信息、 灰度信息、 梯度信 息以及频域里振幅数据的方法， 并生成不同中间数据； S103， 度量处理， 包括同端数据的相似性度量、 异端数据的差异性度量； 同端数据的相 似性度量包括非等距地间隔标记视频帧， 以此来判断视频中的动态主体的位置和尺度信 息， 使主体在后续处理过程中能够保持大小、 位置的稳定性； 异端 数据的差异 性度量包括逐 帧地估计多端视频中动态主体之间的关系因子， 确认关系因子之后用于保证融合后的每帧 数据完成局部一 致性； S104， 建模， 将同端数据的相似性度量参数和异端数据的差异性度量参数进行共同建 模估计， 得到一个全局的度量因子， 利用全局的度量因子确保解析出来的视频数据的全局 一致； S11， 焦栈数据解析； 在步骤S1 1中， 所述焦栈数据解析， 包括子步骤： S111， 焦栈估计， 将多端视频的焦栈数据归一化到共同的尺度下， 然后在频域中处理每 帧图像数据， 估计 每帧数据处于的焦栈位置； S112， 焦栈融合， 在频域中完成步骤S111中焦栈估计处理过的图像数据的焦栈状态转 换后， 再完成这部分图像数据地融合； S12， 相机参数解析， 在步骤S12中， 所述相机参数解析， 包括子步骤： S121， 基于图像的相机参数估计， 对图像raw数据解析和焦栈数据解析中的数据建立多 帧图像数据之间的3D关系， 通过重投影过程估计相机的CCD、 FOV及物理焦距， 从而恢复相机 成像的视椎 数据； S122， 相机物理焦距与图像焦栈数据的映射求解， 利用焦栈估计中获得的每一端设备 的离散焦栈范围， 结合基于图像的相 机参数估计结果， 估算出实际相 机焦距范围和焦栈数 据之间的映射关系， 拟合数据之间的函数变化关。 2.一种场景估计方法， 其特征在于， 包括三维场景数据重构步骤， 利用该步骤将权利要 求1所述的图像数据解析 方法解析后的数据进行三维场景 数据的重构， 具体包括子步骤： S201， 屏幕参数化估计， 将点阵图像显示在屏幕上， 对拍摄的屏幕图像进行点阵的坐标 提取， 估计出屏幕数据在欧式空间中的参数化 函数； S202， 场景尺度估计， 将相机参数解析单元处理后的不同的端 的相机成像视椎数据缝 合， 使得多 端相机共同组成一个等效的视 觉成像系统， 获得场景最终的输出尺度； S203， 针对静态场景， 结合 图像raw数据解析单元得到的尺度数据， 同时基于相机视椎 构造来模拟多个平面来近似三维静态场景空间； 针对动态场景， 对动态场景 的运动轨迹和 其几何骨架进 行估计， 结合图像raw数据解析单元得到的尺度数据， 让动态场景的三 维数据 还原到真实尺度。 3.一种3D融合方法， 其特征在于， 包括融合步骤， 利用该步骤融合权利要求2所述的场 景估计方法处理后得到的数据和权利要求1所述的图像数据解析方法解析后得到的数据，权　利　要　求　书 1/2 页 2 CN 114818992 B 3