(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210546704.3 (22)申请日 2022.05.19 (71)申请人 中国商用飞机有限责任公司北京民 用飞机技 术研究中心 地址 102211 北京市昌平区小汤山未来科 技城中国商飞北研中心 申请人 中国商用飞机有限责任公司 (72)发明人 成天壮　杨东浩　吴程程　许澍虹　 王大伟　杨志刚　 (74)专利代理 机构 泰和泰律师事务所 51219 专利代理师 范相玉 (51)Int.Cl. G06T 7/80(2017.01) G06T 7/20(2017.01) G06T 5/50(2006.01)G06F 3/01(2006.01) G06T 19/00(2011.01) G06V 10/62(2022.01) G06V 10/74(2022.01) G06V 40/10(2022.01) (54)发明名称 一种基于混合现实头显的人机交互虚实融 合方法及装置 (57)摘要 本发明公开了一种基于混合现实头显的人 机交互虚实融合方法及装置。 其中， 该方法包括： 获取相机的内参数矩阵M内和外参数矩阵M外； 根据 所述内参数矩阵和外参数矩阵获取MR设备的追 踪坐标系相关信息{ Pori， Rori}和实体相机相对于 追踪原点之间的位姿关系trelated获得相机的外 参数M'外根据所述相机的内参数和外参数,获得 融合后的图像。 本发明解决了 现有技术为实现在 以上两种情况下都具有可交互性， 通常借助建模 技术， 在虚拟场景中构建一个衣着、 肤色、 骨骼 长 度等与测试者都相近的虚拟人模 型， 使用数据驱 动的手段使虚拟人模型与测试者同步运动。 由于 现有的建模技术不能很好的保证建模精度， 导致 虚拟人模型在肤色、 衣着、 骨骼长度等方面与测 试者存在一定差异， 交互效果的真实性降低的技 术问题。 权利要求书2页 说明书11页 附图4页 CN 114882121 A 2022.08.09 CN 114882121 A 1.一种基于混合现实头 显的人机交 互虚实融合方法， 其特 征在于， 包括： 获取相机的内参数矩阵M内和外参数矩阵M外； 根据所述 内参数矩阵和外参数矩阵获取MR设备的追踪坐标系相关信息{Pori， Rori}和实 体相机相对于追踪原点之间的位姿关系trelated； 使用MR设备追踪设备及头显上相机相对于追踪原点的位姿关系， 利用公式M ′外＝T (Pori， Rori， trelated)获得相机的外参数M ′外， 其中T(*)表示通过Pori， Rori， trelated转换得到相机 的外参数矩阵； 根据所述相机的内参数和外参数， 获得融合后的图像。 2.根据权利要求1所述的方法， 其特征在于， 在所述根据 所述内参数矩阵和外参数矩阵 获取MR设备的追踪坐标系相关信息{Pori， Rori}和实体相机相对于追踪原 点之间的位姿关系 trelated之后， 所述方法还 包括： 对MR设备 上一对实体相机进行 标定， 获取相机的内参数M ′内。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述相机的内参数和外参数， 获 得融合后的图像包括： 依照所述相机内参数M ′内和外参数M ′外， 在虚拟场景中构建与之完全相同的虚拟相机， 并将所述虚拟相机的内外参数记为M ″内和M″外； 对虚实相机之间的匹配关系进行 校正， 保证虚实相机运动完全同步、 位姿完全相同； 根据矫正后的匹配关系， 进行图像融合操作。 4.根据权利要求3所述的方法， 其特征在于， 所述根据矫正后的匹配关系， 进行图像融 合操作包括： 使用多相机系统获取 人体关节点的三维位置信息A； 使用MR头 显上的实体相机拍摄真实场景图像P； 使用与MR头 显上实体相机匹配的虚拟相机拍摄虚拟场景图像P ’。 5.一种基于混合现实头 显的人机交 互虚实融合装置， 其特 征在于， 包括： 获取模块， 用于获取相机的内参数矩阵M内和外参数矩阵M外； 坐标模块， 用于根据 所述内参数矩阵和外参数矩阵获取MR设备的追踪坐标系相关信 息 {Pori， Rori}和实体相机相对于追踪原点之间的位姿关系trelated； 计算模块， 用于使用MR设备追踪设备及头显上相机相对于追踪原点的位姿关系， 利用 公式M′外＝T(Pori， Rori， trelated)获得相机的外参数M ′外， 其中T(*)表示通 过Pori， Rori， trelated转 换得到相机的外参数矩阵； 融合模块， 用于根据所述相机的内参数和外参数， 获得融合后的图像。 6.根据权利要求5所述的装置， 其特 征在于， 所述装置还 包括： 标定模块， 用于对MR设备 上一对实体相机进行 标定， 获取相机的内参数M ′内。 7.根据权利要求5所述的装置， 其特 征在于， 所述融合模块包括： 构建单元， 用于依照所述相机内参数M ′内和外参数M ′外， 在虚拟场景中构建与之完全相 同的虚拟相机， 并将所述虚拟相机的内外参数记为M ″内和M″外； 矫正单元， 用于对虚实相机之间的匹配关系 进行校正， 保证虚实相机运动完全同步、 位 姿完全相同； 融合单元， 用于根据矫 正后的匹配关系， 进行图像融合操作。权　利　要　求　书 1/2 页 2 CN 114882121 A 28.根据权利要求7 所述的方法， 其特 征在于， 所述融合单 元包括： 获取模块， 用于使用多相机系统获取 人体关节点的三维位置信息A； 拍摄模块， 用于使用MR头 显上的实体相机拍摄真实场景图像P； 虚拟模块， 用于使用与MR头 显上实体相机匹配的虚拟相机拍摄虚拟场景图像P ’。 9.一种非易失性存储介质， 其特征在于， 所述非易失性存储介质包括存储的程序， 其 中， 所述程序运行时控制非易 失性存储介质所在的设备执行权利要求1至4中任意一项所述 的方法。 10.一种电子装置， 其特征在于， 包含处理器和存储器； 所述存储器中存储有计算机可 读指令， 所述处理器用于运行所述计算机可读指 令， 其中， 所述计算机可读指 令运行时执行 权利要求1至4中任意 一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114882121 A 3