(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210623421.4 (22)申请日 2022.06.01 (71)申请人 天津大学 地址 300073 天津市南 开区卫津路9 2号 (72)发明人 杨志永　朱涛　姜杉　 (74)专利代理 机构 天津翰林知识产权代理事务 所(普通合伙) 12210 专利代理师 王瑞 (51)Int.Cl. G06T 19/00(2011.01) G06T 19/20(2011.01) G06T 15/00(2011.01) G06T 7/73(2017.01) G06T 7/33(2017.01) G06T 5/50(2006.01) (54)发明名称 一种基于视频流融合的内窥镜增强现实系 统及方法 (57)摘要 本发明公开了一种基于视频流融合的内窥 镜增强现实系统及方法。 该系统包括目标结构空 间注册模块、 虚实图像融合模块和内窥镜空间定 位模块； 目标结构空间注册模块具有物理实体注 册功能、 计算机图像注册功能以及配准功能； 虚 实图像融合模块具有虚实相机参数绑定功能和 视频流融合功能； 内窥镜空间定位模块是先将内 窥镜注册到世界坐标系中， 再在 使用内窥镜进行 工作的过程中实时获取内窥镜在世界坐标系中 的位置。 本发 明仅依托视频流即可 实现增强现实 效果， 无需冗余的改造， 不依赖于外部投影以及 穿戴式特殊显示设备， 基于传统的显示器即可完 成虚实融合。 权利要求书3页 说明书5页 附图1页 CN 114937139 A 2022.08.23 CN 114937139 A 1.一种基于视频流融合的内窥镜增强现实系统， 其特征在于， 该系统包括目标结构空 间注册模块、 虚实图像融合模块和内窥镜空间定位模块； 所述目标结构空间注册模块具有物 理实体注册功能、 计算机图像注册功能以及配准功 能； 其中， 物理实体注册功能是： 将第 一光学标记物粘贴于物理实体的表面的任意位置上， 经过光学定位仪识别， 获得物理实体在世界坐标系Oworld的位置， 实现物理实体注 册； 其中， 计算机 图像注册功能是： 获得目标结构计算机 图像模型在计算机 图像空间坐标 系Omedical中的位置姿态； 其中， 配准功能： 获取目标结构计算机图像模型所在的计算机图像空间坐标系Omedical到 目标结构物理实体所在的世界坐 标系Oworld的变换矩阵 目标结构计 算机图像模型统一 到世界坐标系； 所述虚实图像融合模块具有虚实相机参数绑定功能和视频流融合功能； 其中， 虚实相机参数绑定功能用于将 实现空间定位的内窥镜的内参矩阵和外参矩阵与 增强现实视角的虚拟相 机进行绑定， 并且实时将 内窥镜的外参矩阵传输到虚拟相 机， 实现 虚实相机同步； 其中， 视频流融合功能用于将内窥镜所拍摄到的真实场景的视频流与目标结构计算机 图像模型进行同步渲染， 实现在内窥镜视频流窗口中叠加目标结构计算机图像模型的效 果， 获得虚拟相机的相机参数； 所述内窥镜空间定位模块是先将内窥镜注册到世界坐标系中， 再在使用内窥镜进行工 作的过程中实时获取内窥镜在世界坐标系中的位置 。 2.根据权利要求1所述的基于视频流融合的内窥镜增强现实系统， 其特征在于， 该系统 还包括增强现实显示辅助模块； 增强现实显示辅助模块实现使用者与增强现实的交互， 具 体是： 使用者观察到目标结构的具体高清细节， 目标结构通过增强现实的效果以透视的状 态呈现； 观察到变换内窥镜的视角与位置， 与物理实体融合的进行实时渲染的计算机图像 模型； 根据具体需要进 行个性化辅助功能定制， 如虚拟装配等； 对视频流中的关键信息进 行 显示调整， 如改变目标结构中部 分关键结构的颜色、 通过高亮来进 行强化显示、 调出隐藏部 分图像信息和额外的辅助信息 。 3.根据权利要求1所述的基于视频流融合的内窥镜增强现实系统， 其特征在于， 所述目 标结构计算机图像模型为 通过三维建模软件或者 三维重建软件获得的目标 结构虚拟模型。 4.一种权利要求1 ‑3任一所述的基于视频流融合的内窥镜增强现实系统 的增强现实方 法， 其特征在于， 该 方法包括以下步骤： 步骤1、 获得目标结构计算机图像模型及其空间位姿信 息、 目标结构物 理实体的内窥镜 视频流及其空间位姿信息、 目标 结构物理实体的空间位姿信息； 步骤2、 基于目标结构计算机 图像模型的空间位姿信息与目标结构物理实体的空间位 姿信息， 通过几何刚体自动配准算法和 动态锚点算法获取目标结构 计算机图像模型所在的 计算机图像空间坐标系Omedical到目标结构物理实体所在的世界坐标系Oworld的变换矩阵 进而实现目标结构计算机图像模型与目标结构的物理实体的配准； 世界坐标系Oworld 由光学定位仪 定义得到；权　利　要　求　书 1/3 页 2 CN 114937139 A 2步骤3、 基于变换矩阵 将所获得的目标结构物理实体的内窥镜视频流与目标结构 计算机图像模型通过虚实图像融合模块的虚实相机参数绑定功能进行叠加渲 染， 实现虚实 相机同步， 获得虚实图像同屏融合的增强现实； 步骤4、 基于所获得的虚实图像同屏融合的增强现实效果， 通过内窥镜空间定位模块获 得实时的动态增强现实。 5.根据权利要求4所述的增强现实方法， 其特征在于， 该方法还包括步骤5： 基于所获得 的动态增强现实效果， 通过增强现实显示辅助模块实现使用者与增强现实的交 互。 6.根据权利要求4所述的增强现实方法， 其特征在于， 步骤1中， 所述目标结构计算机图 像模型的空间位姿信息是通过目标结构空间注册模块的计算机图像注册功 能获得的目标 结构计算机图像模型在计算机图像空间坐标系Omedical中的位置姿态； 目标结构物理实体的内窥镜 视频流为内窥镜直接拍摄所获得的真实场景的视频流； 目标结构物理实体的内窥镜视频流的空间位姿信息为通过虚实图像融合模块的视频 流融合功能获得的虚拟相机的相机参数； 目标结构物理实体的空间位姿信息是通过目标结构空间注册模块的物理实体注册功 能获得的目标 结构物理实体在世界坐标系Oworld中的位置姿态。 7.根据权利要求4所述的增强现实方法， 其特征在于， 步骤2中， 所述几何刚体自动配准 算法是： (1)目标结构表面第一光学标记物之间的相对关系构成一个刚体几何形状， 在目标结 构计算机图像模型中拾取对应的第一光学标记物的坐标， 根据几何刚体关系拟合， 使得目 标结构计算机图像模型中的拾取的点集和第一光学标记物在目标结构表面的点集按照顺 序一一对应， 确定对应关系； (2)基于最小二乘法和奇异值分解求得变换矩阵 通过变换矩阵 将目标结构 计算机图像模型统一到世界坐标系， 完成配准。 8.根据权利要求4所述的增强现实方法， 其特征在于， 步骤2中， 所述动态锚点算法是： 动态锚点为目标结构被观察区域外粘贴的第二光学标记物， 动态锚点所定义的局部坐标系 设为OmarkerIII， 计算机图像空间坐标系Omedical在OmarkerIII中的位置姿态设为 OmarkerIII在 世界坐标系Oworld中的位置姿态设为 根据 得到矩阵 该矩阵 为恒定， 配准完 成后作为固有 参数保存， 如果出现配准丢失的情况， 根据 获得初始的配准结果， 实现 动态锚定 。 9.根据权利要求4所述的增强现实方法， 其特征在于， 步骤4中， 内窥镜空间定位模块的 功能是： 在内窥镜的尾部安装第三光学标记物， 光学定位仪追踪识别该第三光学标记物， 通 过三角注册算法计算得到位于内窥镜头部的内窥镜相机与尾部的第三光学标记物的相对 位姿关系， 间接将内窥镜注册到世界坐标系中； 完成注册后， 在使用内窥镜进 行工作的过程 中， 内窥镜相机在世界坐标系中的位姿根据公式 来实时获取； 其中， 由内窥 镜相机定义的局部坐 标系设为Oneurocam， 由内窥镜尾部的第三光 学标记物定义的局部坐标系 设为OMarkerI； OMarkerI在Oworld中的位置姿态设为 光学定位仪识别第三光学标记物获得权　利　要　求　书 2/3 页 3 CN 114937139 A 3