(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210998737.1 (22)申请日 2022.08.19 (71)申请人 中南大学湘雅二医院 地址 410011 湖南省长 沙市人民中路139号 (72)发明人 陈飞　邓露　 (74)专利代理 机构 北京卓爱普专利代理事务所 (特殊普通 合伙) 11920 专利代理师 王玉松 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/30(2017.01) G06T 7/80(2017.01) G06T 7/136(2017.01) G06V 10/762(2022.01) G06V 10/74(2022.01) (54)发明名称 一种面向机器人辅助外科手术的位姿估计 方法和导 航系统 (57)摘要 本发明属于医疗信息学验技术领域， 特别涉 及一种面向机器人辅助外科手术的位姿估计方 法和导航系统。 本发明提供一种新的面向机器人 辅助外科手术的位姿估计方法， 术前由医学影像 建立骨头三维重建模型和术中由深度相机采集 的病人脊柱表面点云的3D ‑3D进行匹配， 并且加 入了边缘信息， 使特征更加明显， 匹配正确率更 高， 且在多个位姿筛选过程中， 使用本发明提出 的边缘匹配有效 并且快速的筛 选出正确的位姿。 权利要求书3页 说明书8页 附图9页 CN 115294281 A 2022.11.04 CN 115294281 A 1.一种面向机器人辅助外科手术的位姿估计方法， 其特征在于， 所述位姿估计方法包 括如下步骤： S1： 利用患者的医学影像构建骨头三维重建模型， 并在离线状态下对所述骨头三维重 建模型进行 预处理； S2： 利用点对之间的法向量夹角判断点对特征的可见性和点对特征的几何复杂性， 提 取所述骨头三维重 建模型的所有 可视的点对特征和非平面点对特征， 并利用提取的点对特 征构建特 征哈希表； S3： 在在线状态下获取深度相机拍摄的病人骨头的表面点云， 并基于边缘信息进行点 云采样； S4： 基于两个投票球对表面点云以及三维重建模型进行点对特征提取和匹配得到候选 位姿， 将候选位姿 进行聚类处 理后基于边 缘匹配度进行筛 选， 得到结果 位姿。 2.如权利要求1所述的面向机器人辅助外科手术的位姿估计方法， 其特征在于， 步骤S2 中利用点对之间的法向量夹角判断点对特 征的可见性和点对特 征的几何复杂性具体为： 计算两个点的法向量之间的夹角， 若夹角大于175 °， 则点对特征不可视， 否则， 点对特 征可视； 若夹角小于 5°， 则点对特 征趋于平面， 否则， 点对特 征几何复杂度高。 3.如权利要求1所述的面向机器人辅助外科手术的位姿估计方法， 其特征在于， 步骤S3 中基于边 缘信息进行点云采样具体为： 根据骨头三维重建模型的模型直径构建多分辨率体素网格结构， 针对分辨率下的每个 体素单元按照从细到粗的顺序， 将法线之间的角度小于θ 的相似点 合并。 4.如权利要求1所述的面向机器人辅助外科手术的位姿估计方法， 其特征在于， 步骤S4 中基于两个投票球对表面点云以及三维重建模型进行点对特征提取和匹配得到候选位姿 具体包括： S41： 对于采样处理后的点云， 将每隔5个点作为点对特征中的参考点， 将哈希表中存储 的三维重建模型 的模型直径M范围内的点云作为点对特征中的第二个点， 所述参考点与对 应的第二个点之间的距离小于模型直径， 将所有参考点和对应的第二个点作为参与投票的 点对； S42： 将参与投票的点对分为两个投票球体分别接受投票， 两个投票球体包括一个直径 为 小的投票球体和一个直径与物体直径相等的大的投票球体， 且将小的投票球 体接受的成对投票 填充累加器； S43： 在累加器中提取峰值， 生成对应于3D姿势的假设以及三维重建模型和表面点云之 间的对应关系， 并基于对应于 3D姿势的假设得 出各候选位姿； S44： 将大的投票接受且小的投票球体拒绝的点对投票填充累加器， 并提取峰值， 生成 对应于3D姿势的假设以及三 维重建模型和表面点云之间的对应 关系， 并基于对应于3D姿势 的假设得 出各候选位姿。 5.如权利要求4所述的面向机器人辅助外科手术的位姿估计方法， 其特征在于， 步骤S4 中将候选位姿 进行聚类处 理具体包括： S45： 将每一个候选位姿用矩形框框起来作 为ROI区域， 对ROI区域中边缘轮廓点云进行 距离的聚类， 并计算边缘聚类的中心点与候选位姿中心点之间的距离， 将距离大于阈值的权　利　要　求　书 1/3 页 2 CN 115294281 A 2点云筛除。 6.如权利要求5所述的面向机器人辅助外科手术的位姿估计方法， 其特征在于， 步骤S4 中基于边 缘匹配度进行筛 选具体包括： S46： 根据投票数将聚类后的各候选位姿排序， 并根据 候选位姿的最大投票数Votemax将 候选位姿分为两类， 其中， 第一类为大于Votemax/2的候选位姿， 第二类是小于Votemax/2的候 选位姿， 且第二类的数量大于第一类的数量； S47： 在第一类的候选位姿中， 选取靠近边缘且投票数最大的10个候选位姿分别计算位 姿分数， 若位姿分数高于0.7， 则 所述候选位姿为结果位姿， 停止计算并进行步骤S48， 若所 有位姿分数均大于0.6且小于0.7， 则选择分数最高的候选位姿作为结果位姿并进行步骤 S48， 若所有位姿分数均小于 0.6， 则进行步骤S49； S48： 基于三维重建模型和表面点云之间的对应关系， 生成三维重建模型和表面点云之 间的转换关系； S49： 对剩余所有候选位姿进行3D边缘点的查询， 并返回步骤S47计算剩余所有候选位 姿的位姿分数且 对位姿分数进行判断。 7.如权利要求6所述的面向机器人辅助外科手术的位姿估计方法， 其特征在于， 步骤 S47中位姿分数Score的计算公式如下： 其中， NROI是在ROI区域中的轮廓点云， Nmatching是接近候选姿态的边 缘点云的数量。 8.一种利用视觉伺服方法控制手术机械臂的方法， 其特征在于， 所述方法包括如下步 骤： S100： 将骨头三维重建模型、 钻孔坐标系、 深度相机坐标系、 机械臂末端坐标系和机械 臂基座坐标系进 行坐标转换， 基于实际位姿到结果位姿的转换关系得到实际位置到结果位 姿的差值； S200： 实时获取一个或多个摄像机捕捉机械臂末端执行器的图像或点云， 根据图像或 点云生成机 械臂末端执 行器的位置； S300： 判断实际位置到结果位姿的差值是否小于阈值， 若不是， 则计算机械臂末端执行 器的运动速度， 并生成控制指令发送给机械臂末端执行器， 且进行步骤S200， 若是， 则机械 臂末端执 行器的运动速度为0， 向机 械臂末端执 行器发送 停止运动的指令 。 9.如权利要求8所述的利用视觉伺服方法控制手术机械臂的方法， 其特征在于， 步骤 S100中进行坐标转换的具体步骤如下： 获取骨头三维重建模型坐标系下的钻孔目标位姿矩阵 对深度相机、 机械臂进行手眼标定， 得到深度相机坐标系到机械臂末端坐标系的转换 矩阵 对机械臂和钻孔以进行工具标定， 得到固定钻孔仪的坐标系到机械臂末端坐标系 的转换矩阵 基于权利要求1 ‑7任一方法位姿估计方法得到骨头三维重建模型坐标系到摄像机坐标 系的变换矩阵 权　利　要　求　书 2/3 页 3 CN 115294281 A 3