(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221071396 5.X (22)申请日 2022.06.22 (65)同一申请的已公布的文献号 申请公布号 CN 114782470 A (43)申请公布日 2022.07.22 (73)专利权人 浙江鸿禾医疗科技有限责任公司 地址 314000 浙江省嘉兴 市秀洲区康和路 1288号嘉兴光伏科创 园1号楼16层办 公室3-1 (72)发明人 李鹏　马婷　胡峰　刘一君　 吴建芳　刘揆亮　 (74)专利代理 机构 深圳市铭粤知识产权代理有 限公司 4 4304 专利代理师 孙伟峰　刘燚圣(51)Int.Cl. G06T 7/11(2017.01) G06T 7/73(2017.01) G06T 17/00(2006.01) G06T 3/40(2006.01) G06K 9/62(2022.01) G06V 10/74(2022.01) (56)对比文件 CN 111145238 A,2020.0 5.12 CN 114022547 A,202 2.02.08 CN 113287155 A,2021.08.20 审查员 张露 (54)发明名称 消化道的三维全 景识别定位方法、 存储介质 和设备 (57)摘要 本发明公开了一种消化道的三维全景识别 定位方法、 存储介质和设备。 该方法包括： 获取原 始消化道 图像集中每一帧原始消化道 图像相对 于相邻的前一帧原始消化道图像的帧旋转信息； 基于胶囊内窥镜的结构参数和帧旋转信息在每 一帧原始消化道图像上截取新增区域图像， 构成 新增区域图像集； 构建三维管状内壁片段集， 其 中三维管状内壁片段集中每个片段根据胶囊内 窥镜的结构参数、 帧旋转信息和新增区域图像构 建得到； 将三维管状内壁片段集中的各个片段依 序进行首尾拼接， 形成消化道三维全景图像； 确 定目标区域所在的三维管状内壁片段并确定目 标区域的位置信息。 该方法的阅片、 诊断的整个 过程比较直观、 便捷， 且能快速、 精准地确定目标 区域的位置 。 权利要求书2页 说明书12页 附图8页 CN 114782470 B 2022.09.13 CN 114782470 B 1.一种消化道的三维全景识别定位方法， 其特征在于， 所述三维全景识别定位方法包 括： 获取胶囊内窥镜拍摄到的原始消化道图像集中每一帧原始消化道图像相对于相邻的 前一帧原 始消化道图像的帧旋转信息； 基于胶囊内窥镜的结构参数和帧旋转信息在原始消化道图像集中的每一帧原始消化 道图像上截取新增区域图像， 构成新增区域图像集； 构建三维管状 内壁片段集， 其中所述三维管状内壁片段集中每个片段根据胶囊内窥镜 的结构参数、 帧旋转信息和新增区域图像构建得到； 将所述三维管状 内壁片段集中的各个片段依序进行首尾拼接， 形成消化道三维全景图 像； 在所述消化道三维全景图像中识别出目标区域后， 确定目标区域所在的三维管状 内壁 片段； 根据所述目标区域位于所在三维管状 内壁片段的坐标、 各个所述三维管状内壁片段的 结构长度、 帧旋转信息， 确定所述目标区域的位置信息 。 2.根据权利要求1所述的消化道的三维全景识别定位方法， 其特征在于， 所述胶囊内窥 镜上设置有姿态传感器， 获取原始消化道图像集中每一帧原始消化道图像相对于相邻的前 一帧原始消化道图像的帧旋转信息的方法包括： 获取姿态传感器采集到的姿态信 息集合和姿态传感器的固定采样时间， 其中所述姿态 信息集合包括连续多个时刻的三轴方向上的旋转角速度； 基于所述姿态信息集合和所述固定采样时间计算得到每一帧原始消化道图像相对于 相邻的前一帧原 始消化道图像的帧旋转信息 。 3.根据权利要求1所述的消化道的三维全景识别定位方法， 其特征在于，  获取原始消 化道图像集中每一帧原始消 化道图像相对于相邻的前一帧原始消 化道图像的帧旋转信息 的方法包括： 获取每一帧原始消化道图像与前一帧原始消化道图像进行特征匹配， 获得若干对特征 匹配点； 基于各个所述特 征匹配点的像素坐标值构建得到 本质矩阵； 基于所述本质矩阵分别得到帧旋转矩阵和平 移矩阵的若干个估计值； 根据若干对特征匹配点的其中一对特征匹配点的像素坐标值、 帧旋转矩阵和平移矩阵 的若干个估计值确定符合预设条件的帧旋转矩阵， 作为帧旋转信息 。 4.根据权利要求1所述的消化道的三维全景识别定位方法， 其特征在于， 基于胶囊内窥 镜的结构参数和对应帧的帧旋转信息在原始消 化道图像集中的每一帧原始消 化道图像上 截取新增区域图像的方法包括： 根据胶囊内窥镜的结构参数确定每一帧原 始消化道图像中的标志投影线； 根据待截取的当前帧原始消化道图像的帧旋转信息计算得到当前帧原始消化道图像 与相邻的前一帧原 始消化道图像之间的姿态转换值； 根据胶囊内窥镜的结构参数和所述姿态转换值确定所述前一帧原始消化道图像的标 志投影线在所述当前帧原 始消化道图像中的成像投影线； 截取所述当前帧原始消化道图像中标志 投影线和成像投影线之间的图像， 作为新增区权　利　要　求　书 1/2 页 2 CN 114782470 B 2域图像。 5.根据权利要求4所述的消化道的三维全景识别定位方法， 其特征在于， 根据胶囊内窥 镜的结构参数和所述姿态转换值确定所述前一帧原始消 化道图像的标志投影线在所述当 前帧原始消化道图像中的成像投影线的方法包括： 根据胶囊内窥镜的结构参数和所述姿态转换值确定所述前一帧原始消化道图像的标 志投影线在所述当前帧原 始消化道图像中的若干候选投影线； 计算前一帧原始消化道图像的标志投影线以及各所述候选投影线的离散量化像素灰 度值序列； 依次计算前一帧原始消化道图像的标志投影线的离散量化像素灰度值序列与各所述 候选投影线的离 散量化像素灰度值序列之间的莱文斯 坦距离； 将符合预设条件的莱文斯 坦距离所对应的候选投影线作为成像投影线。 6.根据权利要求4所述的消化道的三维全景识别定位方法， 其特征在于， 所述三维管状 内壁片段为两端开放的斜切圆柱筒体， 所述斜切圆柱筒体的顶端所在面为平面， 所述斜切 圆柱筒体的底端所在面 为斜面。 7.根据权利要求6所述的消化道的三维全景识别定位方法， 其特征在于， 根据胶囊内窥 镜的结构参数、 帧旋转信息和新增区域图像构建得到所述 三维管状内壁片段的方法包括： 根据所述胶囊内窥镜的结构参数、 帧旋转信息计算得到所述斜切圆柱筒体的直径、 倾 斜角度以及斜切圆柱筒体的长度； 根据所述 新增区域图像的像素值计算得到所述 斜切圆柱筒体的内壁 面的像素值。 8.根据权利要求7所述的消化道的三维全景识别定位方法， 其特征在于， 将所述三维管 状内壁片段集中的各个片段依序进行 首尾拼接的方法包括： 将每个斜切圆柱筒体的侧壁进行变形处理， 使得每个斜切圆柱筒体的顶端所在面调整 为与相邻的下一个斜切圆柱筒体的底端所在面匹配， 形成变形后的三维管状内壁片段； 将各个变形后的三维管状内壁片段的顶端和底端首尾连接， 并且按照各个对应的姿态 转换值对各个 变形后的三维管状内壁片段进行旋转， 形成消化道三维全景图像。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有消化道的 三维全景识别定位程序， 所述消化道的三维全景识别定位程序被处理器执行时实现权利要 求1至8任一项所述的消化道的三维全景识别定位方法。 10.一种计算机设备， 其特征在于， 所述计算机设备包括计算机可读存储介质、 处理器 和存储在所述计算机可读存储介质中的消化道的三维全景识别定位程序， 所述消化道的三 维全景识别定位程序被处理器执行时实现权利要求1至8任一项所述的消 化道的三维全景 识别定位方法。权　利　要　求　书 2/2 页 3 CN 114782470 B 3