(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210781951.1 (22)申请日 2022.07.01 (71)申请人 宁波慈溪生物医学工程研究所 地址 315300 浙江省宁波市慈溪市学林路 99号 申请人 中国科学院宁波材 料技术与工程研 究所 (72)发明人 方利鑫　赵一天　顾愿愿　牟磊　 刘江　 (74)专利代理 机构 南京利丰知识产权代理事务 所(特殊普通 合伙) 32256 专利代理师 王茹 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/82(2022.01)G06V 10/764(2022.01) G06V 10/40(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) A61B 34/10(2016.01) A61B 34/20(2016.01) A61B 90/00(2016.01) G06V 10/74(2022.01) (54)发明名称 一种白内障手术 流程识别方法 (57)摘要 本发明公开了一种白内障手术流程识别方 法， 包括使用目标检测模型检测出视频帧中的晶 状体和手术器械； 采用一个三流卷积网络来提取 视频帧中的细粒度特征； 采用多阶段的时间卷积 网络提取视频中的时序信息， 进行白内障手术阶 段的预识别。 本发明提供了一种针对白内障手术 流程的细粒度识别方法， 具体通过提取视频中的 细粒度特征以减少白内障视频中相似阶段被分 错的概率， 并使用多阶段的时间卷积网络进行白 内障手术阶段的精准预识别， 为降低因医生操作 不当而带来的并发症提供了一种有效的途径。 权利要求书2页 说明书6页 附图3页 CN 115249336 A 2022.10.28 CN 115249336 A 1.一种白内障手术 流程识别方法， 其特 征在于， 所述方法包括： S1， 使用目标检测模型检测出视频帧中的 晶状体和手术器械； S2， 采用一个三流卷积网络， 并将所述晶状体和手术器械以及原始图片作为输入， 来提 取视频帧中对手术阶段 预测有作用的细粒度特 征； S3， 采用多阶段的时间卷积网络提取视频中的时序信 息并结合三流卷积网络提取的所 述细粒度特 征， 进行白内障手术阶段的预识别。 2.根据权利要求1所述的一种白内障手术 流程识别方法， 其特 征在于： 所述S1包括： S11， 将视频帧中的晶状体和手术器械使用图像标注工具标注出来作为训练集送入到 目标检测模型中进行训练， 所述目标检测模型为针对晶状 体和手术器械的目标检测模型； S12， 检测出晶状体和手术器械的目标 区域， 并将所述目标 区域裁剪下来作为下一步特 征提取的输入。 3.根据权利要求1或2所述的一种白内障手术流程识别方法， 其特征在于： 所述目标检 测模型为YOLOv3目标检测模型。 4.根据权利要求1所述的一种白内障手术 流程识别方法， 其特 征在于： 所述S2包括： S21， 将手术器械局部区域、 晶状体局部区域以及整张图片分别送入到残差网络 中分别 提取对应的第一局部特 征、 第二局部特 征和全局特 征； S22， 将所述第一局部特征、 第二局部特征和全局特征串联起来， 作为整个视频帧的细 粒度特征表示； S23， 将串联的特 征送入全连接层中， 输出白内障手术阶段的初步预测。 5.根据权利要求1所述的一种白内障手术流程识别方法， 其特征在于： 所述多阶段的时 间卷积网络包括第一阶段时间卷积网络和 第二阶段时间卷积网络， 所述第一阶段时间卷积 网络由多个双 扩展时间卷积层组成， 所述第二阶段时间卷积网络由多个单扩展时间卷积层 组成。 6.根据权利要求5所述的一种白内障手术流程识别方法， 其特征在于： 所述S3具体包 括： S31， 将三流卷积网络所提取的每一帧的细粒度特征经所述第一阶段时间卷积网络卷 积后输出第一阶段 预测结果给第二阶段时间卷积网络； S32， 所述第一阶段 预测结果经第二阶段时间卷积网络卷积后输出第二阶段 预测结果； S33， 将所述第二阶段预测结果与三流卷积网络提取的所述细粒度特征进行串联， 送入 到1×1卷积层进行降维； S34， 将降维处 理后的所述第二阶段 预测结果送入分类 器进行最终的手术阶段 预测。 7.根据权利要求5或6所述的一种白内障手术流程识别方法， 其特征在于： 使用带有类 权重的交叉熵损失来训练所述第一阶段时间卷积网络和第二阶段时间卷积网络， 所述类权 重是通过使用中值频率平衡得到的。 8.根据权利要求5或6所述的一种白内障手术流程识别方法， 其特征在于： 每个所述双 扩展时间卷积层包括两个具有不同膨胀因子的第一扩张时间卷积层和第二扩张时间卷积 层， 所述第一扩张时间卷积层的膨胀 因子随着层数 的增加而呈指数增长， 所述第二扩张时 间卷积层的膨胀因子随着层数的增 加而呈指数 下降。 9.根据权利要求8所述的一种白内障手术流程识别方法， 其特征在于： 每层的操作表示权　利　要　求　书 1/2 页 2 CN 115249336 A 2为： Dl＝Dl‑1+W3， l*Ql+b3， l；     (4) 其中， 和 分别是第 一扩张时间卷积层和第 二扩张时间卷积层的输出， W1， l、 W2， l 分别代表第一扩张时间卷积层和第二扩张时间卷积层的权重， b1， l、 b2， l分别代表第一扩张 时间卷积层和第二扩张时间卷积层的偏置， Ql表示 和 的连接， Dl是lth双扩展时间 卷积层的输出， 其中W3， l是公式(3)中1 ×1卷积层的权重， b3， l是公式(3)中1 ×1卷积层的偏 置。 10.根据权利要求5所述的一种白内障手术流程识别方法， 其特征在于： 所述第二阶段 时间卷积网络中的每个层单扩展时间卷积层均进 行归一化和ReLU激活操作， 且第二阶段的 时间卷积层的扩张率呈指数增长 。权　利　要　求　书 2/2 页 3 CN 115249336 A 3