(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211154963.8 (22)申请日 2022.09.21 (71)申请人 天津市中西医结合医院 （天津市南 开医院） 地址 300000 天津市南 开区长江道6号 申请人 南开大学 (72)发明人 王芳　李纪　王彦红　郑光明　 卢冶　 (74)专利代理 机构 天津睿勤专利代理事务所 (普通合伙) 12225 专利代理师 孟福成 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/26(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种口腔图像快速识别的网络模型及系统 (57)摘要 本发明提供了一种口腔图像快速识别的网 络模型， 利用扩充后的改建的ODSI  DB数据集对 以FBNetV3G为骨干网络、 以FPN为特征提取工具 的Mask R CNN结构的网络模型进行训练得到FFM 网络模型， 能够同时做到目标检测和实例分割两 种任务， 满足口腔图像的识别和分割要求。 以及 一种口腔图像快速识别的系统， 其手机端用于拍 摄口腔照片， 商用电脑端的Flask后端用于调用 口腔图像分析模块分析口腔照片， 并将口腔照片 分析结果传输给HTML前端进行展 示， 口腔图像分 析模块为利用PyTorch模型库搭建的FFM网络模 型， 在商用电脑设备上， 获得了理想的的模型精 度和APP响应时间。 权利要求书1页 说明书6页 附图4页 CN 115512388 A 2022.12.23 CN 115512388 A 1.一种口腔图像快速识别的网络模型， 其特 征在于： 包括F FM网络模型， 所述FFM网络模型通过以下步骤得到： 步骤1： 保留ODSIDB数据集的每份tiff图片的第一张RGB合成图片， 为每张RGB合成图片 制作类MS COCO形式的标注， 得到改建的OD SIDB数据集， 其中， 类MS COCO形式的标注的bbox属性的每个标注区域的包围盒坐标列表为[X1,Y1, X2,Y2]， 其中X1≤X2,Y1≤ Y2； X1＝min(V,X),Y1＝min(V,Y),X2＝m ax(V,X),Y2＝m ax(V,Y)； V∈(V1,V2,...Vn)， (V1, V2,...Vn)为OD SIDB数据集的标注区域的多边形坐标序列； 步骤2： 利用扩充后的改建的ODSIDB数据集对以FBNetV3G为骨干网络、 以FPN为特征提 取工具的Mask  R CNN结构的网络模型进行训练， 得到所述F FM网络模型。 2.如权利 要求1所述的口腔图像快速识别的网络模型， 其特征在于： 所述以FBNetV3G为 骨干网络、 以FPN为特征提取工具的Mask  R CNN结构的网络模型为基于MS  COCO数据集训练 过的网络模型。 3.如权利要求1所述的口腔图像快速识别的网络模型， 其特征在于： 所述FFM网络模型 为经过剪枝处 理的网络模型； 步骤3： 对步骤2得到的FFM 网络模型进行结构化的层稀疏度剪枝； 再利用扩充后的改建 的ODSIDB数据集进行训练， 得到 剪枝后的F FM网络模型。 4.如权利要求3所述的口腔图像快速识别的网络模型， 其特征在于： 基准层稀疏度为 10％， 删减掉单一层中权 重绝对值处于后10％的权 重。 5.如权利要求1所述的口腔图像快速识别的网络模型， 其特征在于： 改建的ODSI  DB数 据集的扩充方法包括： 水平翻转、 垂直翻转、 调整随机HUE、 调整饱和度、 调整曝光中的一种 或多种。 6.一种口腔图像快速识别的系统， 其特征在于： 包括商用电脑端和手机端， 所述商用电 脑端内设置有为HTML前端、 Flask后端和口腔图像 分析模块， 所述手机端与所述HTML前端通 讯连接， 所述Flask后端分别与所述HTML前端、 口腔图像分析模块连接， 所述口腔图像分析 模块为利用PyTorc h模型库搭建的F FM网络模型； 所述手机端用于拍摄口腔照片， 并传输给 所述HTML前端； 所述HTML前端用于将口腔照片传输给 Flask后端， 并展示口腔照片分析 结果； 所述Flask后端用于调用所述口腔图像分析模块分析口腔照片， 并将口腔照片分析结 果传输给 所述HTML前端。 7.如权利要求1所述的口腔图像快速识别的系统， 其特征在于： 所述HTML前端用于将口 腔照片分析 结果传输给 所述手机端； 所述手机端用于展示口腔照片分析 结果。权　利　要　求　书 1/1 页 2 CN 115512388 A 2一种口腔图像快速识别的网 络模型及系统 技术领域 [0001]本发明属于图像识别技术领域， 特别涉及 一种口腔图像快速识别的网络模型及系 统。 背景技术 [0002]世界卫生组织于2022年的报告中指出， 口腔疾病在很大程度上是可以预防的。 定 期检查自身口腔是 口腔疾病 预防的重要组成部分， 能够让患者发现问题及早治疗， 减轻患 者因口腔疾病导 致的压力。 [0003]当下， 许多人会定期检查口腔， 检查的途径可大致分为自我检查和专业医疗机构 检查两种。 值得注 意的是， 由于专 业医疗检查需要一定的医疗资源， 在部 分口腔医疗资源有 限的地区， 定期专 业检查成本过高， 这会促使人们选择自我检查或不进 行检查。 对于非专 业 人士， 自我检查的手段和水平极其有限， 可能会导致误诊的出现， 错过最佳治疗时机。 因此， 制作一套方便、 快速的 口腔健康检测方案 显得尤为必要。 [0004]多年来， 很多研究者尝试将人工智能技术集成于 口腔健康监测系统中， 许多开创 性的研究为经济、 方便的自我诊断系统铺平了道路。 [0005]最近， 深度卷积神经网络算法成为许多医学 图像诊断任务的最新解决方案。 深度 学习在口腔健康中的应用任务大致可分为三类： 图像 分类、 目标检测和图像分割。 对于图像 分类任务， 深度卷积神经网络模 型首先通过卷积运算， 迭代图像来执行特征提取工作， 然后 将提取到的特征转换为 目标类别的概率分布； 对于目标检测任务， 深度卷积神经网络模型 遵循相同的特征提取步骤， 然后通过回归得到目标的边界框坐标； 对于图像分割任务， 深度 卷积神经网络模型将整个图像分割为几个具有相似特性的区域。 此外， 多任务学习 是医学 图像相关深度学习的最新研究方向之一， 用于一个模型需要适配多种任务的情况。 具体来 说， 多任务学习使用特殊的深度卷积神经网络模型， 该模型 的特点是具有共享的特征提取 步骤和单独的回归步骤， 可以在一次推理中解决所有类型的任务。 相关研究已经证明， 与使 用单独的模型相比， 多任务学习可以提高每个任务的准确性， 因为通过联合训练过程， 提取 的特征具有更好的泛化能力。 Mask  R CNN能够同时做到目标检测和实例分割两种任务， 是 典型的多任务学习结构。 [0006]科技界近年在口腔健康相关技术上成果颇多， 现有的大多数研究都集中在如何辅 助用户追踪和改善牙齿卫生上。 为了追踪牙齿的卫生状况， 研究人员采用了智能手机摄像 头、 光学运动传感器技术、 惯性传感器、 以及声学传感器等先进技术。 随着智能手机的技术 进步， 手机摄像头性能越来越强， 能拍到的照片包含越来越多的信息， 使用手机进 行健康检 测日渐成为研究者的研究路径。 [0007]当前移动手机的应用市场中， 涌现出了很多口腔健康APP。 P arker等人和Tiffany 等人全面检视了市场上最受欢迎的口腔健康应用程序， 针对公开可用的口腔健康应用程序 的各种状态作了报告。 报告发现这些应用程序具有多种功 能， 例如提供 口腔健康教育和激 励健康的 口腔生活方式等。 但是， 这些AP P普遍都是 科普性质的， 不具有口腔问题检查功能。说　明　书 1/6 页 3 CN 115512388 A 3