(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210774838.0 (22)申请日 2022.07.01 (71)申请人 上海市第一人民医院 地址 200080 上海市虹口区武进路85号 申请人 上海交通大 学 (72)发明人 余奇　杨杰　郭天骄　刘堃　许迅　 (74)专利代理 机构 上海一平知识产权代理有限 公司 3126 6 专利代理师 竺云　徐迅 (51)Int.Cl. G06T 7/00(2017.01) G06T 5/00(2006.01) G06T 5/20(2006.01) G06V 10/74(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于决策规则和深度神经网络的眼底图像 视野分类方法及装置 (57)摘要 本申请涉及计算机视觉与数字图像处理领 域， 公开了一种基于决策规则和深度神经网络的 眼底图像拍摄视野自动化分类方法及装置。 其 中， 将用于检测F 1、 F2视野的决策规则模 块和CNN 分类模块结合构成F1、 F2视野检测模块。 将用于 分类F3至 F7视野的决策规则模块和CNN分类模块 结合构成F3至F7视野的分类模块。 利用视野类别 标注与决策规则模块的决策结果差距， 输入训练 集， 调整决策规则和参数； 利用视野类别标注与 CNN分类模块分类结果的差距构建损失函数， 输 入训练集训练CNN模型， 迭代更新网络参数。 本发 明兼顾可解释性和可迁移性， 使得多视野分类指 标有一定程度的提升， 结果可靠 。 权利要求书2页 说明书10页 附图3页 CN 115170503 A 2022.10.11 CN 115170503 A 1.一种基于决策规则和深度神经网络的眼底图像视野分类方法， 其特征在于， 所述方 法包括如下步骤： 建立数据集步骤： 给定一个包含多张眼底彩照的数据集， 对每一张彩照给定相应的视 野类别标注； 并且， 将所述数据集划分为用于训练模型和调整参数的训练集， 以及用于检测 结果的验证集； 预处理的步骤： 对每张所述眼底彩照的原始RGB域眼底图像进行预处理， 以获得尺寸统 一的RGB图像和 增强域图像； 建立并训练眼底图像视野分类方法模型的步骤： 利用划分好训练集和验证集的所述数 据集进行模型训练和验证； 测试模型的步骤： 利用所述眼底图像视野分类方法模型对已经过处理 的所述眼底图像 进行分类， 以获得最终分类结果。 2.根据权利要求1所述的基于决策规则和深度神经网络的眼底图像视野分类方法， 其 特征在于， 采用以下算法之一或其任意组合来获得尺寸统一的RGB图像和增强域图像： 裁 剪、 填充、 尺寸变换运 算。 3.根据权利要求1所述的基于决策规则和深度神经网络的眼底图像视野分类方法， 其 特征在于， 采用以下算法之一或其任意组合来获得尺寸统一的RGB图像和增强域图像： 卷 积、 高斯滤波、 背景减除运 算。 4.根据权利要求1所述的基于决策规则和深度神经网络的眼底图像视野分类方法， 其 特征在于， 所述建立并训练眼底图像视野分类方法模型， 进一 步包含： 设计用于检测F1、 F2视野 的第一决策规则模块、 用于分类F3至F7视野的第二决策规则 模块， 以及CN N分类模型； 将所述第一决策规则模块与所述CNN分类模块结合构成相应的第一视野检测模块， 并 且， 将所述第二决策规则模块与所述CN N分类模块结合构成相应的第二视野分类模块； 通过将所述视野类别标注与对应决策规则模块的决策结果之间的差距输入到所述训 练集， 来调整决策规则和参数， 并且， 利用所述视野类别标注与所述对应CNN分类模块的分 类结果之间的差距， 构建损失函数， 输入所述训练集， 来训练CN N模型， 迭代更新网络参数。 5.根据权利要求4中所述的基于决策规则和深度神经网络的眼底图像视野分类方法， 其特征在于， 根据所述第一和第二决策规则模块的成功与否， 来决定分类结果选择决策规 则模块的结果或CN N分类的结果。 6.根据权利要求4中所述的基于决策规则和深度神经网络的眼底图像视野分类方法， 其特征在于， 利用视野类别标注与决策规则模块的决策结果差距， 输入训练集， 调整决策规 则和参数的步骤中， 在所述训练集上最大化 准确率， 其中， 将准确率 最大化问题定义 为： 其中， T1代表F1、 F2视野决策规则 模块中相似度决策阈值， T2代表F3至F7视野决策规则 模块中相似度决策阈值， N为验证集的图片数； PF为模型预测的眼底视野类别， GF为视野类别 标注， 表示模型 预测的结果与标注相同的数量。 7.根据权利要求4中所述的一种基于决策规则和深度神经网络的眼底图像视野分类方权　利　要　求　书 1/2 页 2 CN 115170503 A 2法， 其特征在于， 利用视野类别标注与CNN分类模块分类结果的差距构建损失函数， 输入训 练集训练CNN模型， 迭代更新网络参数， 使损失函数最小化， 其中损失函数最小化问题定义 为： 上式中， θ代表模型参数， n为每次训练的图像数即batch数量； Goh表示彩照的视野类别 标注GF的14维one‑hot编码形式； Poh表示CNN的预测结果。 8.一种基于决策规则和深度神经网络的眼底图像视野分类装置， 其特 征在于， 包括： 建立数据集单元， 用于给定一个包含多张眼底彩照的数据集， 对每一张彩照给定相应 的视野类别标注； 并且， 将所述数据集划分为用于训练模型和调整参数的训练集， 以及用于 检测结果的验证集； 预处理单元， 用于对每张所述眼底彩照的原始RGB域眼底图像进行预处理， 以获得尺寸 统一的RGB图像和 增强域图像； 建立并训练眼底图像视野分类方法模型单元， 用于利用划分好训练集和验证集的所述 数据集进行模型训练和验证； 测试模型单元， 用于利用所述眼底图像视野分类方法模型对已经过处理 的所述眼底图 像进行分类， 以获得最终分类结果。 9.一种基于决策规则和深度神经网络的眼底图像视野分类设备， 其特 征在于， 包括： 存储器， 用于存 储计算机可 执行指令； 以及， 处理器， 用于在执行所述计算机可执行指令时实现如权利要求1至7中任意一项所述的 方法中的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 可执行指 令， 所述计算机可执行指令被处理器执行时实现如权利要求 1至7中任意一项所述 的方法中的步骤。权　利　要　求　书 2/2 页 3 CN 115170503 A 3