(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210712043.7 (22)申请日 2022.06.22 (71)申请人 齐鲁工业大学 地址 250353 山东省济南市长清区大 学路 3501号 (72)发明人 耿玉水　林雪　赵晶　张雪峰　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 赵妍 (51)Int.Cl. G06V 40/70(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/82(2022.01)G06N 3/08(2006.01) (54)发明名称 基于动态权重降维的多模态医学图像分类 方法及系统 (57)摘要 本发明涉及医学图像 分类技术领域， 提供了 基于动态权重降维的多模态医学图像分类方法 及系统， 包括： 对于每个模态的医学图像， 进行特 征提取， 得到特征表示； 对于一个模态内的所有 像素点， 计算与其余模态内的所有像素点之间的 相关性； 对于每一个模态内的所有像素点， 得到 与同一模态内的其余像素点之间的相似性动态 权重； 基于相关性和相似性权重， 进行模态间像 素点和模态内像素点的组合， 得到多个分组， 并 根据分组结果进行降维， 得到降维后每个模态的 医学图像的特征表示； 基于降维后每个模态的医 学图像的特征表示， 实现医学图像分类。 充分利 用了各个模态的特征信息， 提高了医学图像分类 的精确度和鲁棒 性。 权利要求书2页 说明书9页 附图3页 CN 115035611 A 2022.09.09 CN 115035611 A 1.基于动态权 重降维的多模态医学图像分类方法， 其特 征在于， 包括： 对于每个模态的医学图像， 进行 特征提取， 得到特 征表示； 对于一个模态内的所有像素点， 计算与其 余模态内的所有像素点之间的相关性； 对于每一个模态内的所有像素点， 得到与同一模态内的其余像素点之间的相似性动态 权重； 基于相关性和相似性权重， 进行模态间像素点和模态内像素点的组合， 得到多个分组， 并根据分组结果进行降维， 得到降维后每 个模态的医学图像的特 征表示； 基于降维后每 个模态的医学图像的特 征表示， 实现医学图像分类。 2.如权利要求1所述的基于动态权重降维的多模态医学图像分类方法， 其特征在于， 所 述相关性的计算方法为： 取一个模态内的一个像素点， 取另一个模态内的一个像素点， 计算 两个像素点在每个特征向量上的相关性， 并取最大的相关性作为两个像素点之间的相关 性。 3.如权利要求1所述的基于动态权重降维的多模态医学图像分类方法， 其特征在于， 所 述相似性动态权 重的获取 方法为： 初始化同一模态内两个像素点间的相似性动态权重， 并根据相似性动态权重， 计算散 度矩阵和变换 特征矩阵； 通过迭代求解目标函数， 不断优化散度矩阵和变换特征矩阵， 进而优化相似性动态权 重。 4.如权利要求3所述的基于动态权重降维的多模态医学图像分类方法， 其特征在于， 所 述目标函数为： 其中， Tr()表示矩阵的迹， P为变换 特征矩阵， St为散度矩阵。 5.如权利要求1所述的基于动态权重降维的多模态医学图像分类方法， 其特征在于， 所 述分组的获取 方法为： 对于一个模态内在每个像素点， 在其余模态中选择与其相关性最大的像素点， 将两个 像素点进行配对； 对于一个模态内在每个像素点， 在同一模态中选择与其相似性动态权重最大的像素 点， 将两个 像素点进行配对； 将具有配对关系的像素点聚集 为一组。 6.如权利要求1所述的基于动态权重降维的多模态医学图像分类方法， 其特征在于， 采 用极限学习机， 基于降维后每 个模态的医学图像的特 征表示， 实现医学图像分类。 7.基于动态权 重降维的多模态医学图像分类系统， 其特 征在于， 包括： 特征提取模块， 其被 配置为： 对于每 个模态的医学图像， 进行 特征提取， 得到特 征表示； 相关性计算模块， 其被配置为： 对于一个模态内的所有像素点， 计算与其余模态内的所 有像素点之间的相关性； 相似性动态权重获取模块， 其被配置为： 对于每一个模态内的所有像素点， 得到与同一 模态内的其 余像素点之间的相似性动态权 重； 降维模块， 其被配置为： 基于相关性和相似性权重， 进行模态间像素点和模态内像素点权　利　要　求　书 1/2 页 2 CN 115035611 A 2的组合， 得到多个分组， 并根据分组结果进 行降维， 得到降维后每个模态的医学图像的特征 表示； 分类模块， 其被配置为： 基于降维后 每个模态的医学图像的特征表示， 实现医学图像分 类。 8.如权利要求7所述的基于动态权重降维的多模态医学图像分类系统， 其特征在于， 所 述相关性计算模块， 具体被配置为： 取一个模态内的一个像素点， 取另一个模态内的一个像 素点， 计算两个像素点在每个特征向量上 的相关性， 并取最大 的相关性作为两个像素点之 间的相关性。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1 ‑6中任一项 所述的基于动态权重降维的多模态医学图像分类方法中 的步骤。 10.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑6中任一项 所述的基 于动态权 重降维的多模态医学图像分类方法中的步骤。权　利　要　求　书 2/2 页 3 CN 115035611 A 3