(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211345300.4 (22)申请日 2022.10.31 (71)申请人 河北工业大 学 地址 300130 天津市红桥区丁字沽光 荣道8 号河北工业大 学东院330# (72)发明人 郝小可　闵虹杰　王晓芳　阎刚　 李家旺　王静怡　甄时伟　 (74)专利代理 机构 天津翰林知识产权代理事务 所(普通合伙) 12210 专利代理师 付长杰 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/26(2022.01) G06V 10/25(2022.01)G06V 10/20(2022.01) (54)发明名称 基于时空图卷积的脑网络分类方法 (57)摘要 本发明为基于时空图卷积的脑网络分类方 法， 对于静息态功能磁共振影像数据的时间序 列， 使用拆分的时空图卷积同时提取时间特征和 空间特征。 该方法首先采用基于体素形态的分析 法对静息态功能磁共振影像进行分析， 利用大脑 模板将大脑皮层划分为多个感兴趣区域， 将大脑 建模为图结构的脑网络， 并利用多个时空图卷积 层分别提取时间特征和空间特征， 降低了卷积操 作的复杂度。 为了进一步提升训练效果， 该方法 利用三元 组损失函数来提升模型训练效果， 使用 时空图注意力模块来进一步提取空间特征和时 间特征， 从而提高基 于大脑网络的分类精度。 权利要求书4页 说明书14页 附图3页 CN 115496953 A 2022.12.20 CN 115496953 A 1.一种基于时空图卷积的脑网络分类方法， 其特 征在于， 该分类方法包括以下内容： 获取静息态功能磁共振影像数据后， 利用基于体素的分析法通过人类连接计划多模态 分割图谱(H CP‑MMP)提取出多个感兴趣区域； 以感兴趣区域的时间序列特 征构建图结构脑网络， 并获得 所有样本共享的邻接矩阵A； 构建分类预测模型： 所述分类预测模型的整个网络包含1个通道数为64、 时间核和空间核大小均为11的时 空图卷积S ‑TGConv模块、 1个通道数为128， 时间核大小为11， 空间核大小为5的时空图卷积 S‑TGConv模块、 1个通道数为128的时空图注意力S ‑TGAtten模块、 一层归一化层BN层、 一层 Dropout层、 两层全连接层、 一个分类函数； 其中两个S ‑TGConv模块使用了不同的通道数和 核大小， 按照通道数由小到大依串联后连接S ‑TGAtten模块， 将第二个S ‑TGConv模块中的时 空图卷积处理并拼接后的特征与S ‑TGAtten模块直接输出的特征进行求和， 再经过 LeakyReLU层后的输出依次连接归一化BN层、 一层Dropout层、 两层全 连接层， 再经分类函数 获得分类预测模型的输出； 所述S ‑TGAtten模块的通道数与第二个S ‑TGConv模块的通道数 一致， 用于提取不同时间点、 不同ROI的权 重信息； 所述S‑TGConv模块包括一层空间图卷积层和与之并列的一层时间图卷积层， 空间图卷 积层和时间图卷积层的输出经拼接操作连接LeakyReLU激活函数， 获得时空图卷积S ‑ TGConv模块的输出； 所述的时空图注意力S ‑TGAtten模块的流程是： 对于时空图卷积S ‑TGConv模块输出的 特征， 首先在每个节点上使用共享的线性变换权重矩阵W， 然后 使用一层参数为Wf的线性变 化层， 提取高频特征和低频特征， 并将高频特征和 低频特征这两个特征进 行拼接操作， 通过 一层参数为Wt的线性变化层， 最后通过LeakyReLU激 活函数进行非线性变化， 获得时空图注 意力S‑TGAtten模块的输出。 2.一种基于时空图卷积的脑网络分类方法， 该 方法的具体步骤是： 第一步， 构建静息态 功能磁共 振影像数据集： 第1.1步， 静息态 功能磁共 振影像数据预处 理： 获取静息态功能磁共振影像分类数据集， 使用fMRISurface软件对原始图像数据进行 VBM预处理， 分别进行去颅骨、 分割、 配准和空间平滑等操作， 在移除小脑的影响后， 使用相 应的模板将大脑划分为多个感兴趣区域(ROI)， 计算其血氧浓度依赖对比(BOLD)信号的标 准化数值后作为 ROI的时间序列特征， 每个样本得到包含N个ROI的时间序列信号数据； 以感 兴趣区域作为节点， 节点数量为N， 其序列长度为M， 第n个ROI的时间序列特征表示为一个M 维的时间序列数据 则一个样本的时间序列特征为X＝ [x1,…,xn,…,xN]T∈RN×M， 其初始通道数为1， 将数据集划分训练集和 测试集； 第1.2步， 设置固定的时间窗口大小， 对M个时间点进行时间窗口随机采样后添加到训 练集中， 对训练集进 行扩充， 获得扩充后的训练集； 以测试集和扩充后的训练集作为静息态 功能磁共 振影像数据集； 第二步， 构建图结构脑网络： 第2.1步， 计算所有样本共享的邻接矩阵A： 使用特征拼接函数concat( ·)把所有样本的时间序列特征按照ROI的序号进行拼接，权　利　要　求　书 1/4 页 2 CN 115496953 A 2并计算皮尔森相关系数， 每 个元素都代表脑区之间的相关性； 使用特征拼接函数concat( ·)把所有样本的时间序列特征按照ROI的序号进行拼接， 之后使用K ‑最近邻算法计算KN N图， 将皮尔森相关系数和KN N图相乘获得 所有样本共享的邻接矩阵A； 其中， U0为样本个数， Xu＝[x1,…,xn,…,xN]T∈RN×M为第u个样本的时间序列特征矩阵， KNN、 concat、 PCC分别表示计算KN N图、 特征拼接操作、 PC C操作； 第2.2步， 构建图结构脑网络： 将所有样本共享的邻接矩阵A作为边的权重， 以样本的时 间序列特 征X为每个节点的特 征， 构建图结构脑网络； 第三步， 利用分类预测模型进行分类： 第3.1步， 将第二步中构建的图结构脑网络输入到一层通道数为64的S ‑TGConv模块从 中提取特征， 此处使用的时间核和空间核的大小均为1 1， 步长为1； 第3.2步， 将3.1中输出的特征F1输出到一层通道数为128、 时间卷积 核为11， 空间卷积 核 为5的S‑TGConv模块， 得到 输出特征F2； 第3.3步， 将特征F2输入到通道数为128的S ‑TGAtten模块中， 随机给定共享的线性变换 权重矩阵W， 在F2的每个ROI特征上使用共享的线性变换权重矩阵W， 然后使用一层参数为Wf 的线性变化层， 提取高频特征和低频特征， 并将 高频特征和低频特征这两个特征进行拼接 操作， 通过一层参数为Wt的线性变化层， 最后通过LeakyReLU激活函数进行非线性变化， 得 到特征F3， 该步骤的公式为： F3＝LeakyReLU(co nncat((WF2)Wf)Wt)    (8) 第3.4步， 特征F3依次经过一层归 一化BN层、 一层Dropout层、 两层全连接层φfc1、 φfc2和 一个分类函数clas sify后， 得到最终输出的分类结果Pc， 如公式(6)所示： Pc＝classify(φfc2(φfc1(φdropout(φBN(F3)))))    (9) 第3.5步， 使用三元组图卷积来增强训练效果： 给定一个样本 Xa作为原始样本， 随机采样 出一个正样本Xp和一个负样本Xn， Xp与Xa标签一致， 而Xp与Xa的标签不一致； 基于l2正则函 数， 定义当前样本的三元组损失函数Ltd为： 其中， O表示 一个小批次训练中三元组的采样数量， ft(·)为采样函数， Ф为间隔参数； 计算分类结果Pc的预测标签 使用带有正则化项的损失函 数和加强训练 效果的三元组 损失函数来计算第3.4 步的分类结果； 总的损失函数L oss为： 其中， 为类别预测值， y为各类别对应的真实值， ε为标签平 滑参数， C为类别数； 利用扩充后的训练集训练分类预测模型， 保存最优的分类预测模型， 用于进行脑网络 分类， 完成分类预测任务； 第四步， 将采集到的功能磁共振影像数据集按第1.1步进行预处理后， 将处理后的样本 的时间序列特征X和第2.1步的所有样本共享的邻接矩阵A构成图结构脑网络， 输入到第三权　利　要　求　书 2/4 页 3 CN 115496953 A 3