(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211064580.1 (22)申请日 2022.08.31 (71)申请人 昆明理工大 学 地址 650500 云南省昆明市呈贡区景明南 路727号 (72)发明人 刘利军　戴舒婷　乔伟晨　黄青松　 (74)专利代理 机构 昆明隆合知识产权代理事务 所(普通合伙) 53220 专利代理师 何娇 (51)Int.Cl. G06T 7/11(2017.01) G06T 5/00(2006.01) G06V 10/74(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 基于全局自注意力与多尺度特征融合的肝 脏CT图像分割方法 (57)摘要 本发明涉及基于全局自注意力与多尺度特 征融合的肝脏CT图像 分割方法， 属于医学图像处 理技术领域。 本发明包括步骤： (1)获取腹部CT数 据集， 并进行预处理； (2)采用ResNeXt卷积神经 网络提取多尺度特征， 引入多尺度空间信息； (3) 使用多尺度特征通过全局自注 意力模块， 得到全 局自注意力融合特征； (4)将融合特征通过改进 的卷积模组进行特征提取， 最终上采样得到分割 结果。 该方法基于LiTS公开数据集进行验证， 分 割结果与真实分割的重叠区域平均Dice值达到 了96.4％， 比经典模型UNet高4.3％。 权利要求书2页 说明书7页 附图2页 CN 115457051 A 2022.12.09 CN 115457051 A 1.基于全局自注意力与多尺度特征融合的肝脏CT图像分割方法， 其特征在于， 所述方 法的具体操作步骤如下： Step1、 图像预处理： 对LiTS数据集中的CT图像按照HU值范围进行处理来增加对比度， 再扩充数据集； Step2、 获取 同一维度特征和多尺度特征： 经Step1预处理操作之后， 利用ResNeXt卷积 神经网络提取图像特征， 通过线性变换得到统一 维度的卷积特征和基于该卷积特征的多尺 度特征； Step3、 得到全局自注意力融合特征： 以Step2获得的多尺度特征， 通过全局自注意力 模 块Non‑Local得到包含全局信息的自注意力融合特征， 以捕获目标特征与周围特征间的关 系； Step4、 将Step3得到的自注意力融合特征通过改进的卷积模块进行特征提取， 凸显通 道维度中重要语义特 征的作用， 最终上采样得到分割结果。 2.根据权利要求1所述的基于全局自注意力与多尺度特征融合的肝脏CT图像分割方 法， 其特征在于， 所述Step1的具体步骤如下： Step1.1对LiTS数据 集中的CT图像按照肝脏器官对应的HU值范围进行处理来增加对比 度； 按照‑130HU至230HU范围的CT值， 即窗宽360HU、 窗位50HU进行处理， 处理后的CT图像再 进行归一 化操作； Step1.2数据扩充采用随机水平翻转、 垂直翻转、 缩放、 裁剪的方式进行数据增强； 随机 扩充之后划分数据， 其中82％用作训练集， 其余的18 ％用作测试集， 训练集按照8:2的比例 进一步划分为训练数据及验证数据， 用于对 模型进行训练及模型选择。 3.根据权利要求1所述的基于全局自注意力与多尺度特征融合的肝脏CT图像分割方 法， 其特征在于， 所述Step2的具体步骤如下： Step2.1经过图像预处理后， 使用ResNeXt ‑101网络的前五层作为特征提取层， 将每个 ResNeXt块内的卷积分为32个路径， 每个路径处理的中间通道维度均为4， 不同路径相当于 不同的特征子空间， 用于提取不同的语义特征， 同时不同路径卷积核 学到的关系更加稀疏， 降低过拟合的风险； Step2.2将ResNeXt网络结构中Layer  1‑4层输出结果的通道维度通过线性变换统一为 64， 并将特征图尺寸上采样到与Layer  1保持一致。 拼接这四个特征， 拼接后的特征通过一 个1×1卷积压缩至64后， 得到多尺度特征， 特征通道数与特征图大小与Layer  1‑4经处理后 的特征维度一 致。 4.根据权利要求1所述的基于全局自注意力与多尺度特征融合的肝脏CT图像分割方 法， 其特征在于， 所述Step3的具体步骤为： Step3.1腹部CT图像中不同器官之间存在着一定的联系， 获取这种联系能改善肝脏器 官分割效果； 受非局部均值算法中计算当前位置与图像中其他位置相关性思想的启发， 以 Step2得到的多尺度特征出发， 分别进行三次线性映射得到Key、 Query、 Value嵌入空间特 征， 线性映射采用1 ×1卷积实现； Step3.2计算特征Key与Query的相似度， 计算相关性的函数根据非局部均值选用的 Gaussian函数得到， 计算公式为： 其中xi是输入特征图的第i个位置， j表权　利　要　求　书 1/2 页 2 CN 115457051 A 2示所有与i可能相关的位置， 将计算得到的相似度加权 到Value上得到自注意力特 征； Step3.3自注意力特征经过Softmax层 得到自注意力权重的输出， 从而将学习到的长距 离依赖关系融入到 输出特征中， 总体的计算公式如下： 其中， C(x)是Softmax标准化函数， 函数g线性映射输入j位置的表示， 通常采用1 ×1卷 积实现， 函数f计算输入第i个位置与第j个位置的相关性。 5.根据权利要求1所述的基于全局自注意力与多尺度特征融合的肝脏CT图像分割方 法， 其特征在于， 所述Step4的具体步骤为： Step4.1由Step3提取到包含多尺度信息和自注意力关系的融合特征， 通过改进的卷积 模块进一步提取融合特征中的信息； 多尺度自注意力融合特征经过一个1 ×1卷积， 将特征 通道映射至指定维度， 然后经 过一个1×1卷积和一个3 ×3卷积并得到 两者的特 征加和； Step4.2使用 作用在通道维度的注意力模块对特征通道进行通道重标定， 并使用一条 残差路径使原始特征与通道注意力特征融合， 得到残差模块的输出特征， 具体计算如公式 所示： YMRA(X)＝YCA(WLX+WEX)+X 其中， YMRA(X)表示多级残差注意力卷积操作， X表示输入特征， WL是1×1卷积矩阵， 用于 线性映射原输入， 相当于一个残差路径； WE是3×3卷积矩阵， 用 于对输入特征进行特征抽 取， YCA表示通道注意力操作； Step4.3提取到的特征采用集成学习的多路并行思想得到四组分割输出， 将四组输出 计算取平均后作为 最终输出 结果。权　利　要　求　书 2/2 页 3 CN 115457051 A 3