(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211070837.4 (22)申请日 2022.09.02 (71)申请人 大连大学 地址 116622 辽宁省大连市经济技 术开发 区学府大街10号 (72)发明人 周士华　李嘉伟　李萍　 (74)专利代理 机构 大连智高专利事务所(特殊 普通合伙) 2123 5 专利代理师 盖小静 (51)Int.Cl. G06T 5/50(2006.01) G06T 5/00(2006.01) G06N 3/04(2006.01) G06V 10/74(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06V 20/70(2022.01) (54)发明名称 一种基于语义引导网络的医学图像融合系 统 (57)摘要 本发明公开了一种基于语义引导网络的医 学图像融合系统， 用于执行医学图像融合任务。 通过边缘增强模块和对应的边缘损失函数， 使融 合结果的边缘纹理更加清晰。 区域掩膜模块可以 对原图像划分不同的区域来着 重提取特征， 同时 全局细化模块可以优化融合结果的整体视觉效 果。 此外， 通过语义损失函数来传递更多的语义 信息， 以提高融合图像的质量。 本系统可 以在视 觉感知中生成生动的融合结果， 也同时保证了量 化指标。 因此， 本方法有助于医学图像融合的发 展。 权利要求书3页 说明书7页 附图3页 CN 115423731 A 2022.12.02 CN 115423731 A 1.一种基于语义引导网络的医学图像融合系统， 其特 征在于， 包括： 边缘增强模块， 使用两个具有密集连接模式的3 ×3卷积和一个1 ×1卷积从源图像 中提 取浅层特征图εConv； 通过新的梯度滤波器 来学习梯度信息 εG； 然后根据元素加法合并浅层特 征图εConv和梯度信息 εG得到最终边 缘增强特 征 εf； 区域掩膜模块， 通过一个区域掩码生成器RMG和多个区域掩码卷积RMC来学习和优化边 缘增强特 征 εf， 以得到特 征 全局细化模块， 把所述特征 导入到两个3 ×3卷积， 以获得全局掩码优化特征 然后， 将来自MRI分支的边缘增强特征εf与全局掩码优化特征 相关联； 最后 通过元素加 法来整合特征εf与 以生成全局的细化信息， 并使用两个1 ×1卷积来消除信道 维度的差 异； 该模块细化过程 量化为： 其中，⊙表示连接操作。 2.根据权利要求1所述一种基于语义引导网络的医学图像融合系统， 其特征在于， 所述 新的梯度滤波器分别在水平方向和垂 直方向部署具有Sobel算子的3 ×3卷积来得到水平梯 度信息 εG， 所述梯度信息 εG被输入到1 ×1卷积中。 3.根据权利要求1所述一种基于语义引导网络的医学图像融合系统， 其特征在于， 在区 域掩膜模块中， 所述边缘增强特征εf首先被馈送到具有LReLU层和平均池化层的3 ×3卷积 中， 在所述LReLU层通过另 一个3×3卷积进行修改后， 将提取的特征映射输入到转置卷积 中， 以获得 上采样特 征 4.根据权利要求3所述一种基于语义引导网络的医学图像融合系统， 其特征在于， 所述 区域掩膜模块为了实现空间掩码自调节， 其通过Gumbel  softmax分布来估计一个One ‑hot 分布， 具体为： 其中， h和w表示垂直和水平 方向上的因子； Gsp是Gumbel  softmax中的中间噪声张量， 且 所有元素都服 从Gumbel分布； 当超参数θ趋于无穷时， 特征图能执行均匀分布； 当超参数θ趋 于0时， 将会出现One ‑hot分布。 5.根据权利要求4所述一种基于语义引导网络的医学图像融合系统， 其特征在于， 所述 区域掩膜模块为了通过信道掩码Mc标记“冗余”区域， 在馈送Gumbel  softmax之前将边缘增 强特征 εf在高斯分布上随机转换成采样特 征 其中Mc定义为： 其中c为通道数， Gc为中间噪声张量。权　利　要　求　书 1/3 页 2 CN 115423731 A 26.根据权利要求1所述一种基于语义引导网络的医学图像融合系统， 其特征在于， 在训 练阶段， 使用空间和信道掩码分别标记区域掩码生成器RM G中的“重要”和“冗余”区域； 在测 试阶段， 引入了Argmax层替代Gumbel  softmax以获得空间掩码和通道掩码， 得到经掩码优 化后的特 征 7.根据权利要求1所述一种基于语义引导网络的医学图像融合系统， 其特征在于， 使用 跳跃连接将CT、 PET、 SPECT分支上的边缘增强模块与全局细化模块后面的3 ×3卷积连接起 来。 8.根据权利要求1所述一种基于语义引导网络的医学图像融合系统， 其特征在于， 通过 损失函数来训练医学 图像融合系统， 所述损失函数包括边缘损失函数LE、 结构相似性损失 函数LSSIM和语义损失； 故总损失函数Ltotal定义为： Ltotal＝LE+α LSSIM+β LS 其中α 和β 是平衡Ltotal的超参数； 在训练阶段， 所述 边缘损失函数分为两 部分： LE＝Lc+γLg 其中， Lc和Lg分别代表内容和梯度损失； γ是控制Lg大小的超参数； 在内容损失Lc中， 使 用L1范数来测量 生成的输出图像与源图像之间差异； 所述 Lc定义为： 其中， HF和WF表示IF的高度和宽度； max(*)和||*||1分别表示最大选择策略和L1范数； IF 是融合图像， IA,IB是源图像； 通过梯度损失来测量像素域中的梯度值， 具体为： 其中， 代表计算梯度值的索贝尔算子 。 9.根据权利要求8所述一种基于语义引导网络的医学图像融合系统， 其特征在于， 结构 相似性损失函数LSSIM通过结构相似性指标SSIM来测量结构差异， 其中包括三种信息： 亮度、 结构和对比度； 其 量化为： LSSIM＝(1‑SSIM(IF,IA))+(1‑SSIM(IF,IB)) 其中， SSIM(IF,I*)定义为： 其中， I*代表源图像IA或IB； μ和σ 分别表示平均值和 标准差； C1， C2和C3是维持稳定的常 数。 10.根据权利要求8所述一种基于语义引导网络的医学图像融合系统， 其特征在于， 所 述语义损失包括主 要语义损失Lmain和次要语义损失Lsub： LS＝Lmain+δ Lsub权　利　要　求　书 2/3 页 3 CN 115423731 A 3