(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210546904.9 (22)申请日 2022.05.19 (71)申请人 济南大学 地址 250022 山东省济南市 市中区南 辛庄 西路336号济南大 学 (72)发明人 牛四杰　周雪莹　李孝辉　高希占　 董子昊　刘博文　张凤航　董吉文　 (74)专利代理 机构 济南领升专利代理事务所 (普通合伙) 37246 专利代理师 王吉勇 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/40(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06T 7/00(2017.01) G06T 7/13(2017.01) G06T 7/73(2017.01) G06T 7/11(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于空间上下文变分自动编码器的图 像异常检测方法 (57)摘要 本发明公开了一种基于空间上下文变分自 动编码器的图像异常检测方法， 所述方法通过使 用空间上下文变 分自动编码器， 进行图像生成与 注意力校正， 检测异常图像； 所述空间上下文变 分自动编码器包括两个不同的变分自动编码器： 第一个为空间变 分自动编码器， 用于学习正常图 像的空间特征； 第二个为上下文变分自动编码 器， 用于学习正常图像的全局上下文特征。 本发 明通过使用空间上下文变分自动编码器学习正 常图像的分布， 检测不符合正常图像 分布的疾病 图像， 通过准确学习正常图像的空间特征和上下 文特征， 在有效检测异常的同时降低误报； 同时 使用注意力校正方法， 进一步提高异常检测的准 确率。 权利要求书3页 说明书7页 附图2页 CN 114913377 A 2022.08.16 CN 114913377 A 1.一种基于空间上下文变分自动编码器的图像异常检测方法， 其特征在于， 所述方法 通过使用空间上 下文变分自动 编码器， 进行图像生成与注意力校正， 检测异常图像； 所述空间上 下文变分自动 编码器包括两个不同的变分自动 编码器： 第一个为空间变分自动 编码器， 用于学习正常图像的空间特 征； 第二个为上 下文变分自动 编码器， 用于学习正常图像的全局上 下文特征。 2.根据权利要求1所述的一种基于空间上下文变分自动编码器的图像异常检测方法， 其特征在于， 所述方法的实现包括如下步骤： a)收集医学图像数据， 对收集的数据进行 预处理； b)提取预处理后图像中的生物组织区域； c)通过所述空间上下文变分自动编码器， 学习正常生物组织的空间及上下文特征的分 布； d)提出一种不依赖 于梯度的定位 算法， 生成关注 异常区域的注意力图； e)在检测阶段， 通过构建一个异常 分数， 评价待检测图像的异常情况。 3.根据权利要求2所述的一种基于空间上下文变分自动编码器的图像异常检测方法， 其特征在于， 所述医学图像数据的收集和预处 理过程包括： a‑1)通过医学成像设备采集医学图像， 图像 每个像素点的取值范围为0 ‑255； a‑2)通过双线性插值方法将所述图像的分辨 率进行标准化。 4.根据权利要求2所述的一种基于空间上下文变分自动编码器的图像异常检测方法， 其特征在于， 所述提取预处理后图像中的生物组织区域采用自监督分割网络的方法， 包括 步骤如下： b‑1)构建灰度直方图， 计算 正常图像中生物组织区域的边 缘坐标； b‑2)根据得到的边缘坐标， 将边缘内部填充， 获得二值掩膜图像， 其中， 生物组织区域 为1， 其它区域 为0； b‑3)将所获得的二值掩膜图像与原始图像相乘， 只保留原始图像中的生物组织区域， 排除无关区域对检测的干扰； b‑4)使用正常医学图像及提取的生物 组织区域作为训练样本x及对应的标签y， 训练一 个分割网络， 用于自动提取正常及异常图像中的生物组织区域； b‑5)所述分割网络的基本架构包含3组卷积模块， 4组下采样模块， 和4组上采样模块， 所述上采样过程使用跳层连接技 术； b‑6)所述分割网络的优化目标函数为： 其中， p为图像x的预测值， y为标签， N 为训练样本的个数； b‑7)训练过后， 将所述分割网络的参数固定。 原始图像将先通过分割网络， 得到生物组 织区域的分割结果， 将分割结果的二 值图像与原 始图像相乘， 得到后续网络的输入图像Ir。 5.根据权利要求1所述的一种基于空间上下文变分自动编码器的图像异常检测方法， 其特征在于， 所述空间变分自动 编码器的构建包括如下步骤： c‑1)构建特 征提取网络、 分布学习网络以及图像重建网络；权　利　要　求　书 1/3 页 2 CN 114913377 A 2c‑2)所述空间变分自动编码器的特征提取网络包含4个卷积层、 1个最大池化层、 4组残 差模块和一个平均池化层， 其分布学习网络包含三个卷积层， 图像重 建网络包含9组反卷积 模块和1个卷积层； c‑3)空间变分自动 编码器的目标函数为： 其中， 第一项DKL(qφs(zs))||pθ s(zs))为相对熵损失函数， 其中, 为输入数据 的空间潜变 量， pθ s(zs)为正常空间特征的真实后验分布， qφs(zs)为已知的高斯分布， 用以逼 近正常空间特 征的真实后验分布； 第二项||Ir‑Is||1是重建误差损失函数， 其中Is为空间变分自动 编码器的重建图像。 6.根据权利要求1所述的一种基于空间上下文变分自动编码器的图像异常检测方法， 其特征在于， 所述上 下文变分自动 编码器的构建包括如下步骤： c‑1)构建特 征提取网络、 分布学习网络以及图像重建网络； c‑2)所述特征提取网络包含1个卷积层、 1个最大池化层、 4组残差模块和一个平均池化 层， 分布学习网络包 含三个全连接层， 图像重建网络包 含9组反卷积模块和1个卷积层； c‑3)所述上 下文变分自动 编码器的目标函数为： 其中， 第一项DKL(qφc(zc))||pθc(zc))为相对熵损失函数， 其中， 为输为输入数据 集的上下文潜变 量， pθ c(zc)为正常上下文特征的真 实后验分布， qφc(zc)为已知的高斯分布， 用以逼近正常上 下文特征的真实后验分布； 第二项||Ir‑Ic||1是重建误差损失函数， 其中Ic为上下文变分自动 编码器的重建图像。 7.根据权利要求1所述的一种基于空间上下文变分自动编码器的图像异常检测方法， 其特征在于， 所述空间变分自动编码器的输出与原始输入级联在一起， 作为上下文变分自 动编码器的 的输入， 使两个 变分自动 编码器共同优化。 8.根据权利要求1、 2、 5、 6或7所述的一种基于空间上下文变分自动编码器的图像异常 检测方法， 其特征在于， 所述空间变分自动编码器和所述上下文变分自动编码器的相对熵 损失函数的输入不同， 其中， 所述空间变 分自动编 码器相对熵损失函数的输入为N ×M×P大 小的特征图， 用于学习图像的空间特 征分布； 所述上下文变分自动编码器相对熵损 失函数的输入为K维的特征向量， 用于学习图像 的上下文特征分布； 所述空间上 下文变分自动 编码器的损失函数为： 其中， λ1为空间变分自动编码器损失函数的权重， λ2为上下文变分自动编码器损失函数 的权重， λ1＝ λ2＝1。 9.根据权利要求2所述的一种基于空间上下文变分自动编码器的图像异常检测方法， 其特征在于， 所述 步骤d)中注意力校正方法包括如下步骤： d‑1)对所述上下文变分自动编码器的特征提取网络的最后一层特征图实施逐通道置 零操作， 计算每通道特征置零前后所得到的均值向量的距离， 将其作为该层通道特征图的 权重， 计算公式为：权　利　要　求　书 2/3 页 3 CN 114913377 A 3