(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211027579.1 (22)申请日 2022.08.25 (71)申请人 苏州大学 地址 215000 江苏省苏州市吴中区石湖西 路188号 (72)发明人 宋为刚　钟宝江　季家欢　 (74)专利代理 机构 苏州市中南伟业知识产权代 理事务所(普通 合伙) 32257 专利代理师 陈华红子 (51)Int.Cl. G06T 5/00(2006.01) G06T 9/00(2006.01) G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种图像压缩伪迹移除方法、 装置及 存储介 质 (57)摘要 本发明提出了一种新的基于参考图像的图 像压缩伪迹移除方法， 利用高质量的参考图像来 提供有用的信息， 以便于去除伪迹和细节重建。 首先将压缩后图像和参考图像作为输入， 生成多 尺度特征对作为输出。 然后， 在特征空间中全局 匹配特征并将参考图像中的相关特征转换到压 缩图像中， 最后， 从特征全局转换后的多尺度输 出中重建图像信息， 得到最终的目标图像， 本发 明所提供的方法更好地恢复了图像结构信息， 有 效提高了伪迹移除的效果， 重建所得的目标图像 质量更高。 权利要求书3页 说明书9页 附图3页 CN 115330635 A 2022.11.11 CN 115330635 A 1.一种图像压缩伪迹移除方法， 其特 征在于， 包括： 获取与压缩图像内容相似度达 到预设阈值的高质量图像， 将其作为 参考图像； 将所述压缩图像和所述参考图像作为原始图像对输入预训练好的图像压缩伪迹移除 网络模型中； 对所述原始图像对进行卷积后经过一个残差块组和多个带下采样层的残差块组处理， 得到多级不同尺度的编码特 征对； 分别计算每级编码特征对中， 压缩图像每个像素点的特征向量相对于参考图像所有像 素特征向量的相似度权 重之和， 得到多 级不同尺度的全局转换 特征； 将最后一级全局转换特征卷积后经过多个带上采样层的残差块组和一个残差块组处 理， 得到多级解码特征， 其中， 第一个残差块组的输入为卷积后的最后一级全局转换特征， 其余残差块组的输入均为前一个残差块组的输出与对应尺度的全局 转换特征串联后进行 卷积获得的特 征； 将最后一级解码特 征卷积后得到目标图像。 2.根据权利要求1所述的图像压缩伪 迹移除方法， 其特征在于， 所述分别计算每级编码 特征对中， 压缩图像每个像素点的特征向量相对于参考图像所有像素特征向量的相似度权 重之和， 得到多 级不同尺度的全局转换 特征包括： 利用卷积层将第i级编码特征对中的第i级压缩图像特征 转换为第i级查询矩阵， 将 第i级参考图像特 征 转换为第i级键矩阵和第i级值矩阵； 对所述第i级键矩阵和第 i级值矩阵进行下采样， 并将下采样后的第 i级键矩阵和第i级 值矩阵以及所述第i级查询矩阵展平， 得到第i级展平后的键矩阵Ki、 查询矩阵Qi和值矩阵 Vi； 根据所述第i级展平后的键矩阵Ki和查询矩阵Qi计算得到第i级跨特征的全局匹配相似 度矩阵 其中softmax为softmax激活函数， T为 转置； 将所述第i级跨特征的全局匹配相似度矩阵和所述第i级展平后的值矩阵相乘后与所 述第i级压缩图像特 征进行残差连接和特 征串联操作， 得到第i级全局转换 特征 3.根据权利要求1所述的图像压缩伪 迹移除方法， 其特征在于， 所述残差块组中的残差 块均为移除批次归一 化层后的残差块。 4.根据权利要求1所述的图像压缩伪 迹移除方法， 其特征在于， 所述对所述原始图像对 进行卷积后经过一个残差块组和多个带下采样层的残差块组处理， 得到多级不同尺度的编 码特征对包括： 将所述原始图像对{X,R}经过3*3卷积层， 得到浅层特征对， 其中， X表示压缩图像， R表 示参考图像； 将所述浅层特 征对经过一个残差块组得到第0级编码特 征对 将所述第0级编码特 征对经过下采样后输入残差块组， 得到第1级编码特 征对 将所述第1级编码特 征对经过下采样后输入残差块组， 得到第2级编码特 征对 5.根据权利要求4所述的图像压缩伪 迹移除方法， 其特征在于， 所述将最后 一级全局转 换特征卷积后经过多个带上采样层的残差块组和一个残差块组处理， 得到多级解码特征，权　利　要　求　书 1/3 页 2 CN 115330635 A 2其中， 第一个残差块组的输入为卷积后的最后一级全局 转换特征， 其余残差块组的输入均 为前一个残差块组的输出与对应尺度的全局转换 特征串联后进行 卷积获得的特 征包括： 将最后一级全局转换特征 经过一个1*1卷积层后输入一个残差块组后进行上采样， 得到第2级解码特 征 将所述第2级解码特征与第1级全局转换特征 串联后进行卷积并输入一个残差块组 后进行上采样， 得到第1级解码特 征 将所述第1级 解码特征与第0级全局转换特征 串联后进行卷积并输入 一个残差块组， 得到第0级解码特 征 6.根据权利要求1所述的图像压缩伪 迹移除方法， 其特征在于， 所述将最后 一级解码特 征卷积后得到目标图像包括： 将最后一级解码特 征经过一个3*3卷积层后得到目标图像。 7.根据权利要求1所述的图像压缩伪 迹移除方法， 其特征在于， 所述图像压缩伪 迹移除 网络模型的训练步骤 包括： 基于训练集， 最小化模型输出的目标 图像Y(n)与其对应的真值图像 之间的损失值， 得到所述训练好的图像压缩伪迹移除网络模型： 其中， Θ表示模型中的可训练参数， L( ·)是绝对值损失函数， K为训练数据集中的图像 集合的数量， n∈1. ..K。 8.一种图像压缩伪迹移除的装置， 其特 征在于， 包括： 参考图像获取模块， 用于获取与压缩图像内容相似度达到预设阈值的高质量图像， 将 其作为参考图像； 输入模块， 用于将所述压缩图像和所述参考图像作为原始图像对输入预训练好的图像 压缩伪迹移除网络模型中； 共享特征编码模块， 用于对所述原始图像对进行卷积后经过一个残差块组和多个带下 采样层的残差块组 处理， 得到多 级不同尺度的编码特 征对； 特征全局转换模块， 用于分别计算每级编码特征对中， 压缩图像每个像素点的特征向 量相对于参考图像所有像素特征向量的相似度权重之和， 得到多级不同尺度的全局转换特 征； 图像解码重构模块， 用于将最后 一级全局转换特征卷积后经过多个带上采样层的残差 块组和一个残差块组处理， 得到多级解码特征， 其中， 第一个残差块组的输入为卷积后的最 后一级全局转换特征， 其余残差块组的输入均为前一个残差块组的输出与对应尺度的全局 转换特征串联后进行 卷积获得的特 征； 目标图像获取模块， 用于将最后一级解码特 征卷积后得到目标图像。 9.一种图像压缩伪迹移除的设备， 其特 征在于， 包括： 存储器， 用于存 储计算机程序； 处理器， 用于执行所述计算机程序时实现如权利要求1至7任一项所述一种图像压缩伪 迹移除方法的步骤。权　利　要　求　书 2/3 页 3 CN 115330635 A 3