(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211365584.3 (22)申请日 2022.11.03 (71)申请人 南京理工大 学 地址 210023 江苏省南京市玄武区孝陵卫 街道孝陵卫 街200号 (72)发明人 刘思佟　练智超　肖亮　 (74)专利代理 机构 南京智转慧移知识产权代理 有限公司 32649 专利代理师 田沛沛 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/00(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于局部区域正则化的人脸伪造检测 方法 (57)摘要 本发明公开一种基于局部区域正则化的人 脸伪造检测方法， 属于人工智 能技术领域， 对人 脸区域图像进行缩放和分块后形成的图像块的 排列次序进行随机打乱生 成新图像， 并记录排列 次序； 然后提取打乱次序生成的新图像的特征； 在训练过程中， 将提取到的打乱次序生成的新图 像的特征输入位置重建分支得到图像块的排列 次序， 以此鼓励模型建模图像块的相关性； 将提 取到的打乱次序生成的新图像的特征输入分类 器， 得到最终的图像是伪造图像的概率。 本发明 通过对图像进行块级打乱并重建实现局部区域 正则化， 克服训练集和测试集分布偏差导致的过 拟合， 鼓励模 型关注图像局部区域和建模图像块 相关性， 增强网络的检测和泛化能力， 提高对折 损数据的伪造 检测性能。 权利要求书1页 说明书6页 附图2页 CN 115546873 A 2022.12.30 CN 115546873 A 1.一种基于局部区域正则化的人脸伪 造检测方法， 其特征在于， 包括： 对人脸 区域图像 进行缩放和分块后形成的图像块的排列次序进行随机打乱生成新图像， 并记录排列次序； 然后提取打乱 次序生成的新图像的特征； 在训练过程中， 将提取到的打乱 次序生成的新图 像的特征输入位置重建分支得到图像块的排列次序， 以此鼓励模型建模图像块的相关性； 将提取到的打乱次序生成的新图像的特征输入分类器， 得到最终的图像是伪造图像的概 率。 2.根据权利要求1所述的基于局部区域正则化的人脸伪 造检测方法， 其特征在于： 对人 脸区域图像进 行缩放和分块后形成的图像块的排列次序进 行随机打乱生成新图像， 并记录 排列次序步骤中， 对于图像被分成大小为32 ×32的图像块， p(i)为图像的第 i个图像块， iϵ {1,2,…,49}， 打乱后的新图像块 p'(i)表示为： p'(i) = p( αi)    (3) 式中，α由向量[1,2, …,49]随机打乱元素次序生成， αi表示向量α中的第i个元素； 通过 打乱次序生成的新图像 I*， 对于每一张图像， α都将重新生成并记录， 称为图像 的排列次序 M。 3.根据权利要求1所述的基于局部区域正则化的人脸伪 造检测方法， 其特征在于： 提取 打乱次序生成的新图像的特征步骤中， 利用主干网络Xception的5个卷积块提取打乱次序 生成的新图像 I*的特征F。 4.根据权利要求1所述的基于局部区域正则化的人脸伪 造检测方法， 其特征在于： 位置 重建分支R由一个PixleShuf fle采样层， 一个1 ×1的卷积层， 一个HardTanh 激活层组成； 在训练过程中， 首先将打乱次序生成的新图像 的特征F输入到PixleShuffle采样层进 行像素重组； 然后输入到1 ×1的卷积层， 得到尺 寸为7×7， 通道数为2的特征； 将特征输入到 HardTanh激活层， 得到尺寸为7 ×7， 通道数为2的恢复次序； 将恢复次序和排列次序输入损 失函数计算损失。 5.根据权利要求4所述的基于局部区域正则化的人脸伪 造检测方法， 其特征在于： 将恢 复次序和排列次序输入Smo oth L1损失函数计算损失， 位置 重建损失 表示为：    (4) 其中，C表示主干网络，   表示主干网络 C的1到5卷积块的参数， R表示位置重建分 支， 表示位置重建分支R的参数， I*表示打乱次序生成的新图像， M表示图像的排列次序。 6.根据权利要求1所述的基于局部区域正则化的人脸伪 造检测方法， 其特征在于： 分类 器由一个平均池化层和全连接层组成； 打乱次序生成的新图像 I*的特征F的尺寸为7 ×7， 通 道数为2048， 将特征输入平均池化层， 得到尺寸为1 ×1， 通道数为2028的特征， 通过一个全 连接层， 输出一个概 率， 表示图像是伪造图像的概 率。 7.根据权利要求6所述的基于局部区域正则化的人脸伪 造检测方法， 其特征在于： 分类 的交叉熵损失表示 为：     (5) 其中， 表示主干网 C的参数，y表示图像的真伪标签。权　利　要　求　书 1/1 页 2 CN 115546873 A 2一种基于局部区域正则化的 人脸伪造检测方 法 技术领域 [0001]本发明属于人工智能技术领域， 具体涉及 一种基于局部区域正则化的人脸伪造检 测方法。 背景技术 [0002]随着深度学习技术的快速发展， 基于深度学习的人脸伪造技术取得了显著进展。 研究人员通常依据伪造目标将其分类为人脸替换、 面部属性编辑和人脸合成。 其中以 Deepfakes为代表的人脸替换技术可以更改照片中人脸的身份信息， 制作出特定的虚假图 像。 自编码器、 生成对抗网络等技术的应用大大降低了伪造成本。 Deepfakes通过编码器对 不同的人脸进行编码， 再训练两个解码器分别学习重建不同人脸， 交换解码器就可以完成 面部替换。 这些虚假图像在互联网上 的大规模传播制 造了安全风险， 进而促进了深度伪造 检测技术的发展。 [0003]目前大多数针对人脸替换的伪造检测技术是将其视为一个二分类问题， 基于数据 驱动训练深度卷积网络如何从空间域中提取特征和频域信息检测伪造人脸。 Nguyen等人 （Nguyen,  Huy Hoang, Junichi Yamagishi  and Isao Echizen.  Capsule‑forensics:   Using Capsule Networks  to Detect Forged Images and Videos[C]//  ICASSP 2019  ‑   2019 IEEE International  Conference  on Acoustics,  Speech and Signal Processing   (ICASSP)  ,2019,pp  2307‑2311.） 提出了一种基于胶囊网络的检测方法。 Li等人 （Yuezun   Li and Siwei Lyu. Exposing  deepfake  videos bydetecting  face warping artifacts [C]//2018  IEEE Conferenceon  Computer  Vision and Pattern Recognition  Workshops (CVPRW)提出利用人脸在仿射变换后出现的伪影作为伪造检测的独特特征， 并基于SSPNet 实现最先进的性能。 Li等人 （Lingzhi  Li, Jianmin Bao, Ting Zhang, Hao Yang,  DongChen,  Fang Wen, and B. Guo. Face x‑ray for more generalface  forgery  detection[C]//2020  IEEE/CVF  Conference  on Com‑puter Vision and Pattern  Recognition  (CVPR), 2020, pp 5000‑5009. ） 提出了人脸X射线， 它专注于伪 造的混合步 骤并实现了最先进的可迁移 性能。 但是， 它不能用于完全合成的图像， 并且在低分辨率图像 上的性能急剧下降。 Durallet等人 （Durall,  Ricard, Margret Keuper, Franz‑Josef  Pfreundt  and Janis Keuper. Unmasking  DeepFakes  with simple Features[C]//ArXiv   abs/1911.00686,2019. ） 首先提出使用离散傅里叶变换 （DFT） 来挖掘伪造人脸图像中的异 常信息。 Lu o等人 （Luo,  Yucheng,  Yong Zhang, Junchi Yan and Wei Liu. Generalizing   Face Forgery Detection  with High‑frequency  Features[C]//2021  IEEE/CVF   Conference  on Computer  Vision and Pattern Recognition  (CVPR) ,2021,pp 16312‑ 16321. ） 提出利用高频噪声进行人脸伪造检测。 Qian等人 （Qian,  Yuyang, Guojun Yin, Lu  Sheng, Zixuan Chen and Jing Shao.Thinking  in Frequency:  Face Forgery  Detection  by Mining Frequency ‑aware Clues[C]//ECCV,2020. ） 使用DFT提取频率感知 图像分解和局部频率统计