(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210932967.8 (22)申请日 2022.08.04 (71)申请人 常州大学 地址 213164 江苏省常州市武进区滆湖中 路21号 (72)发明人 刘昊　段馨怡　 (74)专利代理 机构 常州市英 诺创信专利代理事 务所(普通 合伙) 32258 专利代理师 张秋月 (51)Int.Cl. G06T 17/00(2006.01) G06T 19/20(2011.01) G06T 15/04(2011.01) G06T 3/00(2006.01) G06V 10/74(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于图像质量评估的人脸 正面化方法 (57)摘要 本发明涉及图像处理技术领域， 尤其涉及一 种基于图像质量评估的人脸正面化方法， 包括： 对给定人脸使用3DDFA进行拟合； 提取图像纹理 并通过渲染得到带有伪影的人脸图像； 采用高斯 混合模型来捕获真实数据分布， 建立正确的梯度 方向； 提取并计算原图特征与生成图像特征之间 的余弦相似度； 生成器消除伪影并生成正面人脸 后和原始图片一起送入判别器， 由判别器判别生 成图片， 训练整个模型。 本发明将图像质量评估 与生成对抗网络相结合， 以提高生成的人脸图像 的质量， 采用高斯混合模型为图像 真实数据明确 概率分布， 用于评估生成图像的质量并为生成对 抗网络指向正确的梯度方向， 此外计算生成图像 与原图之间的余弦相似度以生成更逼真的正面 人脸图像 。 权利要求书3页 说明书7页 附图2页 CN 115359180 A 2022.11.18 CN 115359180 A 1.一种基于图像质量评估的人脸 正面化方法， 其特 征在于， 包括以下步骤： 步骤1、 对给定人脸使用3D DFA进行拟合； 步骤2、 使用垂直投影从原始图像获得顶点的颜色， 继而获得均匀纹理； 同时得到伪影， 通过给定的人脸3D表示， 将3D人脸映射到2D空间并生成图像， 使用 神经网格渲染器执行渲 染； 步骤3、 采用高斯混合模型来捕获真实数据分布， 用于评估生成图像的质量， 用概率表 示质量分数， 获得 具有朝向真实数据分布的准确梯度方向； 步骤4、 提取并计算原图特 征与生成图像特 征之间的余弦相似度； 步骤5、 将带有伪影的图像放入生成器， 生成器通过提取到的人脸特征将伪影还原为人 脸正确纹理， 生 成器生成图片后和真实图片一起送入判别器， 由判别器判别生成图片， 进而 训练整个模型。 2.根据权利要求1所述的基于图像质量评估的人脸正面化方法， 其特征在于， 所述步骤 一具体包括： 步骤1.1、 给定一个具有n个顶点的3D人脸模型的定义， 人脸的形状表示 为： V＝[v1,v2,…vi…,vn]    (1) 其中， V表示人脸的形状n个顶点在具有的三维空间中的归一化位置， vi＝[xi,yi,zi]T表 示第i个顶点， x,y,z分别表示 三维空间中的x轴,y轴,z轴； 步骤1.2、 对于给定的人脸， 三维形状投影到二维图像上表示 为： Π(V,P)＝f*Pr*R*V+h2d    (2) 其中， Π是将模型顶点映射到二维位置的投影函数， V表示人脸的形状n个顶点在三维 空间中的归一化位置， *表示矩阵乘法， f是比例因子， Pr是正交投影矩阵， R是旋转矩阵， h2d 是2D位移； P表示人脸相对姿态集 合， P＝{f,R,h2d}。 3.根据权利要求1所述的基于图像质量评估的人脸正面化方法， 其特征在于， 所述步骤 二具体包括： 具体包括： 步骤2.1、 使用垂直投影从原始图像Ia获得顶点的颜色， 得到相应的纹理T＝[t1,… ti…,tn]， 每个顶点的颜色表示 为： ti＝Ia(Π(vi,P))    (3) 其中， Π(vi,P)是顶点vi的投影2D坐标， 得到相应的纹 理T＝[t1,…ti…,tn]； 步骤2.2、 获得均匀纹 理， 公式为： Ta＝GetTex(Ia,{V,Pa})    (4) 其中， Ia表示原始图像， V表示人脸顶点集合， Pa＝{f,Ra,h2d}表示原始图像Ia的相对姿 态的集合； 步骤2.3、 使用神经网格渲染器执 行渲染， 整个渲染过程表示 为： R＝Render({V,P,T})     (5) 其中， {V,P,T}为人脸的3D表示。 步骤2.4、 原始图像旋转矩阵Ra和随机旋转矩阵Rb相乘得到旋转人脸的3D图像到另一个 任意的2D视图b， 得到 旋转后的人脸姿态集 合， 表示为： Pb＝{f,Rb,h2d}    (6)权　利　要　求　书 1/3 页 2 CN 115359180 A 2当前的3D渲染表示为R db＝Render({V,Pb,Ta})， 完成第一次旋转和渲染操作， 同时获取 旋转后的另一组 纹理Tb， 表示为： Tb＝GetTex(Rdb,{V,Pb})    (7) 步骤2.5、 在视图b下纹理正确的顶点集是在视图a下纹理正确的顶点集的子集； 旋转3D 姿势Pb回到Pa， 然后渲染它回到原始的2D姿势， 得到带有伪影的人脸图像， 并获得用于训练 的输入对{Ra',Ia}， 获得伪影图像公式为： Ra'＝Render({V,Pa,Tb})    (8) 其中， Ra'为带有伪影的人脸图像。 4.根据权利要求1所述的基于图像质量评估的人脸正面化方法， 其特征在于， 所述步骤 三具体包括： 步骤3.1、 在深度卷积网络提取的特征上构建高斯混合模型， 使用K个高斯分量来表征 图像中各个 像素点的特 征； 步骤3.2、 采用高斯混合模型来捕获真实数据分布， 用于生成图像的质量评估， 生成图 像I的概率为： 其中， x是I的提取特征， 特征提取过程表示为x＝F(I)， wi是满足约束 的混合 权重， G(F(x)∣ μi,Σi)是高斯函数， μi和Σi分别为第i个高斯分量的平均向量和协方差矩 阵， Pr表示真实图像空间， 高斯混合模型 是M个高斯密度分量的加权和； 步骤3.3、 采用期望最大化EM算法估计参数λ， 并迭代更新； 用生成图像的概率表示质量 分数， 图像Ig的质量分数由以下公式表示： SGMM(Ig)＝p(F(Ig)∣ λ )    (10) 其中， Ig为生成图像， F(Ig)为提取到生成图片的特征， SGMM(Ig)表示图像Ig的质量分数， λ 为成分密度的平均向量、 协方差矩阵和混合权 重参数化， λ＝{wi, μi,Σi}； 步骤3.4、 给定生成图像Ig＝G(Ra')， 图像的质量损失为： 其中， G是生成器， 为质量损失。 5.根据权利要求1所述的基于图像质量评估的人脸正面化方法， 其特征在于， 所述步骤 四具体包括： 步骤4.1、 假设X表示人脸图像集、 Y表示生成图像集， 对于每个训练样本xi， 首先提取其 特征， 特征提取过程表示 为： f(xi),x∈X    (12) f(yi),y∈Y    (13) 其中， f为特 征提取函数， x属于人脸图像集X， y属于生成图像集Y； 步骤4.2、 在完成两幅图像的特征提取后， 计算提取到生成图片与原图特征的余弦相似 度， 计算过程表示 为： 权　利　要　求　书 2/3 页 3 CN 115359180 A 3