(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210738050.4 (22)申请日 2022.06.28 (65)同一申请的已公布的文献号 申请公布号 CN 114842123 A (43)申请公布日 2022.08.02 (73)专利权人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 王迪　陈睿智　赵晨　刘经拓　 丁二锐　吴甜　王海峰　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 李彩玲 (51)Int.Cl. G06T 15/02(2011.01)G06T 15/04(2011.01) G06T 17/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 40/16(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (56)对比文件 US 20190 35149 A1,2019.01.31 CN 109255830 A,2019.01.2 2 CN 113506367 A,2021.10.15 CN 10839 9649 A,2018.08.14 CN 111951372 A,2020.1 1.17 US 10991154 B1,2021.04.27 审查员 刘海莺 (54)发明名称 三维人脸重建模型训练和三维人脸形象生 成方法及装置 (57)摘要 本公开提供了一种三维人脸重建模型训练 和三维人脸形象生成方法及装置， 涉及人工智能 技术领域， 具体涉及增强现实、 虚拟现实、 计算机 视觉和深度学习等技术领域， 可应用于元宇宙等 场景。 具体实现方案为： 将获取的样本人脸图像 输入三维人脸重建模型， 得到坐标变换参数和样 本人脸图像中的人脸参数； 根据获取的样本人脸 图像的人脸参数和风格化人脸图， 确定样本人脸 图像的三维风格化人脸形象； 基于坐标变换参 数， 将样本人脸图像的三维风格化人脸形象变换 到相机坐标系下， 并对变换后的三维风格化人脸 形象进行渲染， 得到渲染图； 根据渲染图和样本 人脸图像的风格化人脸图， 对三维人脸重建模型 进行训练。 上述技术方案， 可以精准构建三维风 格化人脸形象。 权利要求书5页 说明书16页 附图11页 CN 114842123 B 2022.09.09 CN 114842123 B 1.一种三维人脸重建模型训练方法， 其特 征在于， 包括： 获取样本人脸图像， 以及所述样本人脸图像的风格化人脸图； 将所述样本人脸图像输入三维人脸重建模型， 得到坐标变换参数和所述样本人脸图像 中的人脸 参数； 根据所述样本人脸图像的人脸参数和风格化人脸图， 确定所述样本人脸图像的三维风 格化人脸形象； 基于所述坐标变换参数， 将所述样本人脸图像的三维风格化人脸形 象变换到相机坐标 系下， 并对变换后的三维风格化人脸形象进行渲染， 得到渲染图； 根据所述渲染图和所述样本人脸图像的风格化人脸图， 对所述三维人脸重建模型进行 训练。 2.根据权利要求1所述的方法， 其特征在于， 获取所述样本人脸图像的风格化人脸图， 包括： 从风格化编码网络中提取风格化特 征； 将所述样本人脸图像输入人脸还原编码网络， 得到所述样本人脸图像的人脸特 征； 基于风格图生成网络， 根据所述风格化特征和所述样本人脸图像的人脸特征， 生成所 述样本人脸图像的风格化人脸图。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述样本人脸图像的人脸参数和 风格化人脸图， 确定所述样本人脸图像的三维风格化人脸形象， 包括： 基于所述样本人脸图像中的人脸 参数， 构建所述样本人脸图像的三维人脸形象； 根据所述样本人脸图像的风格化人脸图， 对所述样本人脸图像的三维人脸形象进行处 理， 得到所述样本人脸图像的三维风格化人脸形象。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述样本人脸图像的风格化人脸 图， 对所述样本人脸图像的三维人脸形象进行处理， 得到所述样本人脸图像的三维风格化 人脸形象， 包括： 对所述样本人脸图像的风格化人脸图进行纹 理展开， 得到初始纹 理贴图； 基于贴图回归网络， 对所述初始纹理贴图进行遮挡去 除处理、 高光去 除处理或人脸位 姿调整处 理中的至少一项， 得到目标纹 理贴图； 根据所述目标纹理贴图， 对所述样本人脸图像的三维人脸形象进行处理， 得到所述样 本人脸图像的三维风格化人脸形象。 5.根据权利要求4所述的方法， 其特征在于， 所述根据所述渲染图和所述样本人脸图像 的风格化人脸图， 对所述 三维人脸重建模型进行训练， 包括： 根据所述渲染图和所述样本人脸图像的风格化人脸图， 对所述三维人脸重建模型和所 述贴图回归网络进行 联合训练。 6.根据权利要求1所述的方法， 其特征在于， 所述根据所述渲染图和所述样本人脸图像 的风格化人脸图， 对所述 三维人脸重建模型进行训练， 包括： 从所述样本人脸图像的风格化人脸图中提取风格化人脸区域； 根据所述 渲染图的背景颜色， 对所述 风格化人脸区域的背景颜色进行调整； 根据所述 渲染图和调整后的风格化人脸区域， 确定图像对比损失； 根据所述图像对比损失， 对所述 三维人脸重建模型进行训练。权　利　要　求　书 1/5 页 2 CN 114842123 B 27.根据权利要求1所述的方法， 其特征在于， 所述将所述样本人脸图像输入三维人脸重 建模型， 得到坐标变换参数和所述样本人脸图像中的人脸 参数， 包括： 将所述样本人脸图像输入三维人脸重建模型， 得到欧拉角、 坐标变换参数中的平移变 换参数和缩放变换参数， 以及所述样本人脸图像中的人脸 参数； 相应的， 所述基于所述坐标变换参数， 将所述样本人脸图像的三维风格化人脸形象变 换到相机坐标系下， 并对变换后的三维风格化人脸形象进行渲染， 得到渲染图， 包括： 基于所述平移变换参数和缩放变换参数， 将所述样本人脸图像的三维风格化人脸形象 仿射变换到相机坐标系下； 基于相机视场角和所述欧拉角， 对仿射变换后的三维风格化人脸形象进行渲染， 得到 渲染图。 8.根据权利要求1 ‑7中任一项所述的方法， 其特征在于， 所述样本人脸图像 中的人脸参 数包括人脸形状参数。 9.一种三维人脸形象生成方法， 其特 征在于， 包括： 获取目标 人脸图像， 以及所述目标 人脸图像的风格化人脸图； 将所述目标人脸图像输入三维人脸重建模型， 得到所述目标人脸图像中的人脸参数； 其中， 所述三维人脸重建模型基于权利要求1 ‑8中任一项所述的三维人脸重建模型训练方 法训练得到； 根据所述目标人脸图像的人脸参数和风格化人脸图， 确定所述目标人脸图像的三维风 格化人脸形象。 10.根据权利要求9所述的方法， 其特征在于， 获取所述目标人脸图像的风格化人脸图， 包括： 从风格化编码网络中提取风格化特 征； 将所述目标 人脸图像输入人脸还原编码网络， 得到所述目标 人脸图像的人脸特 征； 基于风格图生成网络， 根据所述风格化特征和所述目标人脸图像的人脸特征， 生成所 述目标人脸图像的风格化人脸图。 11.根据权利要求9所述的方法， 其特征在于， 所述根据所述目标人脸图像的人脸参数 和风格化人脸图， 确定所述目标 人脸图像的三维风格化人脸形象， 包括： 基于所述目标 人脸图像中的人脸 参数， 构建所述目标 人脸图像的三维人脸形象； 根据所述目标人脸图像的风格化人脸图， 对所述目标人脸图像的三维人脸形象进行处 理， 得到所述目标 人脸图像的三维风格化人脸形象。 12.根据权利要求11所述的方法， 其特征在于， 所述根据 所述目标人脸图像的风格化人 脸图， 对所述 目标人脸图像的三维人脸形象进行处理， 得到所述 目标人脸图像的三维风格 化人脸形象， 包括： 对所述目标 人脸图像的风格化人脸图进行纹 理展开， 得到待处 理的纹理贴图； 基于贴图回归网络， 对所述待处理的纹理贴图进行遮挡去 除处理、 高光去 除处理或人 脸位姿调整处 理中的至少一项， 得到经处 理的纹理贴图； 根据所述经处理的纹理贴图， 对所述目标人脸图像的三维人脸形象进行处理， 得到所 述目标人脸图像的三维风格化人脸形象。 13.根据权利要求9 ‑12中任一项所述的方法， 其特征在于， 所述目标人脸图像 中的人脸权　利　要　求　书 2/5 页 3 CN 114842123 B 3