(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221070826 0.9 (22)申请日 2022.06.22 (65)同一申请的已公布的文献号 申请公布号 CN 114783039 A (43)申请公布日 2022.07.22 (73)专利权人 南京信息 工程大学 地址 210044 江苏省南京市江北新区宁六 路219号 (72)发明人 罗冬　夏贵羽　张泽远　马芙蓉　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 邵斌 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/20(2022.01) G06V 10/40(2022.01)G06V 10/74(2022.01) G06V 10/774(2022.01) (56)对比文件 CN 111640172 A,2020.09.08 CN 112651316 A,2021.04.13 CN 111724414 A,2020.09.2 9 CN 111797753 A,2020.10.20 CN 112215116 A,2021.01.12 CN 114612614 A,202 2.06.10 高翔等.3DM M与GAN结合的实时人脸表情迁 移方法. 《计算机 应用与软件》 .2020,(第04期), Muhammed Kocabas 等.VIBE: Video Inference for Human Body Pose and Shape Estimati on. 《arXiv:1912.0 5656 [cs.CV]》 .2020, 审查员 武茹茹 (54)发明名称 一种3D人体模型驱动的运动迁移方法 (57)摘要 本发明公开了一种3D人体模型驱动的运动 迁移方法， 通过将训练数据转换到UV空间并以相 邻视频帧之间的互补信息来构建并优化3D人体 模型； 然后将优化后的3D人体模型投影到2D平面 以保留原始运动的3D信息， 并实现了以目标姿态 驱动优化后的3D人体模型； 将2D投影和训练数据 的姿态作为预训练模型的输入， 并保存训练好的 模型； 然后将目标人的姿态归一化； 最后以目标 人姿态驱动的优化后3D人体模型的2D投影和归 一化后的目标人姿态作为训练好的运动图像生 成模型的输入进行最终的运动迁移， 既克服了2D 平面图像生成存在的模糊和形状失真等问题， 又 保证生成的运动图像具有可靠的深度信息、 精确 的形状和清晰的人脸。 权利要求书4页 说明书8页 附图3页 CN 114783039 B 2022.09.16 CN 114783039 B 1.一种3D人体模型驱动的运动迁移方法， 其特 征在于， 包括： 以预先拍摄的视频帧为训练数据构建训练数据集， 并提取训练数据的姿态； 将训练数据转换到UV空间， 生成UV图， 并以相邻视频帧之间的互补信息来构建并优化 3D人体模型； 然后将优化后的3D人体模型投影到2D平面， 得到保留了原始运动的3D信息的2D投影， 并以目标 人的姿态驱动优化后的3D人体模型； 将保留了原始运动的3D信息的2D投影和训练数据的姿态作为运动图像生成模型的输 入， 并保存训练好的运动图像生成模型； 将目标人的姿态归一 化； 最后将以目标人的姿态驱动的优化后的3D人体模型的2D投影和归一化后的目标人的 姿态作为训练好的运动图像生成模型的输入进行最终的运动迁移； 其中， 所述运动图像生成模型定义为Face ‑Attention  GAN模型； Face ‑Attention  GAN 模型以GAN模型为基础， 使用高斯分布来匹配椭圆人脸区域， 并配置人脸增强损失函数， 同 时引入注意力机制， 其中： 通过设计均值和协方差矩阵来实现使用高斯分布匹配椭圆人脸区域， 包括： 图像面部 区域的位置由姿态估计算法OpenPose确定， 是鼻子、 眼睛和耳朵的 位置； 椭圆的中心被设置为鼻子 的位置； 椭圆的两个轴是协方差矩阵的特征向量， 轴的 长度是协方差矩阵的特征值； 设定a和b是椭圆的两个轴， a和b都是单位向量， 并且满足以下 公式： 其中， 是b的两个元 素， 特征向量a和b与协方差矩阵∑之间的关系如下： 其中， ， 是a对应的特征值， ， 是b对应的特征值， 是椭圆的轴长， σ 是缩放系数， a和b正交， 必然可逆； 在以 为均值， ∑为协方差的 高斯分布中， 在 （1， 1） ， （1， 512） ， （512， 1） ， （512， 512） 四个点构建的矩形区域内以距离间隔1 均匀采样， 获得面部增强高斯权重 ， 并以生成的高斯权重 来定义人脸增强损失函 数； 人脸增强损失函数如下： 其中， 表示姿态， 表示3D人体模型的2D投影， y表示真实图像， 表示 和 输入到生成器G生成的图像， 表示由高斯分布匹配椭圆人脸生成的高权　利　要　求　书 1/4 页 2 CN 114783039 B 2斯权重； 引入的注意力机制包括 通道注意力和空间注意力； 最终的目标函数为： 其中， G表示生成器， D表示鉴别器， 表示GAN模型的损失函数， 表示通过minG和maxD使鉴别器可以准确的判断样本 的真伪， 以及生成器生成的样本可以通过鉴别器的判别， 是个相互博弈的过程； 表示人脸增强损失函数， 用于增强图像的面部区域； 表示特 征匹配损失， 用于保证图像内容的全局一致性； 表示感知重建损失， 用于保证 图像内容的全局一 致性； 参数 用于调整以平衡这些损失。 2.根据权利要求1所述的3D人体模型驱动的运动迁移方法， 其特征在于， 采用姿态估计 算法OpenPose提取训练数据的姿态。 3.根据权利要求1所述的3D人体模型驱动的运动迁移方法， 其特征在于， 利用 DensePose将训练数据中的图像的像素转换到UV空间， 生 成对应的UV图， 并以相邻视频帧之 间的互补信息来构建并优化3D人体模型， 包括： 从训练数据中取一组相隔数帧的不同姿态的图像 和对应DensePose生成的 UV图， 然后通过UV转换生成一组局部纹理图 ， 将生成的局部纹理图 输入到纹理填充网络中， 生成一个具有多姿态纹理信息的纹理图 ， 并通过损失函数对 用纹理图 还原的一组 “原始图像 ” 与一组真实图像 进行损失计 算， 实现对3D人体模型的优化。 4.根据权利要求3所述的3D人体模型驱动的运动迁移方法， 其特征在于， 所述损失函数 表示为：  其中， ， 由纹理图 还原得到， n表示还原的 “原始图像”的个数， 纹 理图 由以下公式获得： 权　利　要　求　书 2/4 页 3 CN 114783039 B 3