(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210879102.X (22)申请日 2022.07.25 (71)申请人 北京达佳互联信息技 术有限公司 地址 100085 北京市海淀区上地西路6号1 幢1层101D1-7 (72)发明人 秦泽奎　李强　张国鑫　刘明聪　 邹倩芳　牛雪松　叶奎　郭建珠　 谷继力　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 贾允 (51)Int.Cl. G06T 3/00(2006.01) G06T 5/50(2006.01) G06T 7/11(2017.01)G06V 40/16(2022.01) G06V 10/74(2022.01) (54)发明名称 图像换脸处理方法、 装置、 电子设备和存储 介质 (57)摘要 本公开关于图像换脸处理方法、 装置、 电子 设备和存储介质， 该方法包括： 获取原始面部图 像和目标面部图像； 分别提取原始面部图像的身 份特征和目标面部图像的附属特征， 得到身份特 征和附属特征； 提取原始面部图像中的多个预设 局部五官区域对应图像中的五官特征， 得到多个 局部五官特征； 采用预先训练得到的合成模型， 将多个局部五官特征、 身份特征与附属特征进行 面部图像合成， 得到从原始面部图像到目标面部 图像的换脸结果图像， 换脸结果图像中的面部图 像特征包含局部五官特征、 身份特征和附属特 征。 本方案将多个局部五官特征和身份特征、 附 属特征利用合成模型进行合 成， 提高了换脸结果 图像与原始图像的五官相似度， 优化了换脸效 果。 权利要求书3页 说明书13页 附图6页 CN 115423677 A 2022.12.02 CN 115423677 A 1.一种图像换脸处 理方法， 其特 征在于， 所述方法包括： 获取原始面部图像和目标面部图像； 所述目标面部图像为用于进行换脸处理 的参照图 像； 分别提取所述原始面部图像的身份特征和所述目标面部图像的附属特征， 得到身份特 征和附属特征； 所述身份特征表征用于进行人脸识别的面部图像特征， 所述附属特征为所 述目标面部图像中除身份特 征以外的特 征； 提取所述原始面部图像中的多个预设局部五官区域对应图像中的五官特征， 得到多个 局部五官 特征； 采用预先训练得到的合成模型， 将所述多个局部五官特征、 所述身份特征与所述附属 特征进行面部图像合成， 得到从所述原始面部图像到所述 目标面部图像的换脸结果图像， 所述换脸结果图像中的面部图像特征包含所述局部五官特征、 所述身份特征和所述附属特 征。 2.根据权利要求1所述的方法， 其特 征在于， 所述 合成模型通过以下 方法构建得到： 获取第一面部 图像样本集、 第二面部 图像样本集； 所述第一面部 图像样本集中包括原 始面部样本图像， 所述第二面部图像样本集中包括 目标面部样本图像； 所述 目标面部样本 图像为用于对所述原 始面部样本图像进行 换脸处理的参考图像； 提取所述原始面部样本图像中的所述多个预设局部五官区域对应图像中的五官特征， 得到多个样本局部五官 特征； 提取所述原始面部样本图像中的身份特征作为样本身份特征， 并提取所述目标面部样 本图像中的附属特 征作为样本附属特 征； 将所述多个样本局部五官特征、 所述样本身份特征与所述样本附属特征输入初始模 型， 得到所述初始模型输出的样本换脸结果图像； 确定所述样本换脸结果图像与所述原始面部样本图像、 所述目标面部样本图像之间的 损失值； 所述损失值至少包括所述样本局部五官特征和所述样本换脸结果图像的结果局部 五官特征之 间的第一损失值； 所述结果局部五官特征为从所述样本换脸结果图像的所述预 设局部五官区域所提取的五官 特征； 根据所述损 失值调整所述初始模型的参数， 并利用所述参数继续训练所述初始模型， 直到得到的损失值小于预设阈值， 将训练得到的所述初始模型确定为 合成模型。 3.根据权利要求2所述的方法， 其特征在于， 所述确定所述样本换脸结果图像与所述原 始面部样本图像、 所述目标面部样本图像之间的损失值， 包括： 确定所述多个样本局部五官特征与所述样本换脸结果图像包括的多个结果局部五官 特征之间的第一损失值； 确定所述样本身份特征与 所述样本换脸结果图像的结果身份特征之间的第 二损失值； 所述结果身份特 征为所述样本换脸结果图像包括的身份特 征； 确定所述样本附属特征和所述样本换脸结果图像的结果附属特征之间的第 三损失值； 所述结果附属特 征为所述样本换脸结果图像包括的附属特 征； 基于所述第 一损失值、 所述第 二损失值、 所述第 三损失值， 确定所述样本换脸结果图像 与所述原 始面部样本图像、 所述目标面部样本图像之间的损失值。 4.根据权利要求3所述的方法， 其特征在于， 所述确定所述多个样本局部五官特征与 所权　利　要　求　书 1/3 页 2 CN 115423677 A 2述样本换脸结果图像包括的多个结果局部五官 特征之间的第一损失值， 包括： 分别确定各个所述样本局部五官特征和对应的所述结果局部五官特征之间的余弦距 离， 得到多个余弦距离； 获取各个所述预设局部五官区域对应的权 重， 得到多个权 重； 基于所述多个权重， 对所述多个余弦距离进行加权求和， 得到所述样本局部五官特征 和所述样本换脸结果图像包括的结果局部五官 特征之间的第一损失值。 5.根据权利要求1 ‑4任一所述的方法， 其特征在于， 在提取所述原始面部图像 中的多个 预设局部五官区域对应图像中的五官 特征之前， 还 包括： 利用人脸识别模型的激活层获取所述原始面部图像中响应度高于预设阈值的第一五 官区域， 并将所述第一五官区域作为预设局部五官区域； 或， 确定预先设定的进行相似度增强的第二五官区域， 并将所述第二五官区域作为预 设局部五官区域。 6.根据权利要求5所述的方法， 其特征在于， 在将所述第 一五官区域作为预设局部五官 区域， 或， 将所述第二五官区域作为预设局部五官区域之后， 还 包括： 对所述原 始面部图像中的多个所述预设局部五官区域进行剪 裁。 7.根据权利要求1所述的方法， 其特征在于， 所述提取所述原始面部图像中的多个预设 局部五官区域对应图像中的五官 特征， 包括： 若某个预设局部五官区域包括至少两个面部器官， 则提取所述至少两个面部器官中的 各个面部器官 的特征信息， 并提取相邻的两个面部器官之间的面部区域的特征信息， 作为 所述某个预设局部五官区域对应图像中的五官 特征。 8.一种图像换脸处 理装置， 其特 征在于， 所述装置包括： 图像获取模块， 被配置为执行获取原始面部 图像和目标面部 图像； 所述目标面部 图像 为用于进行 换脸处理的参照图像； 第一特征提取模块， 被配置为执行分别提取所述原始面部图像的身份特征和所述目标 面部图像的附属特征， 得到身份特征和附属特征； 所述身份特征表征用于进行人脸识别的 面部图像特 征， 所述附属特 征为所述目标面部图像中除身份特 征以外的特 征； 第二特征提取模块， 被配置为执行提取所述原始面部图像中的多个预设局部五官区域 对应图像中的五官 特征， 得到多个局部五官 特征； 合成模块， 被配置为执行采用预先训练得到的合成模型， 将所述多个局部五官特征、 所 述身份特征与所述附属特征进 行面部图像合成， 得到从所述原始面部图像到所述目标面部 图像的换脸结果图像， 所述换脸结果图像中的面部图像特征包含所述局部五官特征、 所述 身份特征和所述附属特 征。 9.一种电子设备， 其特 征在于， 包括： 处理器； 用于存储所述处 理器可执行指令的存 储器； 其中， 所述处理器被配置为执行所述指令， 以实现如权利要求1至7中任一项所述的图 像换脸处 理方法。 10.一种计算机可读存储介质， 其特征在于， 当所述计算机可读存储介质中的指令由服 务器的处理器执行时， 使得服务器能够执行如权利要求 1至7中任一项 所述的图像换脸处理权　利　要　求　书 2/3 页 3 CN 115423677 A 3