(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210741509.6 (22)申请日 2022.06.27 (71)申请人 武汉工程大 学 地址 430000 湖北省武汉市东湖新 技术开 发区光谷一路20 6号 (72)发明人 卢涛　王依伊　程芳芳　张彦铎　 方稳华　 (74)专利代理 机构 北京轻创知识产权代理有限 公司 11212 专利代理师 冯瑛琪 (51)Int.Cl. G06T 3/40(2006.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 40/16(2022.01) (54)发明名称 一种人脸图像 重建方法、 装置以及存 储介质 (57)摘要 本发明提供一种人脸图像重建方法、 装置以 及存储介质， 属于图像重建领域， 方法包括： 通过 各个原始人脸图像依次对超分辨率待训练模型 的超分辨率图像训练分析得到超分辨率训练模 型； 通过超分辨率训练模型分别对原始人脸图像 的图像识别得到目标超分辨率图像； 通过所有的 原始人脸图像和所有的目标超分辨率图像对人 脸重建待训练模型的人脸重建图像训练分析得 到人脸重建训练模型； 通过人脸重建训练模型分 别对目标超分辨率图像的图像重建得到人脸图 像重建结果。 本发明能够重建高保真和身份感知 的HR人脸图像， 能够提取更详细的信息， 提升了 视觉保真度。 权利要求书4页 说明书11页 附图1页 CN 115293966 A 2022.11.04 CN 115293966 A 1.一种人脸图像重建方法， 其特 征在于， 包括如下步骤： 导入多个原始人脸图像， 并构建超分辨率待训练模型， 通过各个所述原始人脸图像依 次对所述超分辨率待训练模型进 行超分辨率图像的训练分析， 得到与各个所述原始人脸图 像对应的超分辨 率训练模型； 通过与各个所述原始人脸图像对应的超分辨率训练模型分别对各个所述原始人脸图 像进行图像识别， 得到与各个所述原 始人脸图像对应的目标超分辨 率图像； 构建人脸重建待训练模型， 通过所有的原始人脸图像和所有的目标超分辨率图像对所 述人脸重建待训练模型进行 人脸重建图像的训练分析， 得到人脸重建训练模型； 通过所述人脸重建训练模型分别对各个所述目标超分辨率图像进行图像重建， 得到与 各个所述原始人脸图像对应的人脸重建图像， 并将所有的人脸重建图像作为人脸图像重建 结果。 2.根据权利要求1所述的人脸图像重建方法， 其特征在于， 所述超分辨率待训练模型包 括一对依次排列的上采样块和一对依次排列的下采样块， 所述通过各个所述原始人脸图像 依次对所述超分辨率待训练模型进行超分辨率图像的训练分析， 得到与各个所述原始人脸 图像对应的超分辨 率训练模型的过程包括： S11： 通过所述上采样块依次对各个所述原始人脸图像进行上采样分析， 得到与各个所 述原始人脸图像对应的上采样后人脸图像； S12： 通过所述下采样块依次对各个所述原始人脸图像进行下采样分析， 得到与各个所 述原始人脸图像对应的原 始人脸超分辨 率图像； S13： 通过多个预设滤波器依次对各个所述原始人脸超分辨率图像进行图像增强处理， 得到与各个所述原 始人脸图像对应的正样本集； S14： 通过多个所述预设滤波器依次对各个所述原始人脸超分辨率图像进行降质处理， 得到与各个所述原 始人脸图像对应的负 样本集； S15： 依次对各个所述原始人脸超分辨率图像、 与所述原始人脸图像对应的正样本集以 及与所述原始人脸图像对应的负样本集进 行对比学习损失值的分析， 得到与各个所述原始 人脸图像对应的对比学习损失值； S16： 依次判断各个所述对比学习损失值是否大于预设第一损失阈值， 若是， 则根据所 述对比学习损失值对所述超分辨率待训练模型进 行参数更新， 并将更新后的超分辨率待训 练模型作为与所述原始人脸图像对应的超分辨率待训练模型， 并返回步骤S11； 若否， 则将 所述超分辨 率待训练模型作为与所述原 始人脸图像对应的超分辨 率训练模型。 3.根据权利要求2所述的人脸图像重建方法， 其特征在于， 所述上采样块包括多个顺序 排列的残差通道 注意力块、 第一3 ×3卷积层、 像素重组层和1 ×1卷积层； 所述步骤S11的过程包括： 通过多个所述残差通道注意力块依次对各个所述原始人脸图像进行图像放大， 得到与 各个所述原 始人脸图像对应的放大后人脸图像； 通过所述第 一3×3卷积层依次对各个所述放大后人脸图像进行首次特征提取， 得到与 各个所述原 始人脸图像对应的首次特 征提取后人脸图像； 通过所述像素重组层依次对各个所述首次特征提取后人脸图像进行上采样处理， 得到 与各个所述原 始人脸图像对应的待特 征提取人脸图像；权　利　要　求　书 1/4 页 2 CN 115293966 A 2通过所述1 ×1卷积层依次对各个所述待特征提取人脸图像进行再次特征提取， 得到与 各个所述原 始人脸图像对应的上采样后人脸图像。 4.根据权利要求2所述的人脸图像重建方法， 其特征在于， 所述下采样块包括第 二3×3 卷积层、 LeakyReLU激活函数层和第三3 ×3卷积层； 所述步骤S12的过程包括： 通过所述第 二3×3卷积层依次对各个所述上采样后人脸图像进行第 三次特征提取， 得 到与各个所述原 始人脸图像对应的第三次特 征提取后人脸图像； 通过所述LeakyReLU激活函数层依次对各个所述第三次特征提取后人脸图像进行首次 映射处理， 得到与各个所述原 始人脸图像对应的映射后人脸图像； 通过所述第 三3×3卷积层依次对各个所述映射后人脸图像进行第四次特征提取， 得到 与各个所述原 始人脸图像对应的原 始人脸超分辨 率图像。 5.根据权利要求2所述的人脸图像重建方法， 其特 征在于， 所述 步骤S13的过程包括： 通过多个预设滤波器和第一式依次对各个所述原始人脸超分辨率图像进行图像增强 处理， 得到与各个所述原 始人脸图像对应的正样本集， 所述第一式为： 其中， IP为第i个原始 人脸超分辨率图像对应的正样本集， 为第i个原始 人脸超分辨 率图像， RF为图像增强操作， spi为第i个正样本图像， P为 正样本图像的数量。 6.根据权利要求2所述的人脸图像重建方法， 其特 征在于， 所述 步骤S14的过程包括： 通过多个所述预设滤波器和第二式依次对各个所述原始人脸超分辨率图像进行降质 处理， 得到与各个所述原 始人脸图像对应的负 样本集， 所述第二式为： 其中， IN为第j个原始人脸超分辨率图像对应的负样本集， 为第j个原始人脸超分辨 率图像， DG为降质函数， snj为第j个负 样本图像， N 为负样本图像的数量。 7.根据权利要求2所述的人脸图像重建方法， 其特 征在于， 所述 步骤S15的过程包括： 依次将各个所述原始人脸超分辨率图像以及与各个所述原始人脸图像对应的正样本 集一并作为与各个所述原 始人脸图像对应的正对图像集； 依次将各个所述原始人脸超分辨率图像以及与各个所述原始人脸图像对应的负样本 集一并作为与各个所述原 始人脸图像对应的负对图像集； 利用特征提取网络依次对各个所述正对图像集以及与各个所述原始人脸图像对应的 负对图像集进 行特征图的提取， 得到与各个所述原始人脸图像对应的正对 特征图以及与各 个所述原 始人脸图像对应的负对特 征图； 通过第三式依次对各个所述正对特征图、 与各个所述原始人脸图像对应的原始人脸超 分辨率图像、 与各个所述原始人脸图像对应的正样本集、 与各个所述原始人脸图像对应的 负对特征图 以及与各个所述原始人脸图像对应的负样本集进 行对比学习损失值的计算， 得 到与各个所述原 始人脸图像对应的对比学习损失值， 所述第三式为：权　利　要　求　书 2/4 页 3 CN 115293966 A 3