(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210923747.9 (22)申请日 2022.08.02 (71)申请人 国能网信科技 （北京） 有限公司 地址 100000 北京市海淀区西三 旗建材城 中路10号四层 (72)发明人 聂志勇　张延生　隋立林　王亚军　 王晓燕　 (74)专利代理 机构 北京润平知识产权代理有限 公司 11283 专利代理师 陈潇潇 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/74(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习的人脸检测与识别方法及装 置 (57)摘要 本发明提供了一种基于深度学习的人脸检 测与识别方法及装置， 涉及图像识别技术领域， 方法包括： 获取待识别图像； 以待识别图像为输 入， 经人脸识别模型识别待识别图像中的人脸目 标； 人脸识别模 型经预构建的人脸图像数据集对 预构建的深度神经网络模型训练后得到， 深度神 经网络模型包括依次连接的残差网络、 特征金字 塔网络及上下文模块。 本发明通过增加金字塔网 络的层级， 并在金字塔网络应用上下文模块来增 加金字塔网络的建模能力， 并通过构建包括不同 人脸形态、 不同光照明暗度、 角度及噪声点的人 脸图像数据集对深度神经网络模型训练得到人 脸识别模型， 能够有效增强模型的鲁棒 性。 权利要求书2页 说明书11页 附图3页 CN 115359525 A 2022.11.18 CN 115359525 A 1.一种基于深度学习的人脸检测与识别方法， 其特 征在于， 包括： 获取待识别图像； 以所述待识别图像为输入， 经 人脸识别模型识别所述待识别图像中的人脸目标； 所述人脸识别模型经预构建的人脸图像数据集对预构建的深度神经网络模型训练后 得到， 所述深度神经网络模型包括依次连接的残差网络、 特 征金字塔网络及上 下文模块。 2.根据权利要求1所述的基于深度学习的人脸检测与识别方法， 其特征在于， 构建人脸 图像数据集， 包括： 获取第一样本图像， 所述第 一样本图像包括不同人脸的不同形态， 其中， 人脸的形态包 括人脸的角度及大小； 检测并识别所述第 一样本图像中的人脸目标， 确定得到的人脸目标与不同身份特征的 相似度； 针对每一第 一样本图像中的每一人脸目标， 确定相似度 大于相似度阈值的身份特征为 该人脸目标对应的身份特征， 建立人脸 目标与身份特征 的对应关系， 得到包括人脸 目标及 对应身份特 征的第二样本图像； 对所述第二样本 图像进行预设处理， 生成第三样本 图像， 依据所述第二样本 图像及所 述第三样本图像构建人脸图像数据集。 3.根据权利要求2所述的基于深度学习的人脸检测与识别方法， 其特征在于， 对所述第 二样本图像进行 预设处理， 生成第三样本图像， 包括： 对所述第二样本 图像执行均衡数据处理， 得到第三样本 图像， 以使得所有第二样本 图 像与第三样本图像中人脸的不同形态的占比达 到预设比值。 4.根据权利要求3所述的基于深度学习的人脸检测与识别方法， 其特征在于， 依据 所述 第二样本图像及所述第三样本图像构建人脸图像数据集， 包括： 对所述第二样本 图像及所述第三样本 图像进行数据增广处理， 得到第 四样本图像， 构 建包括所述第二样本图像、 第三样本图像及第四样本图像的人脸图像数据集。 5.根据权利要求4所述的基于深度学习的人脸检测与识别方法， 其特征在于， 对所述第 二样本图像及所述第三样本图像进行 数据增广处 理， 包括： 对所述第 二样本图像及所述第 三样本图像执行图像裁剪、 镜像翻转、 高斯模糊、 改变亮 度和对比度、 仿射变换、 透 视变换和动态模糊处 理、 色彩抖动以及噪声扰动处 理。 6.根据权利要求1所述的基于深度学习的人脸检测与识别方法， 其特征在于， 所述残差 网络包括： 第一卷积层、 第二卷积层、 第三卷积层、 第四卷积层、 第五卷积层 及第六卷积层； 所述第一卷积层包括64个7x  7的卷积核； 所述第二卷积层包括2组卷积核， 每组分别包括64个1x1的卷积核及256个1x1的卷积 核； 所述第三卷积层包括2组卷积核， 每组分别包括128个1x1的卷积核及512个1x1的卷积 核； 所述第四卷积层包括2组卷积核， 每组分别包括256个1x1的卷积核及1024个1x1的卷积 核； 所述第五卷积层包括2组卷积核， 每组分别包括512个1x1的卷积核及2048个1x1的卷积权　利　要　求　书 1/2 页 2 CN 115359525 A 2核； 所述第六 卷积层包括1xn个1x  1的卷积核。 7.根据权利要求6所述的基于深度学习的人脸检测与识别方法， 其特征在于， 所述金字 塔网络包括： 第一金字塔卷积层、 第二金字塔卷积层、 第三金字塔卷积层 及第四金字塔卷积层； 所述第一金字塔卷积层包括64个金字塔卷积核， 其横向连接于所述第二卷积层的2组 卷积核之间； 所述第二金字塔卷积层包括128个金字塔卷积核， 其横向连接于所述第 三卷积层的2组 卷积核之间； 所述第三金字塔卷积层包括256个金字塔卷积核， 其横向连接于所述第四卷积层的2组 卷积核之间； 所述第四金字塔卷积层包括512个金字塔卷积核， 其横向连接于所述第五卷积层的2组 卷积核之间。 8.根据权利要求7所述的基于深度学习的人脸检测与识别方法， 其特征在于， 所述第 一 金字塔卷积层、 第二金字塔卷积层、 第三金字塔卷积层及第四金字塔卷积层的金字塔卷积 核大小不同。 9.根据权利要求7所述的基于深度学习的人脸检测与识别方法， 其特征在于， 所述特征 金字塔网络还 包括： 第五金字塔卷积层 及第六金字塔卷积层； 所述第五金字塔卷积层及所述第六金字塔卷积层均采用3x3的卷积核进行卷积操作， 步长为2。 10.一种基于深度学习的人脸检测与识别装置， 其特 征在于， 包括： 图像获取模块， 被 配置为获取待识别图像； 人脸识别模块， 被配置为以所述待识别图像为输入， 经人脸识别模型识别所述待识别 图像中的人脸目标； 所述人脸识别模型经预构建的人脸图像数据集对预构建的深度神经网络模型训练后 得到， 所述深度神经网络模型包括依次连接的残差网络、 特 征金字塔网络及上 下文模块。权　利　要　求　书 2/2 页 3 CN 115359525 A 3