(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210796587.6 (22)申请日 2022.07.06 (71)申请人 南京邮电大 学 地址 224000 江苏省盐城市城南 新区新都 街道智慧谷科创大厦南15层 (72)发明人 吴晓华　 (74)专利代理 机构 北京冠和权律师事务所 11399 专利代理师 张树朋 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/40(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的人脸云识别系统 (57)摘要 本发明提供了一种基于深度学习的人脸云 识别系统， 包括： 人脸图像采集模块： 用于通过网 络摄像头拍摄视频流， 并在所述视频流中定位目 标人脸， 获取第一人脸图像； 图像处理模块： 用于 对所述人脸图像通过图像旋转、 滤波和校正进行 图像预处理， 获得第二人脸图像； 人脸云识别模 块： 用于基于卷积神经网络， 构建人脸特征提取 模型， 并通过人脸特征提取模型提取所述第二人 脸图像的人脸特征向量， 与预设的人脸数据库中 的人脸图像的人脸特征向量进行对比， 获得对比 结果， 本发明通过在视频流中选择最佳人脸图 像， 进而一次性获得标准的人脸图像、 并提高提 取人脸特征数据速度， 快速进行 人脸云识别。 权利要求书3页 说明书10页 附图2页 CN 115311705 A 2022.11.08 CN 115311705 A 1.一种基于深度学习的人脸云识别系统， 其特 征在于， 包括： 人脸图像采集模块： 用于通过网络摄像头拍摄视频流， 并在所述视频流中定位目标人 脸， 获取第一人脸图像； 图像处理模块： 用于对所述人脸图像通过图像旋转、 滤波和校正进行图像预处理， 获得 第二人脸图像； 人脸云识别模块： 用于基于卷积神经网络， 构建人脸特征提取模型， 并通过人脸特征提 取模型提取所述第二人脸图像的人脸特征向量， 与预设的人脸数据库中的人脸图像的人脸 特征向量进行对比， 获得对比结果。 2.如权利要求1所述的一种基于深度 学习的人脸云识别系统， 其特征在于， 所述人脸图 像采集模块， 包括： 视频流拍摄单元： 用于当所述网络摄像头识别到人脸时， 主控端控制所述网络摄像头 的云台进行角度调整， 并拍摄目标 人脸， 生成视频流； 视频流上传单元： 用于在所述网络摄像头中预设网络传输端口， 将所述视频流从所述 网络传输端口上传到主控端； 人脸确定单元： 用于通过ASM人脸定位技术， 对所述视频流中的视频图像进行筛选， 定 位最佳角度拍摄的人脸图像， 标记为第一人脸图像。 3.如权利要求2所述的一种基于深度 学习的人脸云识别系统， 其特征在于， 所述人脸确 定单元的具体执 行步骤如下： 步骤一： 通过预设的训练样本， 对人脸模型进行训练， 并对人脸模型上的特征点进行标 记， 并对每 个特征点构建局部特 征， 将所述特 征点的坐标串成特 征向量； 步骤二： 对所述视频流进行停帧识别， 获取视频图像 中的人脸特征向量和局部特征， 并 剔除人脸特 征向量不全的视频图像； 其中， 所述人脸特征包括： 眼睛、 鼻子、 嘴巴、 眉毛， 所述局部特征包括： 眼睛的轮廓、 嘴巴的轮 廓、 鼻子的轮廓、 眉毛的形状； 步骤三： 将剔除后的视频图像的人脸特征向量和局部特征与 人脸模型中的人脸特征向 量和局部特征进行匹配， 确定人脸图像。 4.如权利要求1所述的一种基于深度 学习的人脸云识别系统， 其特征在于， 所述图像处 理模块， 包括： 图像旋转单元： 用于将所述第 一人脸图像放在笛卡尔 坐标中， 进行图像旋转， 获得旋转 矩阵； 图像滤波处理单元： 用于通过高斯差分滤波技术获得所述旋转矩阵中的第一人脸图 像， 并确定所述第一人脸图像的人脸边缘值， 将所述人脸边缘值作为稳定点， 进 行精细化人 脸拟合， 生成稳定图像； 图像校正单元： 用于通过仿射变换伽马校正检测出所述稳定图像的深色区域和浅色区 域， 并通过调节伽玛曲线， 增大两个区域色调比例， 获得第二人脸图像。 5.如权利要求1所述的一种基于深度 学习的人脸云识别系统， 其特征在于， 所述人脸云 识别模块， 包括： 人脸数据库： 包括永久数据库和暂存数据库， 所述永久数据库用于存储系统采集的人 脸图像， 所述暂存 数据库用于暂存IC卡的人脸图像， 当IC识别端口识别出IC卡后， 将所述IC权　利　要　求　书 1/3 页 2 CN 115311705 A 2卡中的人脸图像暂存至暂存数据库； 深度学习单元： 用于将所述永久数据库的人脸图像作为训练数据集， 并清除身份重复 的人脸图像， 对清除后的人脸图像通过卷积神经网络模型提取人脸特征数据， 训练并构建 人脸特征提取模型； 对比识别单元： 用于将所述第 二人脸图像的人脸特征数据与 人脸数据库的人脸特征数 据进行对比， 获得对比结果。 6.如权利要求5所述的一种基于深度 学习的人脸云识别系统， 其特征在于， 所述深度 学 习单元， 包括： 数据训练子单元： 用于将永久数据库的人脸图像作为训练数据集， 通过卷积神经网络 模型中卷积层、 池化层、 全连接层进行 人脸特征向量提取， 获得训练数据结果； 参数调节子单元： 用于根据所述训练数据结果， 确定训练参数， 并通过调节学习策略， 进行新一轮网络训练， 当所述训练参数达到预设的训练参数时， 确定人脸特征提取模型； 其 中， 所述训练参数包括： 学习率 参数、 迭代参数。 7.如权利要求6所述的一种基于深度 学习的人脸云识别系统， 其特征在于， 所述卷积神 经网络模型， 包括： 卷积层： 用于对永久数据库的人脸图像进行卷积核移动训练， 并与移动位置所在区域 的像素值进行相乘并累加， 获取 人脸特征图； 池化层： 用于根据预设的区域划分机制对所述人脸特征图进行区域划分， 并根据池化 规则计算每 个区域的人脸特 征图的池化 值， 并生成二维人脸特 征图； 全连接层： 用于将所述 二维人脸特 征图转换成一维的人脸特 征向量。 8.如权利要求5所述的一种基于深度 学习的人脸云识别系统， 其特征在于， 所述对比识 别单元， 包括： 人脸图像特征提取子单元： 用于根据 所述人脸特征提取模型提取所述第 二人脸图像的 一维人脸特 征向量； 人脸数据库 特征提取子单元： 用于根据所述人脸特征提取模型提取人脸数据库的人脸 图像一维人脸特 征向量； 特征对比单元： 用于将所述第 二人脸图像一维人脸特征向量与 所述人脸数据库的人脸 图像一维人脸特 征向量进行对比， 获得对比结果。 9.如权利要求4所述的一种基于深度 学习的人脸云识别系统， 其特征在于， 所述深度 学 习单元， 还包括： 迁移学习子单元： 用于采集不同人种的人脸图像， 并作为训练数据集， 通过二次训练卷 积神经网络模型， 提取对应的人脸特 征数据； 特征提取加速子单元： 用于在训练卷积神经网络模型， 对人脸特征数据进行提取时， 通 过FFT技术加速人脸特 征数据的提取。 10.如权利要求7所述的一种基于深度学习的人脸云识别系统， 其特征在于， 所述池化 层， 包括： 均值池化： 用于对所述人脸特 征图进行区域划分， 并计算每 个区域的均值池化 值； 最大值池化： 用于对所述人脸特 征图进行区域划分， 并计算每 个区域的最大池化 值；权　利　要　求　书 2/3 页 3 CN 115311705 A 3