(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210949819.7 (22)申请日 2022.08.09 (71)申请人 中国—东盟信息 港股份有限公司 地址 530000 广西壮 族自治区南宁市良庆 区秋月路18号 (72)发明人 韦涛　杜欢　梁勇　吴康杰　李鹏　 (74)专利代理 机构 广州海心联合专利代理事务 所(普通合伙) 44295 专利代理师 张栩颜　莫秀波 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种人脸比对方法、 系统、 设备及存 储介质 (57)摘要 本发明公开了一种人脸比对方法、 系统、 设 备及存储介质， 属于计算机视觉技术领域， 解决 现有人脸比对 方法稳定性差、 对比速度较慢的技 术问题， 方法包括： 构建一个基于卷积神经网络 的轻量级的人脸检测模块， 用于对 人脸图像进行 检测得到一系列人脸候选框； 对 人脸候选框的位 置信息进行解码， 并转换为原图上的人脸候选框 信息； 根据每个人脸候选框对人脸预测的得分筛 选出若干个人脸候选框作为检测结果， 并根据检 测结果将人脸部分从原图上裁剪出来， 作为输入 图像； 构建一个基于卷积神经网络的人脸特征提 取模块， 将输入图像输入到人脸特征提取模块， 得到一系列人脸信息量化的特征值； 根据两个人 脸的特征值计算两个人脸的相似程度， 并判断是 否为同一个人。 权利要求书3页 说明书8页 附图2页 CN 115273202 A 2022.11.01 CN 115273202 A 1.一种人脸比对方法， 其特 征在于， 包括： 步骤S1.构建一个基于卷积神经网络的轻量级的人脸检测模块， 用于对人脸图像进行 检测来确定人脸的位置信息， 得到一系列人脸 候选框； 步骤S2.对所述人脸候选框的位置信息进行解码， 将每个人脸候选框转换为原图上的 人脸候选框信息； 步骤S3.根据原图上的每个人脸候选框对人脸预测的得分score筛选出若干个人脸候 选框作为检测结果， 并根据检测结果将人脸部分从原图上裁剪出来， 作为后续人脸特征提 取模块的输入图像； 步骤S4.构建一个基于卷积神经网络的人脸特征提取模块， 将所述输入图像输入到所 述人脸特 征提取模块， 得到一系列人脸信息量 化的特征值； 步骤S5.根据两个人脸的特征值计算两个人脸的相似程度， 根据相似程度判断两个人 脸是否为同一个人。 2.根据权利要求1所述的一种人脸比对方法， 其特征在于， 在步骤S1中， 构建人脸检测 模块的过程如下： 步骤S11， 构建输入层， 为了满足卷积神经网络固定尺寸输入的要求， 输入层将图像的 尺寸调整为5 00×500×3； 步骤S12， 构建轻量级卷积子模块， 子模块主要 由两种尺度的卷积核组成， 分别为3 ×3 的卷积核及1 ×1的卷积核， 3 ×3卷积核个数为64个， 1 ×1卷积核个数为32个； 模块中卷积层 的连接方式为 1×1卷积核接在3 ×3卷积核之后， 同时在1 ×1卷积核之后接一个非线性激活 操作； 步骤S13， 在输入层之后连接3个卷积子模块， 然后通过一个Flatten层将卷积模块输出 的特征图展平， 再通过两个全连接层对卷积层的信息整合， 最后通过一个Reshape层输出5 ×5×2个回归框的信息(bx,by,bw,bh,confidenc e,score)， 其中， (bx,by)为回归框的中心点 坐标， bw为回归框的宽度， bh为回归框的高度， confidence为回归框的置信度得分， acore为 回归框包含人脸的得分， 5 ×5×2表示将原图划分为5 ×5个区域， 模型在每个区域预测2个 回归框的位置信息 。 3.根据权利要求2所述的一种人脸比对方法， 其特征在于， 在步骤S2中， 将回归框的位 置信息解码， 针对每一个回归框， 使用如下公式将其 转换为原图上的人脸 候选框信息： 其中， (tx,ty)为原图上人脸候选框的中心点坐标； tw和th分别为宽度和高度； w表示原图 宽度， h表 示原图高度； S表 示将原图划分为S ×S个区域， S为5； xoffset表示该回归框所属区域 的横坐标， yoffset表示该回归框所属区域的纵坐标。 4.根据权利要求2所述的一种人脸比对方法， 其特征在于， 在步骤S3中， 首先根据每个权　利　要　求　书 1/3 页 2 CN 115273202 A 2人脸候选框对人脸预测的得分score从大到小进行排列， 选取得分较大的前m个候选框； 然 后根据回归框的置信度confidence对这m个候选框使用非极大值抑制算法进行二次筛选， 选取筛选后的n个候选 框作为人脸检测的结果， m、 n 为设定值。 5.根据权利要求4所述的一种人脸比对方法， 其特征在于， 若二 次筛选后的候选框不足 n个， 则将筛 选后的所有候选 框作为检测结果。 6.根据权利要求1所述的一种人脸比对方法， 其特征在于， 在步骤S4中， 构建人脸特征 提取模块的过程如下： 步骤S41.构建输入层， 对输入图像进行预处理， 预处理过程主要是将输入图像调整为 统一尺寸； 步骤S42.在输入层 之后连接3个轻量级卷积子模块， 作用是为了加速特征提取的过程， 同时增加网络的非线性表达能力， 从而更好 地提取人脸特征； 步骤S43.构建Inception模块， 该模块位于轻量级卷积子模块之后， 由3种尺度的卷积 层和一个最大池化层构成， 3种尺度的卷积核大小分别为1 ×1、 3×3和5×5， 3个卷积层和1 个池化层以并联的方式连接， 在模块的最后将4个网络层的输出拼接起来作为Inception模 块的输出； 步骤S44.构建残差模块， 该模块位于Inception模块之后， 包含两个卷积层， 所用的卷 积核大小都为3 ×3， 模块的输入特征图会被这两个卷积层卷积， 然后将卷积得到的特征图 与输入特 征图逐位相加， 将相加后得到的新特 征图作为残差模块的输出； 步骤S45.在残差模块之后连接两个全连接层， 对卷积层的信息进行整合， 最后通过k个 神经元的全连接层输出， 这 k个神经元也即模块对人脸 提取的k维特 征向量。 7.根据权利要求6所述的一种人脸比对方法， 其特征在于， 在步骤S5 中， 所述k维特征向 量可以映射为k 维特征空间的一个特征点， 两个人脸的特征向量就可以映射为两个特征点， 这两个特征点的距离代表了两个人脸的相似程度， 离得越近表明两个人脸越相似； 使用余 弦距离作为两个特 征点的相似度距离， 具体 计算过程如下： 计算两个人脸特 征向量(x1,x2,...,xk)和(y1,y2,...,yk)的点积， 如下式所示： dotXY＝(x1,x2,...,xk)×(y1,y2,...,yk)T 分别计算两个人脸特 征向量的二范 数， 如下式所示： 根据点积和范 数计算两个特 征向量的余弦距离， 如下式所示： 余弦距离为两个人脸的相似度距离， 若该距离大于 阈值， 则认为两个人脸是同一个人； 否则认为两个人脸 不是同一个人。 8.一种人脸比对系统， 其特 征在于， 包括： 人脸检测模块， 用于对人脸图像进行检测来确定人脸的位置信息， 得到一系列人脸候权　利　要　求　书 2/3 页 3 CN 115273202 A 3