(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210599350.9 (22)申请日 2022.05.30 (71)申请人 上海大学 地址 200444 上海市宝山区上 大路99号 (72)发明人 黄睿　王鑫　 (74)专利代理 机构 上海宛林专利代理事务所 (普通合伙) 31361 专利代理师 张明 (51)Int.Cl. G06V 40/40(2022.01) G06T 7/73(2017.01) G06V 10/80(2022.01) G06V 40/16(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种多尺度注意力融合的双重监督人脸活 体检测方法 (57)摘要 本发明公开了一种多尺度注意力融合的双 重监督人脸活体检测方法， 包括以下步骤： 预处 理图像， 获取目标输入图像， 并对目标输入图像 进行原始特征的提取， 得到目标输入图像的原始 深度特征； 对原始深度特征进行多层次特征的提 取， 对多层次特征进行基于注 意力机制的特征优 化， 并进行融合， 得到融合后的特征图； 对融合后 的特征图展开并训练模型， 得到训练后的人脸活 体检测模型； 对待检测人脸视频中采集到的图像 进行人脸检测， 对待检测的人脸图像输入到训练 好的人脸活体检测模型， 得到最终真假人脸的判 别； 反馈结果以便进行后续的处理。 本发明的一 种多尺度注意力融合的双重监督人脸活体检测 方法， 实现端到端训练模 型， 提高检测性能、 检测 精度和泛化能力。 权利要求书2页 说明书6页 附图3页 CN 115131880 A 2022.09.30 CN 115131880 A 1.一种多尺度注意力融合的双重监 督人脸活体 检测方法， 其特 征在于， 包括以下步骤： 预处理图像， 获取训练集图像， 进行人脸检测和关键点检测， 得到人脸框位置信 息和关 键点位置信息， 根据人脸框信息和关键点信息对所述人脸图像， 进行裁 剪和归一 化处理； 获取目标输入图像， 通过特征预提取网络对所述目标输入图像进行原始深度 特征的提 取， 得到目标输入图像的原 始深度特 征； 对所述原始深度 特征采用三个不同卷积块进行多层次特征的提取， 得到低中高三个层 次的特征； 对多层次特征进行基于注意力 机制的特征优化， 将优化后的特征调 整到同等维度 大小 的特征并进行融合， 得到融合后的特 征图； 对融合后的特征图展开为一个一维向量， 送入到全连接层中， 通过全连接层输出二维 特征， 分别表示活体概率值和非活体概率值， 并采用基于二值掩码和二值标签的联合监督 训练模型， 得到训练后的人脸活体 检测模型； 对待检测人脸视频进行采集处理， 将采集得到的视频进行切割成单帧图像； 对于采集 到的图像进行人脸检测， 如果有人脸， 采用预处理图像步骤对人脸图像进行处理得到待检 测的人脸图像； 对待检测的人脸图像输入到训练好的人脸活体检测模型， 得到最终真假人脸的判别， 如果判别结果 为真人脸时， 系统会允许通过， 否则， 该输入图像为 假人脸， 不允许通过； 将判别结果反馈给使用方， 使用方根据判别结果进行后续的处 理。 2.如权利要求1所述的一种多尺度注意力融合的双重监督人脸活体检测方法， 其特征 在于， 获取目标输入图像， 并通过特征预提取网络对所述 目标输入图像进行原始特征 的提 取， 得到目标输入图像的原始深度特征， 具体是使用预训练的卷积神经网络对所述 目标输 入图像进行原 始深度特 征的提取， 其中， 提取原 始深度特 征的网络采用开源网络 。 3.如权利要求1所述的一种多尺度注意力融合的双重监督人脸活体检测方法， 其特征 在于， 采用三个不同卷积块进行多层次特征 的提取， 包括原始深度特征 的特征图通道数不 同、 特征图的高不同和特 征图的宽不同。 4.如权利要求3所述的一种多尺度注意力融合的双重监督人脸活体检测方法， 其特征 在于， 对多层次特征进行基于注意力机制的特征优化， 具体包括采用开源的注意力机制网 络进行特征的优化处 理。 5.如权利要求1所述的一种多尺度注意力融合的双重监督人脸活体检测方法， 其特征 在于， 预处理图像， 获取训练集图像时， 需要获取大量的训练样本作为训练集样本， 所述训 练集样本包括大量的正样本和大量的负 样本。 6.如权利要求5所述的一种多尺度注意力融合的双重监督人脸活体检测方法， 其特征 在于， 所述正样 本的采集条件设置为在自然光、 逆光、 人工照明、 强光、 背 景单一和背 景复杂 等多个场景下进行， 在采集的过程中参与拍摄的志愿者做出摇头、 身体前倾和后仰以及在 做出不同的面部表情等动作； 所述负 样本包括多种攻击类型的人脸图像。 7.如权利要求2所述的一种多尺度注意力融合的双重监督人脸活体检测方法， 其特征 在于， 采用经典的ResNet34网络的前七个卷积块作为预提取特征网络的主干框架， 从输入 图像中提取到原 始深度特 征。 8.如权利要求1所述的一种多尺度注意力融合的双重监督人脸活体检测方法， 其特征权　利　要　求　书 1/2 页 2 CN 115131880 A 2在于， 对融合后的特征图展开为一个一维向量， 采用基于二值掩码和二值标签的交叉熵损 失函数(Cros s‑Entropy Loss)联合监督训练模型， 其中， 双重监 督损失函数公式为： 总损失函数： L ＝Lbinary+Lbinary‑mask 其中， Lbinary‑mask＝‑(Y log(M))+(1‑Y)log(1‑M)， Lbinary＝‑(y log(p))+(1‑y)log(1‑p) 其中， Y是二值掩码标定值， 约定真实人脸的二值掩码值为全1， 攻击人脸的二值掩码值 为全0； M为模型 预测的特 征图； y是 人脸图像的真实标签值， p为模型的预测值。 9.如权利要求8所述的一种多尺度注意力融合的双重监督人脸活体检测方法， 其特征 在于， 通过输出的预测值和输入样本图像的标注值， 结合损失函数， 并使用Adam优化器算 法， 设置学习率大小为1 ×10‑4， 最小化损失函数对 模型参数进行 更新， 直到模型收敛为止 。权　利　要　求　书 2/2 页 3 CN 115131880 A 3