(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211370737.3 (22)申请日 2022.11.03 (71)申请人 平安银行股份有限公司 地址 518000 广东省深圳市罗湖区深南 东 路5047号 (72)发明人 洪叁亮　 (74)专利代理 机构 广东良马律师事务所 4 4395 专利代理师 刘海杰 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/40(2022.01) G06V 10/25(2022.01) G06V 10/764(2022.01) (54)发明名称 一种人脸活体 检测方法及系统 (57)摘要 本发明公开了一种人脸活体检测方法及系 统， 包括： 采集待检测人输入的音视频数据， 提取 音视频数据中的语音文本及依次排列而组成视 频序列的2D图像帧； 基于2D图像帧得到待检测人 的人脸检测框； 基于人脸检测框从2D图像帧上截 取待检测人的人脸区域图像， 将人脸区域图像输 入预先训练好的人脸关键点定位模型进行人脸 关键点定位， 得到人脸关键点坐标； 基于人脸关 键点坐标提取待检测人的多个嘴巴检测点， 根据 多个嘴巴检测点计算得到待检测人的张嘴程度 比率； 形成张嘴程度比率序列， 输入预先训练好 的口型动作分类模型， 得到口型动作； 核对语音 文本与口型动作是否一致， 输出人脸活体检测结 果。 通过本方法可准确实现人脸活体检测， 可提 高防御假 脸攻击能力。 权利要求书3页 说明书10页 附图3页 CN 115546874 A 2022.12.30 CN 115546874 A 1.一种人脸活体 检测方法， 其特 征在于， 包括： 采集待检测人输入的音视频数据， 提取所述音视频数据中待检测的语音文本以及依次 排列而组成视频序列的2D图像帧； 基于所述2D图像帧得到所述待检测人的人脸检测框； 基于所述人脸检测框从所述2D图像帧上截取所述待检测人的人脸区域图像， 并将所述 人脸区域图像输入预先训练好的人脸关键点定位模型进行人脸关键点定位， 得到人脸关键 点坐标； 基于所述人脸关键点坐标提取所述待检测人的多个嘴巴检测点， 根据多个所述嘴巴检 测点计算得到所述待检测人的张嘴程度比率； 所述视频序列根据其中依次排列的所述2D图像帧的所述张嘴程度比率， 形成张嘴程度 比率序列， 将所述张嘴程度比率序列输入预先训练好的口型动作分类模型， 得到所述视频 序列包含的口型动作； 核对所述语音 文本与所述口型动作是否一 致， 输出人脸活体 检测结果。 2.根据权利要求1所述的人脸活体检测方法， 其特征在于， 所述采集待检测人输入的音 视频数据， 提取所述音视频数据中待检测的语音文本以及依次排列而组成视频序列的2D图 像帧之前， 包括： 在文字库中预存多个张嘴发音和闭嘴发音的验证文字， 当待检测人在前端设备登录应 用程序时， 随机下发多个所述验证文字并在所述前端设备的显示界面展示。 3.根据权利要求2所述的人脸活体检测方法， 其特征在于， 所述采集待检测人输入的音 视频数据， 提取所述音视频数据中待检测的语音文本以及依次排列而组成视频序列的2D图 像帧， 包括： 通过前端设备采集待检测人输入的音视频 数据； 解析所述音视频数据， 以得到其中的音频数据和视频数据， 所述视频数据包括视频序 列， 所述视频序列由依次排列的多张2D图像帧组成； 提取所述音频数据中待检测 的语音文本， 提取所述视频数据中待检测 的所述2D图像 帧。 4.根据权利要求3所述的人脸活体检测方法， 其特征在于， 所述基于所述2D图像帧得到 所述待检测人的人脸检测框， 包括： 划定所述2D图像的检测区域； 基于所述检测区域从所述2D图像中截取 得到检测区域图像； 将所述检测区域图像输入预设的人脸检测模型中进行人脸检测， 输出人脸热度图、 人 脸尺度图以及人脸中心偏移量图； 将所述人脸热度图中大于预设阈值的点认定为是人脸， 然后在所述人脸中心偏移量图 上的对应位置取出人脸坐标偏移 量， 将所述人脸坐标偏移量与所述人脸热度图中的坐标相 加， 得到最 终人脸的中心位置， 然后在所述人脸尺度图上经过指数换算计算出人脸的宽高， 以得到所述待检测人的人脸检测框 。 5.根据权利要求4所述的人脸活体检测方法， 其特征在于， 所述基于所述人脸检测框从 所述2D图像帧上截 取所述待检测人的人脸区域图像， 并将所述人脸区域图像输入预先训练 好的人脸关键点定位模型进行 人脸关键点定位， 得到人脸关键点 坐标， 包括：权　利　要　求　书 1/3 页 2 CN 115546874 A 2对所述人脸检测框向四周进行外扩； 基于外扩后的所述人脸检测框从所述2D图像帧上截取 所述待检测人的人脸区域图像； 将所述人脸区域图像输入预先训练好的人脸关键点定位模型进行人脸关键点定位， 得 到人脸关键点 坐标。 6.根据权利要求5所述的人脸活体检测方法， 其特征在于， 所述基于所述人脸关键点坐 标提取所述待检测人的多个嘴巴检测点， 根据多个所述嘴巴检测点计算得到所述待检测人 的张嘴程度比率， 包括： 基于所述人脸关键点坐标提取出所述待检测人的嘴巴左角点、 嘴巴右角点、 嘴巴第一 上唇点、 嘴巴第一下 唇点、 嘴巴第二上 唇点以及嘴巴第二下 唇点； 计算所述嘴巴左角点与所述嘴巴右角点之间的距离记为d1， 计算所述嘴巴第 一上唇点 与所述嘴巴第一下唇点之 间的距离记 为d2， 计算所述嘴巴第二上唇点与所述嘴巴第二下唇 点之间的距离记为d3， 则张嘴程度比率Mar的计算公式如下 所示： 其中， Mar值越大表示张嘴程度越大， 反 之张嘴程度越小。 7.根据权利要求6所述的人脸活体检测方法， 其特征在于， 所述核对所述语音文本与 所 述口型动作是否一 致， 输出人脸活体 检测结果， 包括： 核对所述语音 文本与所述口型动作是否一 致； 若所述语音 文本与所述口型动作一 致， 则输出 人脸活体 检测结果 为活体； 若所述语音 文本与所述口型动作不 一致， 则输出 人脸活体 检测结果 为非活体。 8.一种人脸活体 检测系统， 其特 征在于， 包括： 采集提取模块， 用于采集待检测人输入的音视频数据， 提取所述音视频数据中待检测 的语音文本以及依次排列而组成视频序列的2D图像帧； 获取人脸检测框模块， 用于基于所述2D图像帧得到所述待检测人的人脸检测框； 获取人脸关键点坐标模块， 用于基于所述人脸检测框从所述2D图像帧上截取所述待检 测人的人脸区域图像， 并将所述人脸区域图像输入预先训练好的人脸关键点定位模型进 行 人脸关键点定位， 得到人脸关键点 坐标； 获取张嘴程度比率模块， 用于基于所述人脸关键点坐标提取所述待检测人的多个嘴巴 检测点， 根据多个所述嘴巴检测点计算得到所述待检测人的张嘴程度比率； 获取口型动作模块， 用于所述视频序列根据其中依次排列的所述2D图像帧的所述张嘴 程度比率， 形成张嘴程度比率序列， 将所述张嘴程度比率序列输入预先训练好的口型动作 分类模型， 得到所述视频序列包 含的口型动作； 核对与结果输出模块， 用于核对所述语音文本与所述口型动作是否一致， 输出人脸活 体检测结果。 9.一种计算机设备， 其特 征在于， 所述计算机设备包括至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器上存储有可被所述至少一个处理器执行的计算机程序， 所述计算机程序被 所述至少一个处 理器执行时， 可实现如权利要求1 ‑7任一项所述的人脸活体 检测方法。 10.一种非易失性计算机可读存储介质， 其特征在于， 所述非易失性计算机可读存储介权　利　要　求　书 2/3 页 3 CN 115546874 A 3