(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210776519.3 (22)申请日 2022.07.04 (65)同一申请的已公布的文献号 申请公布号 CN 114842544 A (43)申请公布日 2022.08.02 (73)专利权人 江苏布罗信息技 术有限公司 地址 226000 江苏省南 通市启东市汇龙镇 科技创业园兴龙路1号 (72)发明人 吕新远　戴兵　刘驰　 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/774(2022.01) G06V 10/74(2022.01) (56)对比文件 WO 2021184898 A1,2021.09.23CN 110288512 A,2019.09.27 WO 20202378 87 A1,2020.12.0 3 CN 113343927 A,2021.09.0 3 审查员 武茹茹 (54)发明名称 一种适用 于面瘫患者的智能化人脸识别方 法和系统 (57)摘要 本发明提出了一种适用于面瘫患者的智能 化人脸识别方法与系统。 方法包括： 获取待识别 面瘫患者面部图像的面瘫病情信息构成病变信 息编码； 将人脸数据库中人脸图像输入变分自编 码网络的编码器得到人脸信息编码； 将人脸信息 编码和病变信息编码输入重映射网络， 得到可控 病变信息编码； 利用变分自编码网络的解码器对 可控病变信息编码进行解码得到人脸图像对应 的病变人脸图像； 根据人脸数据库中每张人脸图 像对应病变人脸图像和待识别面瘫患者面部图 像的相似度对面瘫患者进行人脸识别。 本发明解 决了面瘫患者直接进行人脸识别容易出现识别 错误的问题， 提高了面瘫患者的人脸识别的合理 性和准确性， 并且使面瘫患者的人脸识别的速度 也进一步得到了提升。 权利要求书2页 说明书7页 附图1页 CN 114842544 B 2022.09.06 CN 114842544 B 1.一种适用于面瘫患 者的智能化人脸识别方法， 其特征在于， 该方法包括： 获取待识别 面瘫患者 面部图像的面瘫病情信息构成病变信息编码； 将人脸数据库中人脸图像输入变分 自编码网络的编码器得到人脸信 息编码； 将人脸信 息编码和病变信息编码输入重映射网络， 得到可控病变信息编码； 利用变分自编码网络的 解码器对可控病变信息编码进行解码得到人脸图像对应的病变人脸图像； 其中， 变分自编 码网络用于生成不同面瘫程度的人脸图像； 根据人脸数据库中每张人脸图像对应的病变人脸图像和待识别面瘫患者面部图像的 相似度对面瘫患者进行 人脸识别； 所述重映射网络的损失函数为： Y 为根据可控病变信息编码生成的病变人脸图像， Y为不同病变信息对应的真值病变人 脸图像， N为训练样本数量， 为生成的病变人脸图像和真值病变人脸图像的距离； 、 分别为第i个、 第j个训练样本的病变信息编码； 、 分别为第i个、 第j个样本 对应的重映射网络输出第k维的采样值； 分别为第i个、 第j个训练样本的均 值向量 中第k维均值， 分别为第i个、 第j个训练样本的标准差向量中第k维标准差 。 2.根据权利要求1所述的方法， 其特征在于， 所述获取待识别患 者面部图像的面瘫病情 信息构成病变信息编码包括： 将待识别面瘫患者人脸根据病变位置分为包括左眼区域、 右 眼区域、 左嘴角区域、 右嘴角区域的多个区域； 以面部纵向等分线为对称轴， 将任意一侧的 眼睛区域、 嘴角区域映射至另一侧； 在映射后的人脸图像中， 获得正常眼睛外眼角点和病变 眼睛外眼角点坐标 组成的眼睛区域的病变向量， 获得正常嘴角点和病变嘴角点坐标 组成的 嘴巴区域的病变向量； 根据眼睛和嘴巴区域的病变 向量获得包含面瘫患者的病变位置、 病 变方向和病变程度的病变信息编码。 3.根据权利要求1所述的方法， 其特征在于， 所述重映射网络的训练过程包括： 在模拟 器中为人脸图像训练样本加入病变信息获得对应的真值病变人脸图像， 并将病变信息变为 病变信息编码； 将人脸图像训练样本的人脸信息编码与病变信息编码输入重映射网络， 输 出人脸图像训练样本的可控病变信息编码； 对可控病变信息编码解码， 根据解码所得图像 与真值病变人脸图像的距离更新重映射网络的参数。 4.根据权利要求1所述的方法， 所述根据人脸数据库中每张人脸图像对应的病变人脸 图像和待识别面瘫患者面部图像的相似度对面瘫患者进行人脸识别包括： 获取与待识别面 瘫患者面部图像相似度最高的病变人脸图像， 病变人脸图像对应的人脸数据库的人脸图像 为面瘫患者的健康人脸图像， 完成对面瘫患者的人脸识别。 5.一种适用于面瘫患 者的智能化人脸识别系统， 其特征在于， 该系统包括： 病变信 息编 码获取模块， 用于获取待识别面瘫患者 面部图像的面瘫病情信息构成病变信息编码； 病变人脸图像生成模块， 用于将人脸数据库中人脸图像输入变分自编码网络的编码器 得到人脸信息编 码； 将人脸信息编码和病变信息编 码输入重映射网络， 得到可控病变编 码； 利用变分自编码网络的解码器对可控病变编码进行解码得到人脸图像对应的病变人脸图 像； 其中， 变分自编码网络用于生成不同面瘫程度的人脸图像； 人脸识别模块， 用于根据人脸数据库中每张人脸图像对应的病变人脸图像和待识别面权　利　要　求　书 1/2 页 2 CN 114842544 B 2瘫患者面部图像的相似度对面瘫患者进行 人脸识别； 所述病变人脸图像生成模块中重映射网络的损失函数为： Y 为根据可控病变信息编码生成的病变人脸图像， Y为不同病变信息对应的真值病变人 脸图像， N为训练样本数量， 为生成的病变人脸图像和真值病变人脸图像的距离； 、 分别为第i个、 第j个训练样本的病变信息编码； 、 分别为第i个、 第j个样本 对应的重映射网络输出第k维的采样值； 分别为第i个、 第j个训练样本的均 值向量 中第k维均值， 分别为第i个、 第j个训练样本的标准差向量中第k维标准差 。 6.根据权利要求5所述的系统， 其特征在于， 所述病变信 息编码获取模块还用于将待识 别面瘫患者人脸根据病变位置分为包括左眼区域、 右眼区域、 左嘴角区域、 右嘴角区域的多 个区域； 以面部纵向等分线为对称轴， 将任意一侧的眼睛区域、 嘴角区域映射至另一侧； 在 映射后的人脸图像中， 获得正常和病变眼睛外眼角点坐标组成的眼睛区域的病变 向量， 获 得正常和病变嘴角点坐标组成的嘴巴区域的病变向量； 根据眼睛和嘴巴区域的病变向量 获 得包含面瘫患者的病变位置、 病变方向和病变程度的病变信息编码。 7.根据权利要求6所述的系统， 其特征在于， 所述病变人脸图像生成模块还用于在模拟 器中为人脸图像训练样本加入病变信息获得对应的真值病变人脸图像， 并将病变信息变为 病变信息编码； 将人脸图像训练样本的人脸信息编码与病变信息编码输入重映射网络， 输 出人脸图像训练样本的可控病变信息编码； 对可控病变信息编码解码， 根据解码所得图像 与真值病变人脸图像的距离更新重映射网络的参数。 8.根据权利要求5所述的系统， 其特征在于， 所述人脸识别模块还用于获取与待识别面 瘫患者面部图像相似度最高的病变人脸图像， 病变人脸图像对应的人脸数据库的人脸图像 为面瘫患者的健康人脸图像， 完成对面瘫患者的人脸识别。权　利　要　求　书 2/2 页 3 CN 114842544 B 3