(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210534034.3 (22)申请日 2022.05.17 (65)同一申请的已公布的文献号 申请公布号 CN 114639156 A (43)申请公布日 2022.06.17 (73)专利权人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 王中元　王若溪　王南溪　李登实　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 肖明洲 (51)Int.Cl. G06V 40/16(2022.01) G06K 9/62(2022.01) G06V 10/74(2022.01) (56)对比文件 CN 113902789 A,202 2.01.07 CN 113065460 A,2021.07.02CN 113706404 A,2021.1 1.26 CN 111539343 A,2020.08.14 CN 113469942 A,2021.10.01 CN 113822203 A,2021.12.21 EP 3979207 A1,202 2.04.06 US 2021390 338 A1,2021.12.16 Huiyu Wang等.Axial-De epLab: Stand- Alone Axial-A ttention for Pan optic Segmentati on. 《Computer Visi on – ECCV 2020》 .2020, Kangli Zeng等.Real istic fro ntal face reconstructi on using coupled complementarity of far-near-sighted face images. 《Pat tern Recogn ition》 .2022, Alexey Dosovitsk iy等.AN IMAGE IS WORTH 16X16 WORD S:TRANSFORM ERS FOR IMAGE RECOGNITION AT SCALE. 《arXiv》 .2021, 高涛 等.深度多尺度融合注意力残差人脸 表情识别网络. 《智能系统学报》 .202 2,第17卷 (第2期), 审查员 戴琳曼 (54)发明名称 基于轴向注意力权重分配网络的俯角人脸 识别方法及系统 (57)摘要 本发明公开了一种基于轴向注意力权重分 配网络的俯角人脸识别方法及系统， 首先利用 CNN对不同角度和分辨率的人脸图像序列进行特 征提取， 产生一组归一化特征向量； 其次利用级 联的轴向注意力权重分配模块为图像特征序列 自适应分配权重， 得到每个特征图自身的权重向 量 （横向） 和特征间的权重向量 （纵向） ， 形成轴向 权重矩阵； 最后利用轴向权重进行加权聚合， 得 到具有更强判别性的特征向量进行识别。 本发明 的轴向矩 阵权重能够更加细腻度的表示人脸序 列图像间的权重分配结果， 因此融合的特征具有 更强的判别性， 有利于更精确的俯角人脸识别。 权利要求书2页 说明书5页 附图2页 CN 114639156 B 2022.07.22 CN 114639156 B 1.一种基于轴向注意力权重分配网络的俯角人脸识别方法， 其特征在于， 包括以下步 骤： 步骤1： 将待识别的俯角人脸图像进行 特征提取； 采集n张不同角度和不同分辨率的人脸图像， 对不同角度和不同分辨率的人脸图像序 列进行特征提取， 产生一组归一化特征向量， 分别表示一段监控视频中可能出现的不同分 辨率、 不同角度的人脸图像的特 征； 其中， n为预设值； 其中， 采用CNN网络对人脸图像进行特征提取； 所述CNN网络采用ArcFace的骨干网络， 由 ResNet50组成； 图像经过特征提取之后， 经过标准化后生 成1×512维的特征向量； 这样， 提取出n张输入图像的特 征， 得到n个特征向量F1~Fn； 步骤2： 将特征提取后的俯角人脸图像输入级联轴向注意力权重分配模块中进行特征 聚合； 所述级联轴向注意力 权重分配模块， 内部使用的是一个具有非线性转移的级联轴向注 意块， 负责得到权重矩阵； 该级联轴向注意块包括一个横向注意块和纵向注意块， 横向注 意 块由两个核卷积和一个非线性转换函数组成， 卷积核通过  FC 层实现， 而非线性转换通过   Sigmoid 激活函数实现， 得到特征的自注意力权重参数并为 自身特征分配权重； 纵向注意 块由两个Conv层和一个Softmax函数构成， 生 成纵向特征间权重 关系的权重； 两种轴向的权 重相乘即为矩阵形式的注意力参数， 为多帧图像分配注意力， 得到最终的聚合向量； 步骤3： 利用聚合后的特征， 通过余弦相似度函数计算相似性， 对不同的人脸进行特征 匹配， 实现人脸识别。 2.根据权利要求1所述的基于轴向注意力权重分配网络的俯角人脸识别方法， 其特征 在于， 步骤2中所述特 征聚合过程包括以下子步骤： 步骤2.1： 将特征输入级联轴向注意力权重分配模块进行权重自适应的分配， 包括每个 特征图自身的权重向量和特征间的权重向量， 形成轴向的权重矩阵； 其中， 每个特征图自身 的权重向量记为横向权 重向量， 特 征间的权 重向量记为纵向权 重向量； 步骤2.2： 利用轴向权 重进行加权聚合， 得到最终具有更强判别性的聚合特 征向量。 3.根据权利要求2所述的基于轴向注意力权重分配网络的俯角人脸识别方法， 其特征 在于， 步骤2.1的具体实现步骤如下： 步骤2.1.1： 通过横向注意力权重分配模块提取横向注意力参数， 横向注意力权重分配 模块包含 两个FC层和一个  Sigmoid 函数， 得到每 一个特征的自注意力权重  Ai， 其中Ai的大 小与Fi一致， 代表每个特征内部的权 重分配结果： ； 其中， F为 步骤1中提取 出n张输入图像的特 征得到的n个特征向量；权　利　要　求　书 1/2 页 2 CN 114639156 B 2步骤2.1.2： 利用自注意力权重  Ai对每个特征进行自注意力融合， 得到横 向的权重分 配结果S： ； 步骤2.1.3： 通过纵向注意力权重分配模块进行纵向的权重分配， 纵向过程中分配的是 各个特征之间的权重， 纵向注 意力权重 分配模块包括两个Conv层和一个Softmax函数， 得到 n个代表不同图片特 征的特征间的权 重Wi， W代表纵向权 重分配结果： 。 4.根据权利要求3所述的基于轴向注意力权重分配网络的俯角人脸识别方法， 其特征 在于： 步骤2.2中， 利用得到的权 重分配结果对特 征进行聚合， 聚合后的特 征r表示如下： ； 符号“⊙”表示点积运算。 5.一种基于轴向注意力权重分配网络的俯角人脸识别系统， 其特征在于， 包括以下模 块： 特征提取模块， 用于将待识别的俯角人脸图像进行 特征提取； 采集n张不同角度和不同分辨率的人脸图像， 对不同角度和不同分辨率的人脸图像序 列进行特征提取， 产生一组归一化特征向量， 分别表示一段监控视频中可能出现的不同分 辨率、 不同角度的人脸图像的特 征； 其中， n为预设值； 其中， 采用CNN网络对人脸图像进行特征提取； 所述CNN网络采用ArcFace的骨干网络， 由 ResNet50组成； 图像经过特征提取模块之后， 经过标准化后生成1 ×512维的特征向量； 这样， 提取 出n张输入图像的特 征， 得到n个特征向量F1~Fn； 特征聚合模块， 用于将特征提取后的俯角人脸图像输入级联轴向注意力 权重分配模块 中进行特征聚合； 所述级联轴向注意力 权重分配模块， 内部使用的是一个具有非线性转移的级联轴向注 意块， 负责得到权重矩阵； 该级联轴向注意块包括一个横向注意块和纵向注意块， 横向注 意 块由两个核卷积和一个非线性转换函数组成， 卷积核通过  FC 层实现， 而非线性转换通过   Sigmoid 激活函数实现， 得到特征的自注意力权重参数并为 自身特征分配权重； 纵向注意 块由两个Conv层和一个Softmax函数构成， 生 成纵向特征间权重 关系的权重； 两种轴向的权 重相乘即为矩阵形式的注意力参数， 为多帧图像分配注意力， 得到最终的聚合向量； 人脸识别模块， 利用聚合后的特征， 通过余弦相似度函数计算相似性， 对不同的人脸进 行特征匹配， 实现人脸识别。权　利　要　求　书 2/2 页 3 CN 114639156 B 3