(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210677527.2 (22)申请日 2022.06.15 (71)申请人 西南科技大 学 地址 621010 四川省绵阳市涪城区青龙 大 道59号 (72)发明人 周颖玥　王欣宇　李佳阳　李小霞　 杨阳　何宏森　 (74)专利代理 机构 四川省方圆智云知识产权代 理事务所(普通 合伙) 51368 专利代理师 王悦 (51)Int.Cl. G06V 40/14(2022.01) G06V 40/50(2022.01) G06V 10/82(2022.01) G06V 10/98(2022.01)G06V 10/44(2022.01) G06V 10/72(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于轻量化双线性卷积网络的手指静脉图 像识别方法 (57)摘要 本发明公开了一种基于轻量化双线性卷积 网络的手指静脉图像识别方法， 包括以下步骤： S1： 预处理公开数据集中的手指静脉图像； S2： 构 建一个轻量化的双线性卷积网络； S3： 构造损失 函数， 利用S1构造的训练集训练S2构建的卷积网 络； S4： 建立本地注册人的手指静脉特征库； S5： 提取待识别人的手指静脉特征向量； S6： 求得S5 提取的特征向量与S4中的特征向量之间的余弦 相似度， 从而判定待识别人身份。 本发明的优点 是： 解决了传统双线性网络输出的特征维度大的 缺点， 进一步减少了网络中的参数量和计算量。 提升了捕获手指静脉图像中细粒度差异的能力， 从而提升了识别精度。 减少了耗时和存储空间的 损耗。 权利要求书2页 说明书11页 附图5页 CN 115050063 A 2022.09.13 CN 115050063 A 1.一种基于轻量化双线性卷积网络的手指静脉图像识别方法， 其特征在于， 包括以下 步骤： S1： 预处理公开数据集中的手指静脉图像， 得到被分为高质量和低质量的手指静脉图 像数据集， 以及对应数据集的感兴趣区域数据集； S2： 构建一个轻量化的双线性卷积网络， 该网络的输出被分为质量识别分支和图像分 类分支， 将其命名为RQABS ‑Net(Recognition  and Quality Assessment  Bilinear   Spindle Net)； S3： 利用S1构造的手指静脉图像数据 集训练RQABS ‑Net的质量识别分支， 利用S1构造的 感兴趣区域数据集训练RQABS ‑Net的图像分类分支； 在训练过程中采用多分类交叉熵损失 函数和中心损失函数量 化网络输出和标签之间的差距； S4： 使用手指静脉图像采集装置获取实际注册人的手指静脉图像数据流， 将数据流输 入训练完备的RQABS ‑Net， 根据RQABS ‑Net质量识别分支的结果， 存储被判别 为高质量图像 的特征， 然后建立多个注 册人所组成的已注 册人特征库； S5： 使用手指静脉图像采集装置获取待识别人的手指静脉图像数据流， 将数据流输入 与S4步骤 中同样的RQABS ‑Net， 根据RQABS ‑Net质量识别分支的结果， 决定是否采用RQABS ‑ Net输出的特 征向量z， 在已注 册人特征库中进行身份匹配； S6： 使用RQABS ‑Net输出的特征向量z作为当前手指静脉 图像的特征向量， 与已注册人 特征库中的特征向量求取余弦相似度， 根据阈值决定输出匹配到的身份信息或判定待识别 人为陌生人。 2.根据权利要求1所述的一种基于轻量化双线性卷积网络的手指静脉图像识别方法， 其特征在于： S2包括以下子步骤： S21基于MobileNet ‑V2的子结构： 反转残差结构和线性瓶颈结构， 构造了前半部分的特 征图通道数c逐渐增加， 后半部分的特征图通道数c逐渐减小的纺锤形卷积网络结构， 将其 命名为SpindleNet； 其中， 反转残差结构和线性瓶颈结构依靠深度可分离卷积对网络中的 特征图进行升维和降维； S22基于SpindleNet构造成为一种轻量化的双线性结构RQABS ‑Net， 将输入的224 ×224 ×3维的图像I经过13次的反转残差结构和线性瓶颈结构 升维到14 ×14×96维， 然后再重复 6次的反转残差结构和线性 瓶颈结构降维到7 ×7×16维。 3.根据权利要求2所述的一种基于轻量化双线性卷积网络的手指静脉图像识别方法， 其特征在于： 对此时的特征图If进行双线性池化(Bilinear  Pool)， 得到协方差矩阵φ(If)， 然后从左至右、 从上到下展平φ(If)为256维， 并对其进行归一 化， 得到细粒度特 征向量z； 在特征向量z后连接 图像分类分支和图像质量识别分支， 根据公开数据集中手指静脉 图像类别的数量， 设置图像分类分支的输出节点k的值， 并设置图像质量识别分支输出节 点 为2， 用以将手指静脉图像分为高质量、 低质量图像。 4.根据权利要求1所述的一种基于轻量化双线性卷积网络的手指静脉图像识别方法， 其特征在于： S3包括以下子步骤： S31利用S1构造的图像质量数据集训练RQABS ‑Net的质量识别分支， 利用S1构造的感兴 趣区域数据集训练RQABS ‑Net的图像分类分支； 使得该网络能提取到手指静脉图像中具有 细粒度区分能力的特 征；权　利　要　求　书 1/2 页 2 CN 115050063 A 2S32利用多分类交叉熵损失(Softmax  Cross‑Entropy Loss)结合中心损失(Center   Loss)量化网络输出和标签之间的差距： Loss＝Losssoftmax+λLosscenter 式中， λ控制中心损失参与构成最终损失值的程度。 5.根据权利要求1所述的一种基于轻量化双线性卷积网络的手指静脉图像识别方法， 其特征在于： S4包括以下子步骤： S41利用可发射850nm近红外光的光源照射注册人的手指， 并通过近红外光摄像头采集 穿过手指的近红外光， 从而捕获到手指内的静脉 结构， 得到手指静脉图像视频流； S42实时提取采集到的视频流中手指静脉图像的感兴趣区域(ROI， Region  of  Interest)， 通过确定手指的上 下边界和手指第二关节的左右边界， 获取到ROI图像数据流； S43将数据流输入训练完备的RQABS ‑Net， 若RQABS ‑Net质量识别分支判定当前视频帧 为低质量， 则提示录入人改变姿势， 并继续判断下一帧图像的质量； 当识别到高质量的输入 视频帧时， 则保留当前RQABS ‑Net输出的特 征向量z作为注 册人的身份特 征向量； S44对一个注册人获取6个身份特征向量， 并将多个注册人的ID信息及对应的身份特征 向量构成注 册人特征信息库。 6.根据权利要求5所述的一种基于轻量化双线性卷积网络的手指静脉图像识别方法， 其特征在于： S5包括以下子步骤： S51利用与S41、 S42中同样的方式获取到待识别人的手指静脉图像视频流； S52将视频流输入训练完备的RQABS ‑Net， 若RQABS ‑Net质量识别分支判定当前视频帧 为低质量， 提示待识别人改变姿势， 并继续判断下一帧图像的质量； 当识别到高质量的输入 视频帧时， 则 利用当前RQABS ‑Net输出的特 征向量z作为待识别人的身份特 征向量。权　利　要　求　书 2/2 页 3 CN 115050063 A 3