(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211293367.8 (22)申请日 2022.10.21 (71)申请人 中国矿业大 学 地址 221116 江苏省徐州市铜山区大 学路 一号 (72)发明人 潘在宇　左慧园　韩淑雨　王军　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 朱沉雁 (51)Int.Cl. G06V 40/14(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/26(2022.01) (54)发明名称 一种基于特征解耦网络的静脉识别方法 (57)摘要 本发明公开了一种基于特征解耦网络的静 脉识别方法， 设计高鲁棒性静脉图像分割模型， 获取高质量的静脉形状特征二值 分割图， 构建基 于多尺度注意力残差模块的静脉形状纹理特征 解耦网络， 实现静脉图像纹理和形状特征的自适 应解耦， 提出权值引导的高判别深度特征学习模 块， 增强了静脉深度特征表示能力。 本发明减少 了纹理信息中光照信息对于静脉深度特征表示 能力的影 响， 增强了静脉纹理特征和形状特征的 融合效果， 提高了静脉识别方法的性能。 权利要求书3页 说明书10页 附图3页 CN 115457611 A 2022.12.09 CN 115457611 A 1.一种基于特 征解耦网络的静脉识别方法， 其特 征在于， 包括以下步骤： 步骤1、 采集A个志愿者的右手手背静脉 图像， 10＜A＜1000， 每个志愿者采集B张图像， 10＜B＜1000， 共采集N张手背静脉图像， N＝AB， 100＜N＜100000， 通过归一化处理， 得到像 素大小为h×w的N张手背静脉图像， 构成训练样本集， 记为 I， 转入步骤2； 步骤2、 构建高鲁棒性静脉图像分割模型， 获取静脉训练样本形状特征的二值标签信 息， 转入步骤3； 步骤3、 构建静脉形状编码器和静脉形状生成器， 利用静脉形状特征二值标签作为静脉 形状生成器的监督信息， 使得静脉形状编码器能够提取静脉训练样本的形状特征， 转入步 骤4； 步骤4、 构建静脉纹理编码器和图像重建生成器， 利用输入静脉图像作为图像重建生成 器的监督信息， 使得静脉纹理编码器能够提取静脉训练样本的纹理特征； 完成静脉图像形 状和纹理特征的解耦， 转入步骤5； 步骤5、 构建权值引导的静脉深度特征学习模块， 对解耦后的纹理特征和形状特征进行 权值融合， 获取用于静脉识别的高判别静脉深度特 征， 转入步骤6； 步骤6、 利用静脉训练样本集训练静脉形状编码器、 静脉纹理编码器、 静脉形状生成器、 图像重建生成器和静脉深度特 征学习模块， 转入步骤7； 步骤7、 采集P个志愿者的右手手背静脉 图像， 10＜P＜1000， 每个志愿者采集Q张图像， 10＜Q＜1000， 共采集M张手背静脉图像， M＝PQ， 100＜M＜100000， 通过归一化处理， 得到像 素大小为h×w的M张手背静脉图像， 构成测试样本集， 转入步骤8； 步骤8、 将测试样本集中的静脉图像输入到训练好的静脉纹理编码器、 静脉形状编码器 和静脉深度特 征学习模块， 实现 静脉图像的身份信息识别。 2.根据权利要求1所述的一种基于特征解耦网络的静脉识别方法， 其特征在于， 步骤2 中， 步骤2中， 构建高鲁棒 性静脉图像分割模型， 具体如下： S2.1， 初步去除输入静脉图像的噪音信息， 得到去噪后的静脉图像G(x， y)： 式中， μ为5 ×5滑动窗口的均值， σ2为5×5滑动窗口的方差， v2代表局部噪音信息方差， 其值为所有局部方差的平均值， I(x， y)为输入的静脉图像； S2.2， 利用4个方向的谷型运算子对去噪后的静脉图像G(x， y)进行静脉信息增强， 随后 选择4个增强后的静脉图像相应位置的最大像素值， 作为最 终静脉信息增强图像的灰度值， 如式(3)所示： G′(x， y)＝Max{F1(x， y)， F2(x， y)， F3(x， y)， F4(x， y)}    (3) 式中， F1(x， y)， F2(x， y)， F3(x， y)， F4(x， y)分别对应表示经过45 °、 135°、 水平方向和竖直 方向谷型运 算子增强后的静脉图像， G ′(x， y)为融合后的静脉增强图像； S2.3， 进一 步去除静脉增强图像中的噪音信息和非静脉信息， 具体操作如下： 式中， Gmean为5×5滑动窗口 的均值， G ″(x， y)为处 理后的静脉图像； S2.4， 通过式(5)判断每 个像素值的分割阈值， 具体如下：权　利　要　求　书 1/3 页 2 CN 115457611 A 2式中， T(x， y)为静脉图像中像素点(x， y)的分割阈值， Avg(x， y)为41 ×41滑动窗口的均 值， 其值为 g(x， y)为像素点(x， y)的梯度值， Rg为全局最大梯 度值， i和j为变量， 0≤i≤h， 0≤j≤h； 其中， Gra(x， y)为41 ×41滑动窗口的局部最大梯度 值， 其中系数b和系数c分别被设置为0.01和0.02； S2.5， 将G ″(x， y)中每个像素值与分割阈值T(x， y)进行比较， 若大于分割阈值则判定为 静脉信息， 若 小于阈值则判定为非静脉信息 。 3.根据权利要求2所述的一种基于特征解耦网络的静脉识别方法， 其特征在于， S2.2 中， 利用四种谷型运 算子对去噪后的静脉图像G(x， y)进行静脉信息增强， 具体如下： Fn(x， y)＝G(x， y)*Vn， n＝1， 2， 3， 4           (2) 其中， Fn(x， y)表示经过第n个谷型运算子增强后的静脉图像， Vn表示第n个谷型运算子， V1表示为45 °谷型运算子， V2表示为135 °谷型运算子， V3表示为水平方向谷型运算子， V4表示 为竖直方向谷型运 算子。 4.根据权利要求1所述的一种基于特征解耦网络的静脉识别方法， 其特征在于， 步骤3 中， 静脉形状编码器和静脉 形状生成器的网络 框架构建如下： 静脉形状编码器包含5个多尺度注意力残差模块、 5个最大池化层和 1个卷积核为8 ×8 的卷积层； 静脉形状生成器主要包含6个上采样层、 5个多尺度注意力残差模块、 1个卷积核 为3×3的卷积层和1个Sigmo id激活函数。 5.根据权利要求4所述的一种基于特征解耦网络的静脉识别方法， 其特征在于， 多尺度 注意力残差模块构建方法如下： 通过局部最大池化方法获取图像的三个尺度分支， 得到低级输入特征， 每个分支采用 相同的卷积网络对不同尺度的低级输入特征进行特征映射， 提取高级语义特征； 通过多分 支跨尺度域信息融合方法， 将不同分支之 间的低级输入特征和高级语义特征进行跨尺度连 接， 提取到三个分支的跨尺度特征之后， 通过特征级 联的方式对三个跨尺度特征进 行融合， 得到多尺度融合特征； 利用多尺度特征融合模块代替基本残差模块中的卷积层， 并加入注 意力机制， 构建多尺度注意力残差模块。 6.根据权利要求1所述的一种基于特征解耦网络的静脉识别方法， 其特征在于， 步骤3 中， 基于静脉 形状特征二值标签信息， 获取静脉训练样本的形状特 征， 具体如下： 利用静脉 形状编码器E2提取输入的静脉图像I(x， y)的形状特 征， 上述过程如下表示： ZS＝E2(I)              (11) 其中， ZS为静脉图像I(x， y)的形状特征， E2为静脉形状编码器； 随后将形状特征ZS输入 到静脉形状生成器G2中， 生成预测的静脉图像形状信息， 通过与真实静脉图像的形状标签 信息进行比较， 使得静脉形状编码器学习到静脉形状特征的表征能力， 具体过程由式(12) 和式(13)表示： I′S＝G2(ZS)                  (12) 其中， I′S为静脉形状生成器G2生成的预测静脉形状特征， IS为真实的静脉形状二值标权　利　要　求　书 2/3 页 3 CN 115457611 A 3