(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210975109.1 (22)申请日 2022.08.15 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市杭州经济开发 区白杨街道 2号大街1 158号 申请人 北京中电华大电子设计有限责任公 司 (72)发明人 李建军　叶茵　陈威特　李胜炎　 陈挺　 (51)Int.Cl. G06V 40/12(2022.01) G06V 10/30(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于知识蒸馏网络的M CU指纹识别方法 (57)摘要 本发明提出一种基于知识蒸馏网络的MCU指 纹识别方法。 包括1)批量图像输入和预处理； 2) 利用CNN卷积神经网络进行特征提取； 3)利用三 元组损失函数对提取到的指纹特征图进行无监 督训练， 并比较高维特征图之间的余弦相似度， 从而得出同类指纹及异类指纹之间的相似程度 并用于评估； 4)使用量化感知策略， 在量化的过 程中， 对网络进行训练， 从而减小模型尺寸大小， 减少模型内存占用， 加快模型推理速度， 降低功 耗； 5)利用知 识蒸馏技术将复杂模型中的知识 迁 移到简单模型中； 6)执行测试， 对训练好的学生 网络进行图像相似度评估。 权利要求书2页 说明书3页 附图1页 CN 115376164 A 2022.11.22 CN 115376164 A 1.一种基于知识蒸馏网络的M CU指纹识别方法， 其特 征在于， 步骤 包括： (1)批量图像输入和预处理： 使用改进的U ‑Net网络对批量的指纹图像进行降噪和修复 的数据增强处理， 然后进 行裁剪和归一化处理， 最后将预 处理后的图像输入预 处理CNN卷积 网络进行网络训练以便 于后续对指纹图像提取 特征； (2)利用CNN卷积神经网络进行特征提取： 将预处理后的训练图像输入一个权重共享的 编码器网络， 得到 批量图像的高维特 征图； (3)利用三元组损失函数对提取到的指纹特征图进行无监督训练， 并比较高维特征图 之间的余弦相似度， 从而得 出同类指纹及异类指纹之间的相似程度并用于 评估； (4)使用量化感知策略， 在量化的过程中， 对网络进行训练， 从而减小模型尺寸大小， 减 少模型内存占用， 加快模型推理速度， 降低功耗， 让网络参数能更好 地适应量化带来的信息损失； (5)利用知识蒸馏技术将复杂 模型中的知识迁移到简单模型中， 并建立了教师 ‑学生网 络， 使学生网络模型能尽可能逼近或超过教师网络模型， 从而用更少的复杂度来获得类似 的预测效果， 实现复杂模型教师网络向简单模型 学生网络的知识迁移； (6)执行测试， 对训练好的学生网络进行图像相似度评估。 2.根据权利要求1所述的基于知识蒸馏网络的MCU指纹识别方法， 其特征在于， 所述步 骤1是指。 (1)确定指纹数据集并进行图像裁 剪； (2)对数据集进行数据增强， 在高质量数据集上增加噪声以创建噪声数据集， 原始图像 作为标签， 使用改进的U ‑Net网络对噪声数据集进行回归训练， 在U ‑Net原始网络结构的输 入和输出部 分分别加上一条编码路径和解码路径， 对输入进 行3次平均池化， 其分别对应一 个卷积层， 实现多尺度输入， 同时对各个层的输出也进 行相同操作实现多尺度输出， 然后将 具有噪声、 畸变和干净、 真实的指纹图像对网络进 行端到端训练， 将训练好的模 型用于指纹 图像的降噪和修复； (3)对降噪和修复好的指纹图像进行图像归一化处理， 将所有图像转换成具有给定均 值和方差的标准图像， 以减少不同指纹图像之间灰度值的差异； (4)对图像进行Gabor滤波处理和骨架提取， 提取目标在图像上的中心像素轮廓， 以目 标中心为 准， 对目标进行细化以及 细节点提取， 用于下一 步网络的训练。 3.根据权利要求1所述的基于知识蒸馏网络的MCU指纹识别方法， 其特征在于， 所述步 骤2中得到特 征图的步骤具体是： (1)可以是任意通用的主干网络进行批量图像训练， 这里采用在人脸数据集上预训练 的MobileFaceNets作为主干网络训练， 该模型在MobileNets网络上进行了改进， 使用少于 一百万个参数， 可用于在移动和嵌入式设备 上实现高精度； (2)将MobileFaceNets模型的最后一层输出作为要提取的批量图像 的特征图， 其维度 为512， 并表示 为 其中c， h， w， 分别表示特 征图的通道数、 高、 宽 。 4.根据权利要求1所述的基于知识蒸馏网络的MCU指纹识别方法， 其特征在于， 所述步 骤3中训练的步骤具体是： (1)损失函数结合分类和回归， 在三元组损失函的基础加上交叉熵损 失以获得联合损权　利　要　求　书 1/2 页 2 CN 115376164 A 2失来对网络进行训练， 联合损失函数为Loss＝alph a*Triplet_loss+(1 ‑alpha)*CE_loss， 其中Triplet_l oss为三元组损失， C E_loss是交叉熵损失， alpha＝0.5； (2)在训练过程中， 分别采用回归和分类两种方法对测试集进行验证评估。 5.根据权利要求1所述的基于知识蒸馏网络的MCU指纹识别方法， 其特征在于， 所述步 骤4中的量 化感知的步骤具体是： (1)融合卷积层和批归一 化层； (2)卷积运算前先对wei ght做了一遍量化， 将权重与输入先量化成8bit， 再进行卷积操 作， 将bias也量化为32bit， 与其进行相加， 并用32bit来存储中间结果， 然后 又再反量化成 8bit。 6.根据权利要求1所述的基于知识蒸馏网络的MCU指纹识别方法， 其特征在于， 所述步 骤5中的具体步骤是: (1)采用训练好的MobileFaceNets作为教师网络， 然后将全连接层输出的512维向量用 于学生网络的拟合。 (2)学生网络是可部署芯片的轻量型模型， 利用知识蒸馏技术训练学生网络时采用联 合损失函数， 在原有MS E回归损失函数基础上， 加上三元组损失函数进一步指导学生网络训 练， 同时分配MSE损失函数和三元组损失函数的权重系数； 联合损失函数为Loss＝alpha* Triplet_loss+(1 ‑alpha)*MSE_loss， 其 中Triplet_loss为三元组损失， MSE_loss是MSE损 失， alpha＝0.5。 使用联合损失函数进 行拟合， 以期 望下分支网络能够学习到上分支网络同 样的特征。 7.根据权利要求1所述的基于知识蒸馏网络的MCU指纹识别方法， 其特征在于， 所述步 骤6中图像相似度评估方法的步骤具体是： (1)对所有训练集图像提取特征， 将训练集的各个指纹的特征图取平均， 并将得到的平 均向量作为 参考特征向量存 储； (2)对输入的测试指纹图像进行 特征提取； (3)将测试集中提取到的特征图与所有存储的标准特征向量进行余弦相似度比对， 提 取相似度结果 最高的指纹类别作为预测类别。权　利　要　求　书 2/2 页 3 CN 115376164 A 3