(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211386361.5 (22)申请日 2022.11.07 (71)申请人 南京工程学院 地址 211167 江苏省南京市江宁科 学园弘 景大道1号 (72)发明人 黄晓华　李阳　邵秀燕　赵群　 俞佳豪　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 专利代理师 徐激波 (51)Int.Cl. G06V 10/764(2022.01) G06T 7/00(2017.01) G06V 20/70(2022.01) G06V 10/44(2022.01)G06V 10/774(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于稀疏空间感知与元学习的芯片表 面缺陷检测方法 (57)摘要 本发明公开了一种基于稀疏空间感知与元 学习的芯片表面缺陷检测方法， 首先， 进行数据 的采集并进行图像预处理操作， 其次， 选择相似 对比学习增强网络算法来的对图片进行增强， 在 把增强变换后的图像特征输入到交叉变换的稀 疏空间对齐网络之前， 加入迁移学习模块， 使得 模型在细粒度上面更容易识别类内的特征信息， 加快模型的收敛。 最后， 采取N ‑way K‑shot任务 检测方法， 进行模型的训练和测试， 最终实现对 芯片缺陷的检测。 本发明使 得模型在学习的时候 所需要的运算量大大的减少， 达到了轻量化的效 果； 元学习的引入提升模型的泛化能力， 少量的 数据集来增强神经网络， 从而学习图片标签类别 之外的信息， 提高对于芯片表 面的缺陷检测的准 确率。 权利要求书3页 说明书7页 附图1页 CN 115527072 A 2022.12.27 CN 115527072 A 1.一种基于稀疏空间感知与元学习的芯片表面缺陷检测方法， 其特征在于， 包括： 首 先， 进行数据的采集并进 行图像预 处理操作； 其次， 选择相似对比学习增强网络算法来的对 图片进行增强， 在把增强变换后的图像特征输入到交叉变换 的稀疏空间对齐网络之前， 加 入迁移学习模块， 使得模型在细粒度上面更容易识别类内的特征信息， 加快模型的收敛； 最 后， 采取N‑way K‑shot任务检测方法， 进 行模型的训练和测试， 最终实现对芯片表 面缺陷进 行检测； 具体步骤如下： 步骤一， 数据收集与处理： 首先， 准备芯片训练数据集， 收集带有缺陷的芯片数据集， 并 将此数据集按照模型训练方式划分为训练集、 验证集以元测试集； 从芯片数据集中进行采 样， 形成许多的任务， 这些任务是不相交的， 每个集合均是 由许多个任务构成， 每个任务的 里面包含了支持集与查询集， 其中支持集是有类别的标签， 查询集是没有标签的； 在 对图像 进行相似对比学习增强的方法训练的时候使用支持集和新的查询集， 这些新的查询集是从 支持集里面 随机的抽取一些数据， 这样得到与新的查询集图像相同个数 的类别， 以上是对 数据集进行划分； 步骤二， 预训练模型： 用相似对比学习增强网络来对数据进行增强的变换， 用于无监督 学习， 同时还提高基础模型和嵌入的特征信息， 这样提高在进行迁移学习时获得模型所需 要的信息； 运用相似对比学习增强网络进行训练获得较好的图像嵌入， 这样不会因为同一 类的不同图像变换而受到影响； 因为在训练 时， 通过对输入的图片进 行随机数据增强， 来使 得网络更加学习到更多的图像信息， 且不需要学习图片的颜色或者图片中目标的位置信 息； 因此， 在图片的嵌入进行预训练的时候， 对图像进行随机的增强， 让网络模型学习困难 一点， 这样在以后的模型中拥有更好的泛化能力； 步骤三， 模型选择： 运用交叉变换的空间稀疏网络对芯片表面缺陷进行检测， 此模型专 门针对小目标进 行分类进 行设计， 与此同时达到减少了网络的参数计算以及训练 时间的目 的； 由于芯片表面存在的缺陷比较小， 网络模型通过自注意头将图片特征转化为三维的特 征空间， 这样获得更多的特征信息， 通过自注意机制运算得到注意力值的大小， 其中， 较大 的值表示获得较高的语义信息， 较小的值表示获得少量的语义信息； 为了减少 像素点遍历 计算所需要的时间与信息冗余， 增加稀疏语义对齐网络模块， 将语义相关较大 的的进行计 算， 注意力值较小的就不需要进行运算， 最后得到的语义对齐特征图与查询集里 的图进行 度量计算； 步骤四， 迁移学习： 一般在训练过程中， 训练的参数都是随机初始化的， 为了获得良好 的参数， 需要对大量的图片进 行训练， 然而小样本中特征提取的部 分参数占了很多； 为了弥 补样本数量少的缺点， 在元学习的过程中加入了迁移学习模块； 首先将之前划分好的训练 数据放到相似对比增强网络进 行训练， 得到网络训练权重； 之后在元学习训练的时候， 添加 先前训练好的模型权重， 进行迁移学习， 增强在元学习测试集中支持集中图片特征提取 的 能力； 减少模型迭代次数， 加快模型 快速收敛； 步骤五， 元学习： 在元训练阶段， 一个任务随机采取N ‑way K‑shot任务分类方法， 其中， N是随机选择的类别数量， K 是选择的每 个类别中对应的图片数量； 对于元训练集， 采用5 ‑way 1‑shot分类方法将数据放到网络进行训练； 对于元测试集， 采用5 ‑way 1‑shot分类方法将数据放到网络进行测试。 2.根据权利要求1所述的一种基于稀疏空间感知与元学习的芯片表面缺陷检测方法，权　利　要　求　书 1/3 页 2 CN 115527072 A 2其特征在于， 所述 步骤五中， 具体步骤为： 首先， 将元训练数据的支持集输入到相似对比学习增强网络中， 对输入的图像进行数 据两种不同随机的增强变换， 接着分别把增强后的图片传送进残差网络进行提取特征， 然 后使用基于多层感知器的非线性全连接层得到两个嵌入向量， 运用余弦相似度计算图像的 两个增强的图像之间的相似度， 在理想的情况下， 在同一个类的图像经过不同的增强后图 像之间的相似度会很高， 而不同类别图像之间的相似度会很低； 接着把每个批次中所有剩 余的图像都被视为不相似的类别图像， 再把每两个批次之间的位置互换， 将所有配对的损 失求和并取平均值作为损失函数； 公式如下： 其中， l(i,j)是两个增强后图片特 征之间的损失， i与j是原 始图片增强后的两张图片特 征； 在训练完相似对比学习增强网络模型后， 只需要把训练好的相似对比学习增强网络通 过迁移学习的方法得到支持集里的特征， 同样的， 对查询集也这样做迁移学习， 由于经过增 强变换的网络会得到一些正相关的样本， 每张图片经过相似对比学习增强变换得到两张图 片的特征做特征平均运算， 就得到每个类别对应的特征图， 对查询集也这样做 运算； 公式如 下： 对于支持集里面的第c个类别表示为sc,|sc|表示类别c中含有图片的数量， x表示为一 张原始的图片， Φ(x)表示 为经过迁移学习得到的特 征向量； 接着把得到的支持集图像与查询集图像从二维形式转变为三维的张量特征形式， 在N ‑ way K‑shot任务中， 使用两个独立的线性投影为支持集特征 生成键Ks和值Vs， 投影头 和值投影头 进行特征维度的变换； 类似地， 使用一个线性投影为查 询集特征 生成特征Qq， 投影头 进行特征维度的变换； 分别得到支持集和查询集 的特征空间后， 将他们在各自的维度对应点之间进行点乘， 就得到一系列的查询图像与各 支持类之间的语义关系矩阵； 如果查询集与支持集里空间对应点的语义距离相近， 即支持集里的空间点与查询集空 间对应点的注意力值较大， 那么它们很可能具有相似的局部特征， 否则它们之间的语义关 系也相对较弱； 首 先计算查询图像与各支持类上空间对应点之间的语义关系矩阵， 得到Rn： Rn中的每一行表示查询图像中每个点与支持集中所有图像的所有点的语义相 似度； 运 用了一种稀疏空间交叉注意力的算法， 用于在查询图像中找到与任务相关的点特 征； 在收集完所有与任务相关的注意点后， 运用掩码m＝[m1；…； mk]得到注意点大 的特征， 而注意处的值小时就将其删除， 此处需要提前设定好阈值， 若语义关系矩阵里面的值大于权　利　要　求　书 2/3 页 3 CN 115527072 A 3