(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210394659.4 (22)申请日 2022.04.15 (71)申请人 中科芯集成电路有限公司 地址 214000 江苏省无锡市滨湖区蠡园开 发区04-6地块 （滴翠路10 0号） 9幢2层 (72)发明人 王小龙　 (74)专利代理 机构 无锡派尔特知识产权代理事 务所(普通 合伙) 32340 专利代理师 杨立秋 (51)Int.Cl. G01N 21/01(2006.01) G01N 21/88(2006.01) G01N 21/95(2006.01) (54)发明名称 一种融合机器视觉和深度学习的口罩检测 方法 (57)摘要 本发明公开一种融合机器视觉和深度学习 的口罩检测方法， 属于人工智 能领域， 调节视觉 系统成像效果； 放料， 采集大量图像； 对 上表面相 机采集到的图像用现有的深度学习检测分类算 法进行训练； 对 下表面相机采集的图像取四行字 符区域建立模板， 保存相关参数信息； 对下表面 相机图片提取到的字符做传统ocr训练和深度学 习ocr训练； 放料， 上、 下表面相机分别开始 检测； 上表面相机执行口罩缺陷检测分类算法， 将口罩 分成OK/N G两类， NG口罩报警， 下表面相机 执行口 罩反面字符定位和识别算法。 本发 明的检测方法 鲁棒性好、 准确率高、 效率高， 降低了生产成本 。 权利要求书3页 说明书9页 附图8页 CN 114689512 A 2022.07.01 CN 114689512 A 1.一种融合机器视 觉和深度学习的 口罩检测方法， 其特 征在于， 包括： 步骤一、 调整皮带输送线速度， 调整光源高度亮度、 镜头视野和线扫相机参数， 使成像 清晰， 特征明显； 步骤二、 放料， 使口罩正面朝上， 反面朝下， 上、 下表面相机 同时采集图像， 分别采集口 罩正面和反面； 上表面相机先采集若干张无缺陷的口罩图像， 再采集若干张含各种缺陷的口罩图像， 采集的两组图像分别放在OK/NG文件夹中； 下表面相机采集无缺陷口罩的反面图像， 放在 ocr文件夹下； 步骤三、 对上表面相机采集的图像用深度学习检测分类算法进行训练； 对下表面相机采集的图像， 统计要检测的4行字符跳动范围的最大区域， 相对于口罩的 相对矩形坐标； 同时以正角度口罩的4行字符区域建立模板； 步骤四、 放料， 上、 下表面相机分别开始检测； 上表面相机执 行口罩缺陷检测分类算法， 将口罩分成OK/NG两类， NG口罩报警； 下表面相机执 行口罩反面字符定位和识别算法； 步骤五： 下表面相机执 行口罩反面 生产日期字符识别算法。 2.如权利要求1所述的融合机器视觉和深度 学习的口罩检测方法， 其特征在于， 所述皮 带为处于同一水平线 上的、 相同速度、 相同宽度的三段皮带线， 三段皮带线之间有两个连接 处， 每个连接处分别安装一套视 觉系统： 检测上表面的视觉系统， 安装在第 一段和第二段皮带连接处， 上表面相机在 皮带上方， 垂直向下安装， 光源安装方式为背光， 即安装在皮带 下方， 从下往上照射； 检测下表面的视觉系统， 安装在第 二段和第三段皮带连接处， 下表面相机在 皮带下方， 垂直向上安装， 光源安装方式为背光， 即安装在皮带 上方， 从上往下照射； 两套相机均是线扫相机， 线扫描方向沿着皮带线运动方向； 两套光源均是白色条形光源， 发出均匀白光， 上面的光源亮度使口罩上表面的各种缺 陷清晰可 见； 所述镜头为普通镜 头， 镜头与相机 视野及皮带线宽度相匹配。 3.如权利要求2所述的融合机器视觉和深度 学习的口罩检测方法， 其特征在于， 所述上 表面相机采集覆盖各种缺陷的口罩图像， 其中缺陷种类包括口罩包含卷膜接头、 口罩袋内 口罩个数异常、 耳 带异常、 连包、 喷码异常、 口罩膜面褶皱、 卷膜 移位； 所述下表面相机采集无缺陷口罩的反面图像， 采集口罩在 皮带线上不同位置、 角度、 光 照明暗度、 口罩在口罩袋内不同位置角度、 不同生产日期、 生产日期在口罩上不同位置状态 下的多张图像， 放在ocr文件夹下。 4.如权利要求3所述的融合机器视觉和深度 学习的口罩检测方法， 其特征在于， 对上表 面相机采集的图像用深度学习检测分类算法进行训练包括： 基于上表面相机采集的若干张无缺陷图像， 和若干张包含各种缺陷的图像， 分别存放 在OK和NG文件夹； 对采集到的图像数据样本做数据扩增， 根据口罩袋做一定的旋转和平移缩放仿射变 换、 图像亮度调整、 不均匀 光照处理， 增大样本集在各种特殊情况下 的样本， 增强模型 的鲁权　利　要　求　书 1/3 页 2 CN 114689512 A 2棒性； 根据构建的数据集， 随机划分出训练集、 验证集和测试集， 使用训练集对检测分类模型 进行训练， 使用验证集进 行检测分类模 型的性能评判， 使用测试集进 行测试， 当测试集准确 率能达到99％以上的准确率， 即通过测试。 5.如权利要求4所述的融合机器视觉和深度 学习的口罩检测方法， 其特征在于， 以正角 度口罩的4行字符区域建立模板包括： 当口罩来料存在旋转和平移缩放 时， 首先基于阈值分割， 连通域筛选， 空心区域孔洞填 充， 提取到口罩区域最小外接矩形， 再将图像做仿射变换， 使口罩变换到正常的正立口罩， 再基于相对矩形区域， 提取到 字符区域初定位区域， 再裁 剪图像； 建立存放生产日期4行字符区域的模板， 模板包含以下数据： 4行字符区域的边缘特征 及灰度信息、 模板的图像文件、 模板的宽度高度信息、 第一行字符相对模板的相对矩形区 域、 字符的个数； 由于口罩生产日期相对于口罩区域的位置不固定， 存在移动范围， 所以需要统计大量 正常口罩的生产日期4行字符区域， 统计出相对于口罩的动态矩形区域的最大范围， 以缩小 字符定位区域范围， 增加 准确率； 此口罩的动态矩形区域跟随口罩区域做旋转平移和缩放 变换， 若口罩 来料存在旋转平 移缩放倾斜时， 也能准确定位到 。 6.如权利要求5所述的融合机器视觉和深度 学习的口罩检测方法， 其特征在于， 所述上 表面相机执 行口罩缺陷检测包括： (1)先检测膜接头异常， 膜接头区域的颜色与其它区域不同， 根据颜色空间处理， 提取 到膜接头区域， 含有膜接 头区域则膜接 头异常， 发送NG， 直接返回， 否则进入下一 流程； (2)判断口罩区域最小外接矩形和凸包的面积， 若面积小于给定的阈值， 则为空袋， 若 面积大于给定的阈值， 则袋内含有多个口罩或者耳带超出口罩区域范围， 发送NG， 直接返 回， 否则进入下一个流 程判断； (3)检测耳带的个数， 根据建立的4个矩形区域， 检测4个矩形区域内耳带的个数， 若小 于4个， 则耳 带个数异常， 返回NG。 7.如权利要求6所述的融合机器视觉和深度 学习的口罩检测方法， 其特征在于， 膜接头 检测方法为： 膜接头区域的颜色不同于别的区域， 基于图像的颜色空间处理， 检测出膜接头 的位置区域， 具体实施 为： 基于彩色图像， 膜接头颜色偏黄 色， 口罩为蓝 色， 耳带打背光后显 示为黑色， 先将三通道彩色图像分解为Red、 Green、 Blue三个单通道的图像， 再将Blue和Red 作差， 得到ImageSub图像， 首先基于原图通过动态 阈值分割， 得到含膜接头部分 口罩区域， 剔除背景部分， 再基于ImageSub图像通过二值化得到黑色部分， 再取联通域分解， 取面积最 大的区域即为膜接 头区域； 口罩区域面积检测方法为： 通过动态阈值分割， 提取到包含耳带但不包含口罩袋的口 罩区域， 提取口罩最小外接矩形的面积， 用于判断耳带是否超 出口罩范围， 或者口罩个数异 常； 提取口罩最小外接凸包的面积， 并与最小外接矩形面积做比较； 口罩最小外接矩形和最 小凸包的正常面积的上限阈值和下限阈值， 需要通过采集大量OK图片和NG图片统计 分析得 到， 并经过大量图像测试 稳定性和鲁棒 性； 检测耳带个数的方法为： 首先要基于耳带在标准口罩中的区域位置， 建立4个矩形区 域， 根据前面的检测流程， 排除口罩个数异常和颜色异常后， 剩余的都是包含一个OK口罩的权　利　要　求　书 2/3 页 3 CN 114689512 A 3