(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210642233.6 (22)申请日 2022.06.08 (71)申请人 北京云上曲率科技有限公司 地址 100000 北京市海淀区科 学院南路2号 1号楼9层913 (72)发明人 李鹏坤　陈振标　杜晓祥　 (74)专利代理 机构 北京知呱 呱知识产权代理有 限公司 1 1577 专利代理师 丁彦峰 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于计算机视觉的违规图像识别方法及系 统 (57)摘要 基于计算机视觉的违规图像识别方法和系 统， 该方法通过搜集违规图片素材， 对违规图片 的违规类别进行分类， 标注违规图片的违规区域 以形成训练数据集， 并标注线上历史数据以形成 测试数据集； 构建进行目标检测的神经网络， 得 到目标检测模 型； 利用训练数据集对构建的目标 检测模型进行初步训练； 通过目标检测模型对测 试数据集进行目标检测， 以分析误伤和漏检； 根 据误伤和漏检， 针对性的搜集违规图片扩充训练 数据集， 利用扩充后的训练数据集对目标检测模 型进行迭代更新； 利用迭代更新后的目标检测模 型对待检测图片进行目标检测， 得到待检测图片 的违规类别及违规区域。 本发明实现采用机器代 替人工进行图片审核， 统一审核标准， 提高审核 效率。 权利要求书2页 说明书7页 附图3页 CN 114882242 A 2022.08.09 CN 114882242 A 1.基于计算机 视觉的违规图像识别方法， 其特 征在于， 包括： 搜集违规图片素材， 对所述违规图片的违规类别进行分类， 标注所述违规图片的违规 区域以形成训练数据集， 并标注线上历史数据以形成测试 数据集； 构建进行目标检测的神经网络， 得到目标检测模型； 利用所述训练数据集对构建的所述目标检测模型进行初步训练； 通过所述目标检测模型对所述测试 数据集进行目标检测， 以分析误伤和漏检； 根据误伤和漏检， 针对性的搜集违规图片扩充所述训练数据集， 利用扩充后的所述训 练数据集对所述目标检测模型进行迭代更新； 获取待检测图片， 利用迭代更新后的所述目标检测模型对所述待检测图片进行目标检 测， 得到所述待检测图片的违规类别及违规区域。 2.根据权利要求1所述的基于计算机视觉的违规图像识别方法， 其特征在于， 所述违规 图片的标注信息包括违规区域在图像中位置信息和违规类别信息； 违规区域为一个矩形 框， 每个所述违规图片的违规区域 为零个或多个。 3.根据权利要求2所述的基于计算机视觉的违规图像识别方法， 其特征在于， 所述目标 检测模型的神经网络为Yolov5l， Yolov5l的backbone采用CSP网络架构， Yolov5l的Neck采 用FPN+PAN的结构； 所述目标检测模型的每个特征图单元格上的输出维度为nc+5， nc为违规类别数， 前五 个输出分别 为(objectness,tx,ty,tw,th)， objectness表示该单元格存在违规区域的概率 值， (tx,ty,tw,th)表示预测框的中心点、 宽度和高度相对于anchor的编码 值； 后nc个输出表 征的是预测框属于预设违规类别的概 率值。 4.根据权利要求3所述的基于计算机视觉的违规图像识别方法， 其特征在于， 对误伤的 所述违规图片进行正确标注， 并作为负 样本添加至所述训练数据集； 对漏检的所述违规图片， 搜集与漏检图片相似的图片素材进行标注并添加至所述训练 数据集。 5.根据权利要求4所述的基于计算机视觉的违规图像识别方法， 其特征在于， 对所述待 检测图片进行 目标检测时， 将参数objectness与每个违规类别的概率相乘， 判别指定单元 格是否属于预设违规类别， 如果大于给定阈值， 则判定属于指定的违规类别。 6.基于计算机 视觉的违规图像识别系统， 其特 征在于， 包括： 数据处理模块， 用于搜集违规图片素材， 对所述违规图片的违规类别进行分类， 标注所 述违规图片的违规区域以形成训练数据集， 并标注线上历史数据以形成测试 数据集； 模型构建模块， 用于构建进行目标检测的神经网络， 得到目标检测模型； 模型训练模块， 用于利用所述训练数据集对构建的所述目标检测模型进行初步训练； 模型测试模块， 用于通过所述目标检测模型对所述测试数据集进行目标检测， 以分析 误伤和漏检； 模型更新模块， 用于根据误伤和漏检， 针对性的搜集违规图片扩充所述训练数据集， 利 用扩充后的所述训练数据集对所述目标检测模型进行迭代更新； 违规检测模块， 用于获取待检测图片， 利用迭代更新后的所述目标检测模型对所述待 检测图片进行目标检测， 得到所述待检测图片的违规类别及违规区域。 7.根据权利要求6所述的基于计算机视觉的违规图像识别系统， 其特征在于， 所述数据权　利　要　求　书 1/2 页 2 CN 114882242 A 2处理模块中， 所述违规图片的标注信息包括违规区域在图像中位置信息和违规类别信息； 违规区域 为一个矩形框， 每 个所述违规图片的违规区域 为零个或多个。 8.根据权利要求7所述的基于计算机视觉的违规图像识别系统， 其特征在于， 所述模型 构建模块中， 目标检测模型的神经网络为Yolov5l， Yolov5l的backbone采用CSP网络架构， Yolov5l的Neck采用FPN+PAN的结构； 所述目标检测模型的每个特征图单元格上的输出维度为nc+5， nc为违规类别数， 前五 个输出分别 为(objectness,tx,ty,tw,th)， objectness表示该单元格存在违规区域的概率 值， (tx,ty,tw,th)表示预测框的中心点、 宽度和高度相对于anchor的编码 值； 后nc个输出表 征的是预测框属于预设违规类别的概 率值。 9.根据权利要求8所述的基于计算机视觉的违规图像识别系统， 其特征在于， 所述模型 更新模块中， 对误伤的所述违规图片进行正确标注， 并作为负 样本添加至所述训练数据集； 对漏检的所述违规图片， 搜集与漏检图片相似的图片素材进行标注并添加至所述训练 数据集。 10.根据权利要求9所述的基于计算机视觉的违规图像识别系统， 其特征在于， 所述违 规检测模块中， 对所述待检测图片进行 目标检测时， 将参数objectness与每个违规类别的 概率相乘， 判别指 定单元格是否属于预设违规类别， 如果大于给定阈值， 则判定属于指 定的 违规类别。权　利　要　求　书 2/2 页 3 CN 114882242 A 3