(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210908286.8 (22)申请日 2022.07.29 (71)申请人 国网山西省电力公司物资 分公司 地址 030000 山西省太原市杏 花岭区南肖 墙12号北办公楼 (72)发明人 刘志伟　宁克　刘星廷　侯滨　 王楠　王海旗　 (74)专利代理 机构 上海海贝律师事务所 313 01 专利代理师 朱震林 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01)G06V 10/56(2022.01) G06V 10/54(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于图像识别技术的物资送样异常行 为识别系统 (57)摘要 本发明涉及监控识别技术领域， 具体地说是 一种基于图像识别技术的物资送样异常行为识 别系统， 由目标检测模块、 摄像头遮挡检测模块 和摄像头监控角度调整报警模块组成， 解决了 现 有技术中检测样品送样过程中监控视频中出现 人体换样搬运、 人为非人为因素的遮挡， 以及摄 像头角度造成的画面不全的问题， 通过改进目标 检测模块算法、 摄像头遮挡检测模块和摄像头监 控角度调整报警模块三大功能模块组合而成的 基于图像识别技术构建视频异常行为监测系统， 监控检测样品送样过程中采集的视频信息， 及时 发现送样过程的异常行为， 有效保证送样的正确 性和公正性， 从而确保入网设备质量检测的科学 性， 提升电网运行的安全性。 权利要求书2页 说明书7页 附图2页 CN 115171218 A 2022.10.11 CN 115171218 A 1.一种基于 图像识别技术的物资送样异常行为识别系统， 其特征在于， 由目标检测模 块、 摄像头遮挡检测模块和摄 像头监控角度调整报警模块组成； 所述目标检测模块的具体步骤如下： S1， 特征提取： 用VGG16卷积神经网络作 为特征提取器， 对输入图片直接进行特征提取， 生成整张图片的特 征图； S2， 生成候选框： 将所述S1中提取到的特征图输入到RPN中， 生成正负样本候选框的坐 标以及对应的置信度； S3， 候选区域 映射： 将所述S2中的RPN生成的候选框通过RoI池化层映射回所述S1中生 成的特征图上并按比例缩放成相同的大小； S4， 部位检测网络： 针对遮挡问题， 增加人体部位检测网络， 对人体部位按照可见度进 行低、 中、 高三个层次的划分， 设计三个部位检测卷积神经网络， 并输出各个部位的置信度 得分， 通过交叉验证的方式估计每个部位的可见性， 综合所有部位的可见性情况输出检测 结果； S5， 改进的非极大值抑制算法NMS筛选： 基于边界框的中心距离和形状差异的改进的 NMS算法： 所述Si为预测框Pi的置信度， M为置信度最高的预测框， Nt为预先设置的置信度阈值， Pi 为除M外的其他预测框， (xM， yM)和(xp， yp)分别表示M与Pi的中心坐标， W和H分别表示同时包 含M和Pi的最小矩形框的宽度和长度； 所述摄像头遮挡检测模块采用将图像划为4个区域分别计算清晰度的方法来判断摄像 头是否被遮挡， 具体的算法步骤如下： S10， 图像预处理： 读取摄像头拍摄的一帧彩色RGB图像， 将图像缩放到目标尺寸并矫正 去畸变； S20， 色度空间转换和滤波 处理： 将RGB图像转换为灰度图像， 接着对灰度图像进行高斯 平滑滤波， 降低图片中的高频噪声； 所述灰度图像的灰度化处 理公式为： Gray＝0.2 99×R+0.587×G+0.114×B 所述R为红色， G为绿色， B为蓝色； 所述二维高斯平 滑滤波处 理公式为： 其中， x和y为高斯卷积模板扫描窗口的x和y的坐标值， σ 为高斯函数的参数， 即高斯核 标准差； S30， 计算清晰度值： 将灰度图像平均划分为4个区域， 即左上、 右上、 左下和右下， 使用 拉普拉斯 算子分别计算每 个区域的清晰度值；权　利　要　求　书 1/2 页 2 CN 115171218 A 2S40， 摄像头遮挡预警： 若所述S30中的4个区域中有任一个区域的清晰度值小于预设的 清晰度阈值， 则判断摄像头被遮挡； 若所述S30中的4个区域中所有区域的清晰度值都大于 预设的阈值， 则判断摄像头未被遮挡； 为了防止偶然性， 提高判断准确率， 当连续5秒到10秒 内摄像头采集的图像都判断未摄 像头被遮挡， 则发出摄 像头被调整的预警； S50， 清晰度阈值确定： 取不同天气和道路状况下摄像头未遮挡的视频， 使用随机抽 样的方法采集未遮挡图像 帧样本集， 对样本集中每一帧图像， 依次执行所述S10到S 30， 得到每一帧对应的灰度图像中 4个区域的清晰度值， 基于箱型图分析法计算所有清晰度值组成的序列的上下四分位数Q3 和Q1值， 并计算四分位间距I QR＝Q3‑Q1， 清晰度阈值 ＝Q1‑1.5×IQR； 所述摄像头监控角度调整报警模块采用权重系数综合考虑图像纹理结构和色彩来判 断两幅图像的相似度， 具体的算法步骤如下： S101， 提取摄像头正常监控范围图像： 由于换样一般都是在中途发生的， 因此取从始发 地开车后1到2分钟的监控视频作为正常摄像头监控角度， 并从视频中提取出图像， 将连续 帧图像进行叠加 和融合， 作为 参照图像； S102， 提取待检测图像： 对于后续的监控视频， 每隔一秒从中提取一帧作为待检测图 像； S103， 提取图像的特征向量： 对参照图像和待检测图形， 从颜色构成和纹理结构两个角 度分别提取 特征向量； S104， 计算相似性： 采用皮尔逊相关系数计算参照图像和待检测图像的颜色构成和纹 理结构两个相似度， 根据权重系 数计算两张图像的相似度， 所述皮尔逊相关系数 的计算公 式为： 其中， X为参照图像的颜色构成或者纹理结构特征向量， Y为待检测图像的颜色构成或 者纹理结构特 征向量， 为特征向量X的平均值， 为特征向量Y的平均值； 由最终的分类效果确定所述颜色和纹 理两部分的权 重为： W纹 理＝0.42， W颜 色＝0.58 所述权重的计算方法为： 给定摄像头不同角度调整的视频作为测试集， 按照颜色构 成角度计算参照图像和测试 图像的相似度， 然后根据相似度将测试图像分类为摄像头角度被调整和未调整两类， 最后 根据预测结果计算正确率； 同理， 计算按纹理角度 的正确率； 根据颜色和纹理的分类正确 率， 使用归一 化方法， 计算出权 重值； 根据权重系数计算两张图像的相似度公式为： Corr＝0.42Cor r纹 理+0.58Cor r颜 色 S105， 摄像头角度调整预警： 当所述相似度小于0.5时， 则认为摄像头角度被调整， 为了 防止偶然性， 提高判断准确率， 当连续5秒到10秒内摄像头采集的图像都与参照图像不相似 时， 则发出摄 像头被调整的预警。权　利　要　求　书 2/2 页 3 CN 115171218 A 3