(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210739096.8 (22)申请日 2022.06.27 (71)申请人 禾麦科技 开发 （深圳） 有限公司 地址 518000 广东省深圳市罗湖区南湖街 道嘉北社区人民南路3012号 天安国际 大厦A1801-1808 (72)发明人 甘海洋　 (74)专利代理 机构 深圳市中科创为专利代理有 限公司 4 4384 专利代理师 游强　彭西洋 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/20(2022.01) G06T 7/73(2017.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G08B 21/22(2006.01) G08B 21/18(2006.01) (54)发明名称 一种基于深度学习的玩手机与离岗检测报 警系统及方法 (57)摘要 本发明涉及图像检测识别技术领域， 公开了 一种基于深度学习的玩手机与离岗检测报警系 统及方法， 包括监控摄像头、 图像存储服务器以 及后台管 理服务器， 监控摄像头均与图像存储服 务器数据连接， 图像存储服务器分别 与后台管理 服务器数据连接， 图像存储服务器用于检测图像 中的人体、 手机目标， 并标注他们的位置信息， 再 根据人体以及手机的位置信息来判断员工是否 在玩手机或者离岗， 在检测到员工玩手机、 离岗 的行为后， 便将结果上传到后台管理服务器， 后 台管理服务器用于记录下该行为并实时展示， 并 告警通知管 理员。 本发明自动识别员工是否在玩 手机、 是否离岗， 能够帮助管理人员实时监督员 工在上班时间的工作情况。 权利要求书2页 说明书5页 附图3页 CN 115019236 A 2022.09.06 CN 115019236 A 1.一种基于深度 学习的玩手机与离岗检测报 警系统， 其特征在于， 包括监控摄像头、 图 像存储服务器以及后台管理服务器， 所述监控摄像头分别 设置于办公区域的上方， 所述监 控摄像头用于监控办公区域内人员的行为情况， 所述监控摄像头均与所述图像存储服务器 数据连接， 所述图像存储服务器分别与所述后台管理服务器数据连接， 所述图像存储服务 器用于检测图像中的人体、 手机目标， 并标注他们的位置信息， 再根据人体以及手机的位置 信息来判断员工是否在玩手机或者离岗， 在检测到员工玩手机、 离岗 的行为后， 便将结果上 传到所述后台管理服务器， 所述后台管理服务器用于记录下该行为并实时展示， 并告警通 知管理员， 使管理员可以通过浏览器实时监控系统运行状态和办公区域员工的行为情况。 2.一种基于深度 学习的玩手机与离岗检测报 警方法， 其特征在于， 采用如权利要求1所 述的系统进行， 包括如下步骤： 摄像头和图像算法服 务器接入同一个监控内网； 管理员启动后台管理服务器， 并登陆后台管理网站， 配置图像算法服务器的参数， 设置 监控摄像头的视频流 地址； 管理员从后台管理网站启动图像存 储服务器； 摄像头将监控画面传输给图像存储服务器后， 图像存储服务器将图像输入到目标检测 算法， 实时检测图像中的人体、 手机目标， 并标注他们的位置信息； 图像存储服务器根据 人体以及手机的位置信 息来判断员工是否在玩手机或者离岗， 如 果在某个员工的工位上没有检测到人体目标超过一个预设的时间阈值时， 那么就判定该员 工已经离岗， 如果某个员工通过目标检测算法标注的人体框内， 出现手机超过一个预设的 时间阈值时， 那么就判定该员工存在玩手机的行为； 图像存储服务器在检测到员工玩手机、 离岗的行为后， 便将结果上传到后台管理服务 器， 后台管理服 务器记录下 该行为并以网页的形式进行展示； 管理人员通过后台管理网站监控员工实时的以及过去一段时间内的工作情况。 3.根据权利要求2所述的基于深度学习的玩手机与离岗检测报 警方法， 其特征在于， 所 述的如果在某个员工的工位上没有检测到人体目标超过一个预设的时间阈值时， 那么就判 定该员工已经离岗， 包括如下步骤： 当算法检测到某一帧存在异常行为 时， 开始计时， 并对接下来的帧进行检测， 当某一帧 没有检测到异常行为时， 并不立即结束计时， 而是连续N帧都不存在异常行为时才结束计 时， 再根据异常行为持续的时间是否超过预设的时间阈值， 来判定是否为一次真实的异常 行为。 4.根据权利要求2所述的基于深度学习的玩手机与离岗检测报 警方法， 其特征在于， 所 述的目标检测算法， 检测图像中的人体、 手机目标， 并标注他们的位置信息， 包括如下步骤： 摄像头通过实时流协议(RTSP)接入到网络， 视频流处理线程直接从监控网络中读取视 频流， 经过处理后传送给Yolov5目标检测网络。 视频流处理线程由写线程和读线程构成， 写 线程负责读取监控画面并写入队列， 并通过生产者 ‑消费者的模式维持队列大小为1； 读线 程从队列中读取最 新帧， 预处 理后传送至 Yolov5目标检测网络； Yolov5目标检测网络从读线程处获得最新帧， 经过卷积神经网络提取图像特征， 预测 出该帧中的人员目标位置、 手机目标位置及 对应的置信度。 并根据置信度阈值进 行筛选， 去 除置信度较低的结果， 得到初步的预测结果；权　利　要　求　书 1/2 页 2 CN 115019236 A 2在Yolov5目标检测网络检测到手机目标后， 将手机目标截取出来， 使用Resnet50二次 分类网络， 进行第一轮筛 选， 筛选一部分识别错 误的目标； 对于经过Resnet50筛选后的手机目标， 再进行一轮筛选， 首先使用高斯平滑滤波以消 除高斯噪音， 然后再用canny边缘检测算法得到其边缘特征， 最后再使用霍夫直线检测算法 检测边缘特征中的直线数量。 如果直线的数量小于一个预设的阈值， 那么就把这些目标进 一步筛选掉。 这一步可以筛 选掉一些曲线较多、 直线较少的非手机目标； 在得到最终的人员目标和手机目标信 息后， 根据它们的相互位置信 息来进行离岗判定 和玩手机判定。 离岗判定： 如果在工位上没检测到人员目标， 则判定为离岗； 玩手机判定： 如 果手机目标的位置中心包 含在人员目标之中， 则判定为玩手机 。权　利　要　求　书 2/2 页 3 CN 115019236 A 3