(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210555206.5 (22)申请日 2022.05.19 (71)申请人 国网智能科技股份有限公司 地址 250104 山东省济南市高新孙村片区 飞跃大道以南、 26号路以东 （ICT产业 园内） 电力 智能机器人生产项目101 (72)发明人 王琦　王振利　张志　刘丕玉　 张海龙　杨月琛　刘海波　王万国　 赵文涛　刘晗　徐康　韩元凯　 徐梦雨　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 赵迎迎 (51)Int.Cl. G06V 40/20(2022.01)G06V 40/10(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01) G08B 21/02(2006.01) (54)发明名称 作业人员行为确定方法、 装置、 电子设备及 存储介质 (57)摘要 本发明实施例公开了一种作业人员行为确 定方法、 装置、 电子设备及存储介质。 该方法包 括： 采集电力施工现场中作业人员作业过程的作 业图像； 基于预先建立的人体姿态识别模型， 确 定作业图像中作业人员的人体关键点和各人体 关键点之间的关联关系； 确定与人体 关键点和关 联关系对应的作业人员的作业行为， 将作业行为 与预先设定的违规行为进行对比， 确定作业人员 是否存在违规行为。 本发明实施例的技术方案， 可以通过人体姿态识别模型确定违规行为， 无需 安全监管人员对作业图像进行查看， 减少了资源 浪费， 且提高了确定违规行为的准确性和有效 性。 权利要求书2页 说明书11页 附图4页 CN 114821806 A 2022.07.29 CN 114821806 A 1.一种作业人员行为确定方法， 其特 征在于， 包括： 采集电力施工现场中作业人员作业过程的作业图像； 基于预先建立的人体姿态识别模型， 确定所述作业图像中所述作业人员的人体关键点 和各所述人体关键点之间的关联关系； 确定与所述人体关键点和所述关联关系对应的所述作业人员的作业行为， 将所述作业 行为与预 先设定的违规行为进行对比， 确定所述作业人员是否存在违规行为。 2.根据权利要求1所述的方法， 其特征在于， 在所述确定所述作业图像中所述作业人员 的人体关键点和各 所述人体关键点之间的关联关系之前， 还 包括： 获取至少一张作业人员的作业过程的样本图像， 组成样本数据集； 预先对所述样本数据集的各样本图像中的作业人员进行 标记； 基于标记后的各所述样本 图像， 对卷积神经网络进行训练， 基于所述训练结果建立所 述人体姿态 识别模型。 3.根据权利要求2所述的方法， 其特 征在于， 所述组成样本数据集， 包括： 对获取到的至少一张所述样本图像进行变换处 理； 基于经过变换处 理后得到的各变换图像和所述样本图像， 组成所述样本数据集； 其中， 所述变换处理包括放缩处理、 调整对比度处理、 色彩抖动处理和增加噪声处理中 的至少一种。 4.根据权利要求2所述的方法， 其特征在于， 所述基于标记后的各所述样本 图像， 对卷 积神经网络进行训练， 基于所述训练结果建立所述人体姿态 识别模型， 包括： 将所述样本图像输入至所述卷积神经网络中， 输出所述卷积神经网络对所述样本图像 中的作业人员的姿态的识别结果； 将所述识别结果与 所述样本图像中的所述标记进行比对， 基于比对结果调 整所述卷积 神经网络的网络参数， 并更新所述卷积神经网络； 重复执行将所述样本图像输入至卷积神经网络中， 将得到的识别结果与所述标记比 对， 并调整 所述神经网络的网格参数的操作， 直到 当前训练过程满足预设条件时， 结束对卷 积神经网络的训练过程， 将当前的卷积神经网络确定为所述人体姿态 识别模型。 5.根据权利要求4所述的方法， 其特征在于， 所述预设条件包括重复执行的次数达到预 设次数阈值。 6.根据权利要求2所述的方法， 其特征在于， 所述获取至少一张作业人员的作业过程的 样本图像， 包括： 获取历史监控视频， 按照预设时间 间隔对所述历史监控视频进行抽帧操作； 将抽帧操作得到的各帧图像确定为所述样本图像。 7.根据权利要求1所述的方法， 其特征在于， 所述基于预先建立的人体姿态识别模型， 确定所述作业图像中所述作业人员的人体关键点和各所述人体关键点之间的关联关系， 包 括： 将所述作业图像输入至所述人体姿态识别模型中， 生成与所述作业图像对应的第 一数 量的置信度图像和第二数量的亲和场图像； 基于所述第 一数量的所述置信度图像， 确定所述作业图像中所述作业人员的人体关键 点；权　利　要　求　书 1/2 页 2 CN 114821806 A 2基于所述第二数量的所述亲和场图像， 确定各 所述人体关键点之间的关联关系。 8.根据权利要求1所述的方法， 其特征在于， 在所述采集电力施工现场中作业人员作业 过程的作业图像之后， 还 包括： 对所述作业图形进行卷积计算、 线性整流函数计算和池化操作， 并将所述作业图形更 新为操作后得到的图形。 9.根据权利要求1所述的方法， 其特征在于， 在所述将所述作业行为与 预先设定的违规 行为进行对比， 确定所述作业人员是否存在违规行为之后， 还 包括： 当确定出所述作业人员存在违规行为 时， 生成包含有所述违规行为的警告信 息发送至 安全人员终端以进行提 示。 10.根据权利要求1所述的方法， 其特征在于， 所述确定与所述人体关键点和所述关联 关系对应的所述作业人员的作业行为， 包括： 确定所述作业图像中对应的所述电力施工现场的作业背景信 息， 基于所述作业背景信 息、 所述人体关键点和所述关联关系， 确定所述作业人员的所述作业行为。 11.根据权利要求10所述的方法， 其特征在于， 所述基于所述作业背景信息、 所述人体 关键点和所述关联关系， 确定所述作业人员的所述作业行为， 包括： 确定所述作业背景信息中是否包括作业关联信息； 其中， 所述作业关联信息包括设备 信息和/或作业标识信息； 如果包括， 则基于所述作业关联信息和所述关键点和所述关联关系， 确定所述作业人 员的所述作业行为。 12.根据权利要求1 1所述的方法， 其特 征在于， 还 包括： 如果不包括， 则基于所述人体关键点和所述关联关系， 确定所述作业人员的所述作业 行为。 13.一种作业人员行为确定装置， 其特 征在于， 包括： 采集作业图像模块， 用于采集电力施工现场中作业人员作业过程的作业图像； 确定人体关键点模块， 用于基于预先建立的人体姿态识别模型， 确定所述作业图像中 所述作业人员的人体关键点和各 所述人体关键点之间的关联关系； 确定作业行为模块， 用于确定与 所述人体关键点和所述关联关系 对应的所述作业人员 的作业行为， 将所述作业行为与预先设定的违规行为进行对比， 确定所述作业人员是否存 在违规行为。 14.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储器， 用于存 储一个或多个程序； 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1 ‑12中任一所述的作业人员行为确定方法。 15.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现如权利要求1 ‑12中任一所述的作业人员行为确定方法。权　利　要　求　书 2/2 页 3 CN 114821806 A 3