(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210922513.2 (22)申请日 2022.08.02 (71)申请人 国电南京自动化股份有限公司 地址 210009 江苏省南京市 鼓楼区新模范 马路38号 (72)发明人 范冰　金舒　李鹏　王志心　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 邓东旭 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于人体骨骼关键点预测的异常行为 识别系统及方法 (57)摘要 本发明公开了计算机视觉技术领域的一种 基于人体骨骼关键点预测的异常行为识别系统 及方法， 包括： 获取真实人体骨骼关键点； 将真实 人体骨骼关键点输入预先构建的人体骨骼关键 点预测网络模型， 得到预测人体骨骼关键点； 根 据预测人体骨骼关键点与真实人体骨骼关键点 计算目标骨骼关键点损失值； 根据目标骨骼关键 点损失值计算异常分值后， 基于异常分值进行异 常行为判定； 分别对预测人体骨骼关键点和真实 人体骨骼关键点进行可视化绘制展示。 本发明采 用骨骼关键点预测模型对未来帧的人体骨骼关 键点进行预测， 通过对比预测骨骼关键点与真实 骨骼关键点的差异来识别异常， 考虑到了正常行 为的多样性， 避免在重建阶段对正常行为造成误 判。 权利要求书3页 说明书9页 附图1页 CN 115273239 A 2022.11.01 CN 115273239 A 1.一种基于人体骨骼关键点预测的异常行为识别方法， 其特 征是， 包括： 获取真实人体骨骼关键点； 将真实人体骨骼关键点输入预先构建的人体骨骼关键点预测网络模型， 得到预测人体 骨骼关键点； 根据预测人体骨骼关键点与真实人体骨骼关键点计算目标骨骼关键点损失值； 根据目标骨骼关键点损失值计算异常 分值后， 基于异常 分值进行异常行为判定； 分别对预测人体骨骼关键点和真实人体骨骼关键点进行 可视化绘制展示。 2.根据权利要求1所述的基于人体骨骼关键点预测的异常行为识别方法， 其特征是， 所 述人体骨骼关键点预测网络模型通过以下步骤构建： 获取正常行为的真实人体骨骼关键点； 建立人体骨骼关键点预测网络模型； 根据正常行为的真实人体骨骼关键点和损失函数确定人体骨骼关键点预测网络模型 的参数。 3.根据权利要求2所述的基于人体骨骼关键点预测的异常行为识别方法， 其特征是， 建 立人体骨骼关键点预测网络模型， 包括： 所述人体骨骼关键点预测网络模型配备内核大小 为10的低通滤波以消除输入关键点的噪声差异， 表示 为： gi,t‑T+1＝α fi,t‑T+1+(1‑α )fi,t‑T                   (1) 其中， gi， t‑T+1为经过低通滤波后t ‑T+1帧的骨骼关键点坐标， α 为低通滤波系数， fi， t‑T+l 为t‑T+1帧的骨骼关键点坐标， i为关键点索引， t代表当前帧的索引， T为预测帧的数量， fi， t‑T为t‑T帧的骨骼关键点 坐标； 所述低通滤波后t ‑T+1帧的骨骼关键点坐标接入GRU单元层， 每层具有T个GRU单元， 在 每个时间步长， GRU单 元从前一个GRU接收信息， 每 个GRU单元的输出通过以下 方式计算： 其中， 为t帧的GRU单元的输出， 为t帧的GRU单元的输入， 为t‑1帧的GRU单元输 出； 所述GRU单元层输出经过编码模块后， 得到长度为T的向量qi， 将该向量重新映射成K个 子向量， K＝T*2， 接着采用cosin相似性和softmax来计算向量与记忆模块中存储的信息的 cosin相似度， 用公式表示 为： 其中， wk， m， i为向量qk,i和向量pi m的匹配相似性权重， pi m为记忆模块中第m个存储 向量， qk,i为当前时刻输入的子向量， pi m′为记忆模块中每 个特征向量， m,为每 个特征向量的索引； 所述人体骨骼关键点预测网络模型中的记忆模块按照所述向量qk,i和向量pi m的匹配相 似性权重分配到当前向量中： 权　利　要　求　书 1/3 页 2 CN 115273239 A 2其中， 为加权后的特征子向量， 为当前向量对应存储向量中的匹配相似性权 重； 每一个子向量qk,i都通过上述方式与每 个记忆模块进行 结合， 将加权后的特征向量 与 记忆模块中 的特征向量qi进行横向拼接并作为解码模块的输入， 通过解码模块获得在特征 空间中所预测的骨骼关键点坐标， 将解码模块的输出作为全连接层的输入， 用于将特征映 射到2D图像坐标； 对于每一个向量在记 忆模块中的权 重， 用公式表示 为： 其中， zk， m， i为向量qk,i在记忆模 块中的权重， pm为记忆模 块中的每个 特征向量， qk′， i为当 前骨骼关键点片段的子向量， k ′为每个子向量的索引； 对权重进行归一 化: 其中， z′k， m， i为归一化后的权 重， zk′， m， i为记忆模块中每 个子向量的权 重； 其中k′∈Um， Um为每个向量的序号， 则更新后的记 忆模块表示 为： 4.根据权利要求3所述的基于人体骨骼关键点预测的异常行为识别方法， 其特征是， 根 据正常行为的真实人体骨骼关键点和损失函数确定人体骨骼关键点预测网络模型的参数， 包括： 给定一组归一 化的关键点、 中心和编码模块输出的子向量， 均方误差损失函数为： 其中， Lp为均方误差损失函数， T是预测帧的数量， 为预测的人体骨骼关键点， 为 真实的人体骨骼关键点， 为当前目标预测的中心点， ct为当前目标真实的中心点， qk,i为 骨骼关键点映射成的每个特征子向量， pp为记忆模块中具备与向量qk,i有最大权重的特征 向量， 损失函数的第一部分 表示每个预测关键点的局部位移偏差， 损失函数 的第二部分 表示预测关键点的整体 位移偏差， 第三部分 表示骨 骼关键点映射成的每 个特征子向量与其在记 忆模块中有最大权 重的特征向量的偏差 。 5.根据权利要求4所述的基于人体骨骼关键点预测的异常行为识别方法， 其特征是， 所 述异常分值表示 为： 权　利　要　求　书 2/3 页 3 CN 115273239 A 3