(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210673629.7 (22)申请日 2022.06.13 (71)申请人 常州大学 地址 213164 江苏省常州市武进区滆湖中 路21号 (72)发明人 梁久祯　张城瑜　 (74)专利代理 机构 常州市英 诺创信专利代理事 务所(普通 合伙) 32258 专利代理师 张秋月 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06T 7/73(2017.01) G06T 3/60(2006.01) G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种结合关键节点和增强数据引导的人体 行为识别方法 (57)摘要 本发明涉及人体行为识别技术领域， 尤其涉 及一种结合关键节点和增强数据引导的人体行 为识别方法， 包括： 通过增强算法和计算关键节 点算法分别对原始数据进行处理； 将增强后的关 节序列数据输入教师ST ‑GCN模型， 训练完成得到 固定网络参数的教师模型的输出特征； 根据关键 节点骨架序列值得到学生模型的输出特征； 以 Pt*(s)与 的均方损失作为学生模型的额外 监督； 并以 与标签之间的交叉熵损失作为 学生模型的主要监督； 根据均方损失和交叉熵损 失计算最终损失。 本发明针对现有的基于GCN的 方法是通过增加模型参数来提高性能， 这使 得模 型在训练的时候需要大量的数据， 这也意味着在 小样本学习任务中表现不佳。 权利要求书2页 说明书5页 附图3页 CN 115035600 A 2022.09.09 CN 115035600 A 1.一种结合关键节点和增强数据引 导的人体行为识别方法， 其特征在于， 包括以下步 骤： S1、 采集人体骨架序列原始数据， 通过增强算法和计算关键节点算法分别对原始数据 进行处理； S2、 将增强后的关节序列数据输入教师ST ‑GCN模型， 训练完成得到固定神经元参数的 教师模型的输出 特征Pt*(s)； S3、 根据关键节点骨架序列值得到学生ST ‑GCN模型的输出特征 以Pt*(s)与 的均方损失作为学生ST ‑GCN模型的额外监督； 并以 与标签之间的交叉熵损失作为学 生ST‑GCN模型的主 要监督； S4、 根据均方损失和交叉熵损失计算 最终损失。 2.根据权利要求1所述的结合关键节点和增强数据引导的人体行为识别方法， 其特征 在于： 所述增强算法包括： 对原始数据进行坐标变换、 坐标平移， 其中， 坐标变换包括： 对骨 架序列原 始数据进行旋转和缩放的坐标变换， 坐标变换的骨架关节坐标如下： 其中， M是变换矩阵， 为骨架序列原 始数据； 坐标平移后的骨架关节点 坐标公式为： 其中， dx,dy,dz是关节点 三维坐标的平 移距离。 3.根据权利要求1所述的结合关键节点和增强数据引导的人体行为识别方法， 其特征 在于， 所述计算关键节点的算法包括： 通过某关节点的相邻帧的距离来确定关键关节和关键帧， 在空间维度上， 在保留大于 阈值的距离的前提下， 通过将相邻帧中关节点的距离相加得到相邻帧之间的总距离 。 4.根据权利要求3所述的结合关键节点和增强数据引导的人体行为识别方法， 其特征 在于： 所述相邻帧的距离的计算公式如下： 其中， 设 为第t帧的第i个节点的坐标， 为第i个节点在第t帧与t+1帧之间的 运动距离 。 5.根据权利要求4所述的结合关键节点和增强数据引导的人体行为识别方法， 其特征 在于： 按照差分强度的顺序选取所述关键帧， 设 为相邻帧之间的总距离， 得 到最大帧间差强度集 合， 公式为： C＝max([c1,2,c2,3,…,cT‑1,T],N),N＜ T         (9) 其中， N是集 合C的元素个数； 找到与元素ct,t+1∈C对应的帧序号 作为关键帧序列， 在时间维度上得到所有帧之间每 个关节的总距离， 并根据节点的运动距离 选择关键关节。权　利　要　求　书 1/2 页 2 CN 115035600 A 26.根据权利要求5所述的结合关键节点和增强数据引导的人体行为识别方法， 其特征 在于： 按照差分强度的顺序选取所述关键关节， 在时间维度上， 设 为每帧第i个关 节的总运动距离， 结合关键帧和关键 关节， 得到骨架时空图的关键节点， 关键节点计算 公式 为： 其中， 为骨架序列原始数据， η是距离阈值， 如果运动 距离ci＞η， 则其对应的第i个关 节将被选择为关键关节。 7.根据权利要求1所述的结合关键节点和增强数据引导的人体行为识别方法， 其特征 在于： 所述教师ST ‑GCN模型的公式如下： 其中y表示原有的标签， σ 表示分类器， Pt表示正在训练的教师模型， Pt*表示训练完成并 固定网络参数的教师模型， H(p,q)表示p与q的交叉熵损失， 表示增强骨架序列。 8.根据权利要求1所述的结合关键节点和增强数据引导的人体行为识别方法， 其特征 在于： 所述均方损失的公式为： 其中， Pt*(s)为已固定网络参数教师模型的输出 特征， 为输入关键节点骨架序列值 的学生ST ‑GCN模型的输出 特征。 9.根据权利要求1所述的结合关键节点和增强数据引导的人体行为识别方法， 其特征 在于： 所述交叉熵损失的公式为： 其中，y表示原有的标签， σ 表示分类 器。 10.根据权利要求1所述的结合关键节点和增强数据引导的人体行为识别方法， 其特征 在于： 所述 最终损失的公式为： L＝L1+λL2            (14) 其中， λ表示学生ST ‑GCN模型对教师ST ‑GCN模型的学习程度； 利用 λ作为权重因子来平 衡L1和L2两个损失。权　利　要　求　书 2/2 页 3 CN 115035600 A 3