(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210962721.5 (22)申请日 2022.08.11 (71)申请人 燕山大学 地址 066004 河北省秦皇岛市海港区河北 大街438号 (72)发明人 张营　张巧　张翠华　华长春　 (74)专利代理 机构 石家庄众志华清知识产权事 务所(特殊普通 合伙) 13123 专利代理师 田秀芬 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/74(2022.01) G06T 3/00(2006.01) (54)发明名称 一种基于关键帧和非关键帧的动作评估方 法及系统 (57)摘要 本发明公开了一种基于关键帧和非关键帧 的动作评估方法及系统， 属于机器视觉领域， 方 法包括将视觉传感器获取的人体32个关节点每 一帧的三维坐标导出； 选取特征关节点； 对特征 关节点的异常三维坐标进行修正； 计算出特征关 节点间每一帧在XOY、 XOZ、 YOZ三个平面的角 度， 绘出角度变化曲线； 如果曲线由多个动作组成， 将其分割为单个动作的曲线； 将实际动作与其标 准动作的曲线在关键帧和非关键帧处进行不同 方式的对比， 计算关键帧处角度差的绝对值， 得 到最终评估结果； 系统包括数据导入模块、 特征 关节点选取模块、 数据处理模块、 角度计算及其 曲线绘制模块、 曲线处理模块和动作评估模块。 本发明准确度高， 过程简单高效， 计算过程简单 容易理解。 权利要求书3页 说明书19页 附图7页 CN 115457651 A 2022.12.09 CN 115457651 A 1.一种基于关键帧和非关键帧的动作评估方法， 其特 征在于： 包括以下步骤： 步骤1， 将视 觉传感器获取的人体32个关节点每一帧的三维坐标导出； 步骤2， 选取 特征关节点； 步骤3， 对特 征关节点的异常三维坐标进行修 正； 步骤4， 计算出 特征关节点间每一帧在XOY、 XOZ、 YOZ三个平面的角度， 绘出变化曲线； 步骤5， 如果曲线由多个动作组成， 需要将其分割为单个动作的曲线； 步骤6， 将实际动作与其标准动作的曲线进行对比， 计算角度差的绝对值， 得到最终评 估结果。 2.根据权利要求1所述的一种基于关键帧和非关键帧的动作评估方法， 其特征在于： 步 骤2中， 选取特征关节点时， 基于动作本身特点， 在其中32个骨骼关节点中选取能够表现该 动作特点及要领， 并且能够方便对该动作进行评估的关节点。 3.根据权利要求1所述的一种基于关键帧和非关键帧的动作评估方法， 其特征在于： 步 骤3中， 因为视觉传感器在获取骨骼关节点三 维坐标时难免会 出现个别坐标异常， 因此需要 对异常坐标进 行修正； 修正方法为， 如果这个异常数据两边 都是正常数据， 修正时取最靠近 其两边的正常数据的平均值； 如果有几个异常数据紧挨着出现， 对于第一个异常数据修正 时取其两边距离最近的正常数据的平均值， 第二个异常数据修正时取第一个异常数据的修 正值与后面距离最近正常数据的平均值， 第三个异常数据修正时取第二个异常数据的修正 值与后面距离最近正常数据的平均值， 接下来依次类 推， 直到修 正所有连续异常数据。 4.根据权利要求1所述的一种基于关键帧和非关键帧的动作评估方法， 其特征在于： 步 骤4中， 计算出特征关节点间每一帧在XOY、 XOZ、 YOZ三个平面形成的角度， 其中的特征关节 点间是指能够代 表某个部位相关联的特 征关节点所 形呈角度相对应的这几个特 征关节点。 5.根据权利要求1所述的一种基于关键帧和非关键帧的动作评估方法， 其特征在于： 步 骤4中， 计算出特征关节点间每一帧在XOY、 XOZ、 YOZ三个平面形成的角度， 要计算几个关节 点之间形成的角度， 就需要找到它们之间的旋转轴， 然后分别得到以旋转轴为原点的三维 坐标， 再根据其新的三维坐标计算其分别在三个平面与对应坐标轴 形成的角度， 对应坐标 轴即当在XOY平面上时， 为X轴正方向； 在XOZ平 面时， 为X轴正方向； 在YOZ平 面时， 为Y轴正方 向， 最后， 再将它们角度对应相减， 得到这几个特征关节点之间的夹角； 计算角度采用反正 切函数； 计算XOY、 XOZ、 YOZ三个平面的角度变化； 在XOY平面， 用公式 计算角度变化； 在XOZ平面， 用公式 计算角度变化； 在YOZ平面， 用公式 计算角度变化； 用 计算角度时， 要结合其(A,B)坐标具体所在的象限进行计算， 即当A>0时能够 根据 直接得到真实角度， 当A< 0时， 实际角度为 6.根据权利要求1所述的一种基于关键帧和非关键帧的动作评估方法， 其特征在于： 步权　利　要　求　书 1/3 页 2 CN 115457651 A 2骤5中， 基于动作本身特点， 对由多个动作组成的角度变化曲线进行动作分割， 将各个动作 的角度变化曲线分割开， 成为单个动作的角度变化曲线。 7.根据权利要求1所述的一种基于关键帧和非关键帧的动作评估方法， 其特征在于： 步 骤6中， 根据动作本身特点和曲线的变化特点， 能够比较准确的确定关键帧所在的位置； 将 标准动作特征关节 点投影到XOY、 XOZ、 YOZ三个平 面的角度变化曲线分别与实际动作相对应 的角度变化曲线 进行对比； 具体步骤为： 6.1， 判断标准动作的角度变化曲线中是否存在能够看作水平直线的曲线； 如果标准动作的角度变化曲线中存在能够看作 水平直线的曲线， 在实际动作角度变化 曲线中找与之特征关节点和所在平面一样的曲线， 首先判断该实际动作角度变化曲线 是否 也能够看作一条水平直线； 如果不能， 直接判断该动作不合格， 不需要 再进行接下来的所有 判断； 如果能， 直接计算与标准动作相对应的角度变化曲线在关键帧处的角度差的绝对值； 如果标准动作的角度变化曲线中不存在能够看作水平直线的曲线， 就直接进入下一 步； 6.2， 对于标准动作角度变化曲线不能看作水平直线部分； 首先， 比较实际动作角度变 化曲线非关键帧部 分的角度变化趋势， 如果其角度变化趋势大致与标准动作相对应的角度 变化曲线相似， 则就只需要对关键帧部分进行对比， 计算与标准动作的关键帧之间的角度 差的绝对值； 如果其角度变化趋势与标准动作相对应的角度变化 曲线趋势不一致， 则直接 判定为不合格动作， 就 不需要再对关键帧部分进行对比； 6.3， 计算所有角度差绝对值之和； 和的值越小则代 表动作越标准； 结合了非关键帧部分的角度变化， 首先比较非关键帧部分的角度变化趋势， 再对关键 帧部分进行对比； 当非关键帧部 分符合标准时， 完全由关键帧部 分主导结果， 如果 非关键帧 不符合标准时， 则完全由非关键帧部分决定 评估结果。 8.一种如权利要求1 ‑7任一项所述的基于关键帧和非关键帧的动作评估方法所用的系 统， 其特征在于： 包括数据导入模块、 特征关节点选取模块、 数据处理模块、 角度计算及其曲 线绘制模块、 曲线处 理模块和动作评估 模块； 所述数据导入模块， 能够将视觉传感器获取的人体32个骨骼关节点每一帧的三维坐标 导入电脑中； 所述特征关节点选取模块， 在保证动作评估准确性的基础上， 根据其动作特点从32个 骨骼关节点选取一些能够代 表该动作的关节点， 简称特 征关节点； 所述数据处理模块， 为了防止视觉传感器在采集人体骨骼关节点的三维坐标时， 出现 个别坐标 数据异常影响最终评估结果， 需要对特 征关节点异常的三维坐标进行修 正处理； 所述角度计算及其曲线绘制模块， 计算出特征关节点之间每一帧分别在XOY、 XOZ、 YOZ 三个平面形成的角度， 并绘出角度变化曲线； 所述曲线处理模块， 如果得到的角度变化曲线是一个动作 连续进行很多次的曲线或者 是多个动作连续进行 的曲线， 需要将曲线分割成单个动作的角度变化 曲线； 如果得到的曲 线就是单个动作的角度变化曲线则直接 跳过此模块； 所述动作评估模块， 在非关键帧处， 将实 际动作角度变化曲线与标准动作角度变化曲 线趋势进 行对比； 在关键帧处， 比较实际动作与标准动作的角度； 结合这两部分得到最 终评权　利　要　求　书 2/3 页 3 CN 115457651 A 3