(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211147823.8 (22)申请日 2022.09.20 (71)申请人 四川阿泰因机 器人智能装备有限公 司 地址 610000 四川省成 都市天府新区华阳 街道天府大道南段846号 (72)发明人 彭倍　刁宏健　邵继业　葛森　 (74)专利代理 机构 成都虹盛汇泉专利代理有限 公司 51268 专利代理师 周永宏 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/75(2022.01) G06V 10/774(2022.01)G06N 3/00(2006.01) (54)发明名称 一种基于粒子滤波的人体骨架序列构建方 法 (57)摘要 本发明公开了一种基于粒子滤波的人体骨 架序列构建方法， 首先输入视频， 使用姿态估计 方法处理结果初始化处理队列， 以帧为单位， 通 过粒子滤波预测每个目标关节 点概率分布， 设定 概率阈值， 采用匹配算法获得最佳匹配骨架， 进 而根据最佳匹配骨架更新处理队列， 得到人体骨 架序列。 本发 明的方法所提出的骨架序列 构建方 法能够实现多人、 运动非线性环 境下的多目标骨 架追踪， 对于人体特征非线性变化， 如视频中人 物斗殴、 手持摄像机拍摄的场合， 基于蒙特卡罗 方法的粒子滤波依然可以进行有效的追踪， 对于 需要提取同一骨架运动信息的视频行为识别网 络， 解决了在多人场景下， 姿态估计方法识别的 人体骨架序号随机， 导致无法直接使用此类网络 的问题。 权利要求书3页 说明书9页 附图4页 CN 115471915 A 2022.12.13 CN 115471915 A 1.一种基于粒子滤波的人体骨架序列构建方法， 具体步骤如下： S1、 将含有人体行为信息的视频逐帧输入姿态估计方法， 所得关节点特征归一化， 获得 有关节点特 征信息的骨架集； S2、 将第一帧所有关节特 征不全为无效值的骨架进行编号， 加入处 理队列； S3、 当前帧为t， 对处理队列中所有有效骨架序列的t ‑1帧的V个关节点逐一进行粒子滤 波， 得到关节v与所有当前帧骨架集对应关节v的匹配概 率矩阵； S4、 通过步骤S3 中粒子滤波预测概率结果矩阵计算处理队列中骨架与当前帧骨架集匹 配程度矩阵； S5、 使用匹配算法取得匹配程度矩阵的最佳匹配， 用骨架集中t帧的最佳匹配骨架更新 处理队列， 若处 理队列尚未 更新完毕， 则令t＝t+1， 重复执 行步骤S3 ‑S5； S6、 处理队列中各个已编号的骨架序列即为构建完成的人体骨架序列。 2.根据权利要求1所述的一种基于粒子滤波的人体骨架序列构建方法， 其特征在于， 所 述步骤S1中， 具体步骤如下： 所述骨架集定义为ZF,T,V,N， 其中， F＝{f|f＝x,f＝ y}为关节点特征， x， y为姿态估计 方法 输出的图像二维坐标信息， T为帧数， V为关节编号， N 为骨架序号； 归一化方法为： 其中， Zt,v,n为序号n的第t帧关节v归一化后关节点特征， Zx,t,v,n,Zy,t,v,n为序号n的第t帧 关节v归一化后x， y特征， Xt,v,n,Yt,v,n为序号n的关节v在第t帧的姿态估计结果， Vxmax,Vymax为 对应特征上最大有效值， 一般为图像宽高， Vxmin,Vymin为对应特 征上最小有效值， 一般为 零。 3.根据权利要求2所述的一种基于粒子滤波的人体骨架序列构建方法， 其特征在于， 所 述步骤S3中， 具体步骤如下： 当骨架寿命l>0， 认为此骨架有效， 对处理队列中、 骨架序列有效的每个编号的每个关 节都分别进行处 理， 具体分为四步： 1)预测阶段： 根据状态转移方程， 每个粒子得到一个预测粒子， 如果t＝1， 则根据处理 队列中加入的关节点特 征生成u个重复的粒子作为初始粒子： 其中， zt,v,m为t时刻编号为 m骨架的v关节粒子滤波隐状态， xt,v,m为预测粒子， Q为过程噪 声协方差， R为观测噪声协方差， 为初始值， Cx,1,v,m， Cy,1,v,m为处理队列中t＝1时刻编号权　利　要　求　书 1/3 页 2 CN 115471915 A 2为m骨架的v关节的x， y特 征， 通过迭代计算获得； 2)校正阶段： 计算预测粒子与观测粒子 接近程度， 得到各 预测粒子的权 重值 其中， p(z)为系统分布， q(z)为 提议分布， 取 其中， W为处理队列中骨架编号最大值， δ2为设定方差参数,t为帧数， v为关节编号， m为 处理队列骨架编号， j为骨架集中骨架序号， x1:t,x,m＝{x1,v,m,x2,v,m,…,xt,v,m}， 式中各项表 示第每一帧骨架编号为m的第v个关节点的预测粒子， 表示第t帧骨架编号为 m的第v个 关节点的预测粒子i的权重， 表示第t帧骨架编号为m 的第v个关节点的预测粒子i与 骨架集观测序号为j的对 应关节特征的接近程度， Zt,v,j为t时刻序号为j骨架的v关节粒子滤 波隐状态； 3)重采样： 将权重归一化后， 根据粒子权重对粒子进行重新筛选， 同样保留u个粒子， 选 到i粒子的概 率为： 重采样后的粒子 将作为预测阶段的粒子迭代计算下一帧预测粒子； 4)计算概率分布矩阵： 通过上述步骤中间处理结果得到关节v与所有当前帧骨架集对 应关节v的概 率分布矩阵： 其中， U为骨架集最大序号， 表示第t帧骨架编号为 m的第v个关节点的预测粒 子i是骨架集中序号 为j的对应关节点的概 率。 4.根据权利要求3所述的一种基于粒子滤波的人体骨架序列构建方法， 其特征在于， 所 述步骤S4中， 具体步骤如下： 所述匹配程度矩阵Dt根据步骤S3中计算的粒子概 率分布矩阵计算， 具体为：权　利　要　求　书 2/3 页 3 CN 115471915 A 3