(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210716607.4 (22)申请日 2022.06.23 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 戴华　吴昊哲　郑桂能　杨伟洪　 周倩　杨庚　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 杭行 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/46(2022.01) G06V 10/74(2022.01) (54)发明名称 一种基于骨骼关节点识别的人体姿态特征 提取方法 (57)摘要 本发明是一种基于骨骼关节点识别的人体 姿态特征提取方法， 包括特征提取坐标系建立和 骨骼关节 点特征提取两个阶段， 在特征提取坐标 系建立阶段， 首先根据预选取的图片构造特征提 取坐标系参照图片序列， 然后提取各参照图片中 包含骨骼关节 点数据， 构造包含 人体对象序列数 据的特征提取参照坐标系； 在骨骼关节点特征提 取阶段， 针对待特征提取的目标图片， 首先提取 该图片中人物的骨骼关节点数据， 构造该图片 对 应的人体对象数据； 然后参照特征提取坐标系， 对该目标图片中的人体对象进行对齐校正处理； 最后， 利用OKS算法， 计算目标图片中人物姿态与 特征提取坐标系中的各参照图片的人物姿态的 相似度， 生成表示目标图片中人物的人体姿态的 特征向量。 权利要求书2页 说明书5页 附图2页 CN 115171152 A 2022.10.11 CN 115171152 A 1.一种基于骨骼关节点识别的人体姿态特征提取方法， 其特征在于： 所述人体姿态特 征提取方法包括如下步骤： 步骤1： 特征提取坐标系建立阶段： 选取图片， 构造特征提取坐标系参照图片序列， 提取 图片中人物的骨骼关节点， 得到基于骨骼关节点描述的人体对 象序列， 从而获得用于计算 人体姿态特 征向量的坐标系； 步骤2： 骨骼关节点特征提取阶段： 对于待特征提取的包含目标人物 的图片， 利用人体 骨骼关节点识别模型提取图片 中目标人物的骨骼关节点， 利用OKS算法计算待特征提取 的 包含目标人物的图片中人物姿态与步骤1坐标系参照图片序列中各图片的人物姿态的相似 度， 生成人体姿态特 征向量。 2.根据权利要求1所述一种基于骨骼关节点识别的人体姿态特征提取方法， 其特征在 于： 所述步骤2骨骼关节点特 征提取阶段 具体包括如下步骤： 步骤2‑1:对于待特征提取的包含目标人物的图片p， 利用人体骨骼关节点识别模型提 取图片p中目标人物的骨骼关节点， 构造图片p中的人体对象o＝{ “n1”:(x1,y1,conf1),“n2”: (x2,y2,conf2),…,“nk”:(xk,yk,confk)}， 其中， ni表示人体中某个骨骼 关节点的唯一标签， xi和yi表示骨骼关节点 ni在图片中的横纵像素坐标， co nfi表示骨骼关节点 ni坐标的置信度； 步骤2‑2:利用OKS算法计算图片p中人物姿态与 坐标系参照图片序列R中各图片的人物 姿态的相似度， 生成表示图片p中人物的人体姿态特 征向量Vp。 3.根据权利要求2所述一种基于骨骼关节点识别的人体姿态特征提取方法， 其特征在 于： 所述步骤2‑2具体包括如下步骤： 步骤2‑2‑1： 参照步骤1中的坐标系S中每一个人体对象si的骨骼关节点数据， 对人体对 象o中的骨骼关节 点数据进 行对齐处理， 得到与坐标系S中各人体对象对应的对齐校正后的 人体对象序列O＝<o ′1,o′2， ...， o′m>； 步骤2‑2‑2:根据校正后的人体对象序列O， 利用OKS算法计算图片p中目标人物的基于 坐标系S的人体姿态特 征向量Vp。 4.根据权利要求3所述一种基于骨骼关节点识别的人体姿态特征提取方法， 其特征在 于： 步骤2 ‑2‑1中， 对人体对象o中的骨骼关节点数据进行对齐处理， 得到与坐标系S中各人 体对象对应的对齐校正后的人体对象序列O＝<o ′1,o′2， ...， o′m>， 具体步骤为： 步骤2‑2‑1‑1： 根据预设的中心点参照骨骼关节点集合 计算人体对象o的中心点 坐标CO＝(Co_x,Co_y)， Co_x和Co_y表示中心点的横纵坐标， 其计算公式如下： 其中xi和yi表示F中第i个骨骼关节点的横纵坐标， 然后按照相同的中心点计算方法， 计算坐标系S中每一个人体对象si的中心点坐标Csi ＝(Csi_x,Csi_y)； 步骤2‑2‑1‑2： 计算人体对象o与坐标系S中每一个人体对象si的中心偏移量offseti,x,权　利　要　求　书 1/2 页 2 CN 115171152 A 2offseti,y， 其计算公式如下： offseti， x＝Csi_x‑Co_x offseti， y＝Csi_y‑Co_y； 步骤2‑2‑1‑3:： 参照人体对象o相对于坐标系S中每一个 人体对象si的中心偏移量， 根据 如下计算公式生成人体对象o校正后的与si对应骨骼关节点序列oi’＝{“n1”:(x′i， 1,y′i， 1, conf1),“n2”:(x′i， 2,y′i， 2,conf2),…,“nk”:(x′i， k,y′i， k,confk)}， x′i， j＝xj‑offseti， x y′i， j＝yj‑offseti， y 其中xj和yj表示o中第j个骨骼关节点的横纵坐标， 最终形成校正后的人体对象序列O＝<o ′1,o′2， ...， o′m>。 5.根据权利要求3所述一种基于骨骼关节点识别的人体姿态特征提取方法， 其特征在 于： 所述步骤2‑2‑2具体包括如下步骤： 步骤2‑2‑2‑1： 使用OKS算法， 计算人体对象序列O中的每一个校正后人体对象o ′i与S中 对应的人体对象si的相似度simi， 该值表示图片p中目标人物的人体姿态与坐 标系参照图片 ri中人物的人体姿态的相似度， 计算公式如下： 其中： dij表示o′i中第j个骨骼关节点和si中第j个骨骼关节点间的欧氏距离； Ap表示图片p中 目标人物的人体姿态尺度因子， 其值等于能够覆盖该人体所有骨骼关节点的最小矩形框的 面积的平方根； 表示第j个骨骼点的归一化因子； confj表示p中第j个骨骼关 节点像素坐标的置信度； Z为骨骼关节点筛 选因子， Z∈[0,1]； 步骤2‑2‑2‑2： 根据上述步骤中计算得到的人体对象序列O中的每一个校正后人体对象 o′i与S中对应的人体对象si的相似度simi， 构造图片p中目标人物的基于坐标系S的人体姿 态特征向量Vp＝[sim1,sim2,…,simm]。 6.根据权利要求1所述一种基于骨骼关节点识别的人体姿态特征提取方法， 其特征在 于： 所述步骤1特征提取坐标系建立阶段 具体包括如下步骤： 步骤1‑1： 选取m张图片， 构造特征提取坐标系参照图片序列R＝<r1,r2,…,rm>， 其中每 张图片只包 含一个人， 且无遮挡 、 骨骼关节点清晰， 不同图片中人物动作具有差异性； 步骤1‑2： 提取步骤1 ‑1中特征提取坐标系参照图片序列R中各图片中人物的骨骼关节 点， 得到基于骨骼关节点描述的人体对 象序列S＝<s1,s2,…,sm>， 每一个人体对 象si包含k 个骨骼关节点N＝{n1,n2,…,nk}的像素坐标， 即有si＝{“n1”:(xi,1,yi,1,confi,1),“n2”: (xi,2,yi,2,confi,2),…,“nk”:(xi,k,yi,k,confi,k)}， 其中， nj表示人体对象si中某个骨骼关节 点的唯一标签， xi,j和yi,j表示si的骨骼关节点nj在图片中的横纵像素坐标， confi,j表示si的 骨骼关节点nj的坐标的置信度， 所述基于骨骼关节点描述的人体对象序列S即为用于计算 人体姿态特 征向量的坐标系。权　利　要　求　书 2/2 页 3 CN 115171152 A 3