(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210714617.4 (22)申请日 2022.06.22 (71)申请人 贵州思索电子有限公司 地址 550000 贵州省贵阳市南明区博爱 路9 号2层附4 号 (72)发明人 欧卫华　蒋永红　高国强　犹津　 (74)专利代理 机构 成都弘毅天承知识产权代理 有限公司 5123 0 专利代理师 谢建 (51)Int.Cl. G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于知识蒸馏的多人人体姿态估计方 法及系统 (57)摘要 本发明公开了一种基于知识蒸馏的多人人 体姿态估计方法及系统， 属于计算机视觉技术领 域中的人体姿态的估计方法， 其目的在于解决现 有知识蒸馏技术中利用堆叠Hourglass网络构造 的学生网络很难做得很小、 避免因网络模型复杂 度降低导致模 型性能下降的问题， 其学生网络模 型包括编码器、 解码器和关节点回归器， 编码器 为GhostNet卷积层， 解码器为堆叠 轻量级上采样 模块， 关节点回归器为卷积核为1 ×1的卷积； 数 据输入教师网络、 学生网络后得到对应的热图， 利用学生热图与数据标签的目标关节点热图生 成关节点偏 置， 来动态调整教师网络向学生网络 的知识转移； 将获取的实时人体姿态数据输入学 生网络， 输出实时的关节点热图， 并将关节点热 图转化为真实的关节点 坐标。 权利要求书3页 说明书9页 附图3页 CN 115187660 A 2022.10.14 CN 115187660 A 1.一种基于知识蒸馏的多人 人体姿态估计方法， 其特 征在于， 包括： 获取人体姿态样本数据以及人体姿态样本数据标签； 构建已完成预训练的教师网络模型和未训练的学生网络模型， 其中， 教师网络模型为 HRNet‑W32， 学生网络模 型包括编码器、 解码器和关节点回归器， 编码器为GhostNet卷积层， 解码器为 堆叠轻量级上采样模块， 关节点回归器为卷积核为1 ×1的卷积； 人体姿态样本数据输入预训练 的教师网络得到第 一输出关节点热图， 人体姿态样本数 据输入学生网络得到第二输出关节点热图， 利用第二输出关节点热图与人体姿态样本数据 标签的目标关节点热图生成关节点偏置， 联合关节点偏置和 第一输出关节点热图指导学生 网络的学习； 将获取的实时人体姿态数据输入学生网络， 输出实时的关节点热图， 并将关节点热图 转化为真实的关节点 坐标。 2.如权利要求1所述的一种基于知识蒸馏的多人人体姿态估计方法， 其特征在于： 人体 姿态样本数据标签通过二维高斯函数Gm(x， y)计算目标关节点热图Hm∈Rh×w， 其中二维高斯 函数Gm(x， y)为： Hm＝Gm(x， y) 其中， σ 为高斯分布的标准差， w和h为生成热图的宽和长， xm和ym分别为关节点横纵坐 标。 3.如权利要求1所述的一种基于知识蒸馏的多人人体姿态估计方法， 其特征在于： 生成 关节点偏置的公式为： 其中， P＝{p1， p2， p3， ...， pk}为超参数， k为人体关节 的个数， pi作为对应关节点i的偏 置， 表示第i关节点标签生成的热图， 表示学生网络预测第i关节点的热图； j表示 超参数系数， htar表示标签生成的热图， hstu表示学生网络 输出的热图； 为： 其中， γ表示超参系数。 4.如权利要求1所述的一种基于知识蒸馏的多人人体姿态估计方法， 其特征在于： 教师 网络采用MSE损失函数， 具体为：权　利　要　求　书 1/3 页 2 CN 115187660 A 2其中， 表示教师网络在第i关节点的热 图， 表示学生网络预测第i关节点的热 图， htea表示教师网络 输出的热图， hstu表示学生网络 输出的热图， n表示关节点数； 教师网络与学生网络的整体损失函数为： Ltotal＝MSE(htea， hstu)+λD(htar， hstu) 其中， λ为平衡两个损失权 重的超参系数， htar表示标签生成的热图。 5.一种基于知识蒸馏的多人 人体姿态估计系统， 其特 征在于， 包括： 数据获取模块， 用于获取 人体姿态样本数据以及人体姿态样本数据标签； 网络模型搭建模块， 用于构建已完成预训练的教师网络模型和未训练的学生网络模 型， 其中， 教师网络模型为HRNet ‑W32， 学生网络模型包括编码器、 解码器和关节点回归器， 编码器为Ghost Net卷积层， 解码 器为堆叠轻量级上采样模块， 关节 点回归器为卷积核为1 × 1的卷积； 网络模型训练模块， 用于人体姿态样本数据输入预训练 的教师网络得到第 一输出关节 点热图， 人体姿态样本数据输入学生网络得到第二输出关节点热图， 利用第二输出关节点 热图与人体姿态样本数据标签的目标关节点热图生成关节点偏置， 联合关节点偏置和 第一 输出关节点热图指导学生网络的学习； 热图实时模块， 用于将获取的实时人体姿态数据输入学生网络， 输出实时的关节点热 图， 并将关节点热图转 化为真实的关节点 坐标。 6.如权利要求5所述的一种基于知识蒸馏的多人人体姿态估计系统， 其特征在于： 人体 姿态样本数据标签通过二维高斯函数Gm(x， y)计算目标关节点热图Hm∈Rh×w， 其中二维高斯 函数Gm(x， y)为： Hm＝Gm(x， y) 其中， σ 为高斯分布的标准差， w和h为生成热图的宽和长， xm和ym分别为关节点横纵坐 标。 7.如权利要求5所述的一种基于知识蒸馏的多人人体姿态估计系统， 其特征在于： 生成 关节点偏置的公式为： 其中， P＝{p1， p2， p3， ...， pk}为超参数， k为人体关节 的个数， pi作为对应关节点i的偏 置， 表示第i关节点标签生成的热图， 表示学生网络预测第i关节点的热图； j表示 超参系数， htar表示标签生成的热图， hstu表示学生网络 输出的热图；权　利　要　求　书 2/3 页 3 CN 115187660 A 3