(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221075241 1.0 (22)申请日 2022.06.29 (71)申请人 中国地质大 学 （武汉） 地址 430000 湖北省武汉市洪山区鲁磨路 388号 (72)发明人 黄浩　魏龙生　喻学孚　赵雷　 廖宇航　 (74)专利代理 机构 武汉知产时代知识产权代理 有限公司 42 238 专利代理师 孔灿 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06V 10/44(2022.01)G06V 10/26(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于形状相似度的人体姿态估计方法 及系统 (57)摘要 本发明提供了一种基于形状相似度的人体 姿态估计方法及系统， 该方法包括： 对 图像中的 每个人体检测对象进行目标检测和粗定位； 计算 每个人体检测对象的置信度得分， 并提出基于交 并比IOU的加权函数； 对每个人体检测对象的检 测框进行归一化处理， 并通过形状相似度权重函 数调整重叠检测框的得分； 对单人最大得分检测 框中的单人图片进行裁剪， 并提取裁剪后单人图 片的特征图； 对输入的特征图进行关键点提取得 到单人关键点热图， 同时输出单个通道的人体标 签热点预测图； 从单人关键点热图中生成第一粗 糙候选关键点， 通过固定的关键点检测阈值得到 第二粗糙候选关键点， 并用人体标签热点预测图 来细化所述第二粗糙候选关键点， 以得到最终人 体姿态估计结果。 权利要求书3页 说明书11页 附图2页 CN 115171155 A 2022.10.11 CN 115171155 A 1.一种基于形状相似度的人体姿态估计方法， 其特 征在于， 包括： S100： 对图像中的每 个人体检测对象进行目标检测， 并对单 人的边界框进行粗定位； S200： 计算每个人体检测对象的置信度得分， 并提出基于交并比IOU的加权函数， 以改变 每个人体检测对象的检测框与最大得分检测框的交并比IOU 大于人为设定阈值的置信度得 分； S300： 对每个人体检测对象的检测框进行归一化处理， 并通过形状相似度权重函数调整 重叠检测框的得分， 以得到所有人体 检测对象中的单 人最大得分检测框； S400： 对所述单人最大得分检测框中的单人图片进行裁剪， 并通过CNN网络采样提取裁 剪后单人图片的特 征图； S500： 通过TransPose网络结构对输入的特征图进行关键点提取得到单人关键点热图， 同时输出 单个通道的人体标签热点预测图， 以用于判断检测的关键点是否属于主 要个体， 所述标签热点预测图用于给出关键点属于当前框中目标人体检测对象的置信度， 以预 测标签热点预测图的损失函数遵循关联嵌入提出的分组损失； S600： 从单人关键点热图中生成第一粗糙候选关键点， 采用最大池化方法作为非极大抑 制滤波器减少候选关键点的数量， 通过固定的关键点检测阈值得到第二粗糙候选关键点， 并用所述人体标签热点预测图来细化所述第二粗糙候选 关键点， 以得到最终的人体姿态估 计结果。 2.根据权利要求1所述的基于形状相似度的人体姿态估计方法， 其特征在于， 在步骤 S100中， 所述对单 人边界框的粗定位具体包括： S101： 对图片中的人体进行目标检测后， 引进柔和非极大值抑制的后处理算法， 选择所 述人体检测对象的最大 得分检测框； S102： 并将所述图像中剩余人体 检测对象的检测框作为 候选框组； S103： 依次计算所述 候选框组中的检测框与所述 最大得分检测框的交并比IOU。 3.根据权利要求1所述的基于形状相似度的人体姿态估计方法， 其特征在于， 在步骤 S200中， 所述提出基于交并比的加权函数soft ‑nms的计算表达式 式为： f(iou(M,bi))＝(1‑iou(M,bi))， 或者 f(iou(M,bi))＝exp(‑iou(M,bi)2/σ ) 式中， M代表最大得分的检测框， bi代表人体检测对象， σ 代表超参数， iou(M， bi)代表计 算bi与M的交并比， exp代表取以e为底的指数运算， f(iou(M,bi))是一个基于交并比的加权 函数， 用于改变与M交并比大于Nt的检测框的置信度得分； 并对评分函数进行了 重构， 所述评分函数si的表达式为： 式中， si是人体检测对象bi的置信度得分， Nt是根据实验人为设定的阈值。 4.根据权利要求1所述的基于形状相似度的人体姿态估计方法， 其特征在于， 在步骤 S300中， 所述对每个人体检测对象 的检测框进 行归一化处理， 并通过形状相似度权重函数调 整重叠检测框的得分， 以得到所有人体检测对象中的单人最大得分检测框的具体步骤包 括：权　利　要　求　书 1/3 页 2 CN 115171155 A 2对要比较的检测框的高度h和宽度w进行归一化使其面积为1， 以得到标准化框， 归一化 后检测框的高度h ′和宽度w′分别为： 其中： w是检测框的宽度， h是检测框的高度， w ′是归一化后的检测框宽度， h ′是归一化 后检测框的高度； 根据标准 化框的重 叠区域， 来计算形状相似度， 所述形状相似度S的计算表达式为： S＝min(w′1,w2′)*min(h1′,h2′) 基于形状相似度S的非极大值抑制， 得到优化后的评分函数S ′i为： g(S(M,bi))＝1‑S(M,bi) 式中： g函数代表使人体对象检测框和最大得分框归一化后基于交并比的置信度得分 发生更新。 5.根据权利要求1所述的基于形状相似度的人体姿态估计方法， 其特征在于， 在步骤 S500中， 所述通过TransPose网络结构对输入的特征图进行关键点提取得到单人关键点热 图， 同时输出单个通道的人体标签热点预测图， 以用于判断检测的关键点是否属于主要个 体具体包括： 在得到输入图片的特征图后， 使用Transpose网络结构提取每个检测框中的单人关键 点； 经过Transpose网络 输出单人关键点的热图。 6.根据权利要求1所述的基于形状相似度的人体姿态估计方法， 其特征在于， 在步骤 S500中， 所述标签热点预测图用于给出关键点属于 当前框中目标人体检测对象 的置信度， 以 预测标签热点预测图的损失函数遵循关联嵌入提出的分组损失， 其中： 目标人体的标注真值标签为： 其中： K代表目标人体的关键点数， t为标签热点预测图， t(x)是标记热点图在像素位置 x处的值， xk为目标人体的第k个关键点的标注真值像素位置； 分组损失Lg被定义为： 令T＝{(xk)},k＝1,L,k， T作为目标人体的关键点坐标集的标注真值， xk为目标人体的 第k个关键点的标注真值像素位置 。 7.根据权利要求1所述的基于形状相似度的人体姿态估计方法， 其特征在于， 在步骤权　利　要　求　书 2/3 页 3 CN 115171155 A 3