(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210939966.6 (22)申请日 2022.08.05 (71)申请人 河南农业大 学 地址 450046 河南省郑州市郑东 新区龙子 湖高校园区15号 (72)发明人 孙昌霞　司海平　李飞涛　郭玉峰　 王云鹏　李艳玲　王晓平　 费尔南多.巴桑 　 (74)专利代理 机构 北京合创致信专利代理有限 公司 16127 专利代理师 刘素霞 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的行为相似性计算方法 和系统 (57)摘要 本申请提供一种基于深度学习的行为相似 性计算方法和系统。 该方法包括： 基于人体姿态 估计模型， 根据第一图像数据和第二图像数据， 分别确定标准动作和待矫正动作的肢体关键点 的坐标信息； 根据标准动作的肢体 关键点的坐标 信息和待矫正动作的肢体关键点的坐标信息， 分 别计算各肢体关键点处标准动作的肢体偏移量 和待矫正动作的肢体偏移量； 根据各肢体关键点 处标准动作的肢体偏移量和待矫正动作的肢体 偏移量， 确定各肢体关键点处待矫正动作和标准 动作之间的肢体偏移角度； 根据各肢体 关键点处 待矫正动作和标准动作之间的肢体偏移角度， 确 定待矫正动作和标准动作之间综合相似度。 权利要求书2页 说明书7页 附图2页 CN 115294652 A 2022.11.04 CN 115294652 A 1.一种基于深度学习的行为相似性计算方法， 其特 征在于， 包括： 步骤S101、 基于预先构 建的人体姿态估计模型， 根据第一图像数据和第二图像数据， 分 别确定标准动作和待矫正动作的肢体关键点的坐标信息； 其中， 所述肢体关键点根据人体 骨架可视化图像确定； 所述第一图像数据表征所述标准动作的图像， 所述第二图像数据表 征所述待矫 正动作的图像； 步骤S102、 根据所述标准动作的肢体关键点的坐标信 息和所述待矫正动作的肢体关键 点的坐标信息， 分别计算各所述肢体关键点处所述标准动作的肢体偏移 量和所述待矫正动 作的肢体偏移量； 步骤S103、 根据各所述肢体关键点处所述标准动作的肢体偏移量和所述待矫正动作的 肢体偏移量， 确定各所述肢体关键点处所述待矫正动作和所述标准动作之 间的肢体偏移角 度； 步骤S104、 根据各所述肢体关键点处所述待矫正动作和所述标准动作之间的肢体偏移 角度， 确定所述待矫 正动作和所述标准动作之间综合相似度。 2.根据权利要求1所述的基于深度学习的行为相似性计算方法， 其特征在于， 在步骤 S101中， 基于HigherHRNet模型， 分别对所述第一图像数据中的标准动作和所述第二图像数据 中待矫正动作进 行人体姿态估计， 对应确定所述标准动作和所述待矫正动作的肢体关键点 的坐标信息 。 3.根据权利要求2所述的基于深度学习的行为相似性计算方法， 其特征在于， 所述基于 HigherHRNet模型， 分别对所述第一图像数据中的标准动作和所述第二图像数据中待矫正 动作进行人体姿态估计， 对应确定所述标准动作和所述待矫正动作的肢体关键点的坐标信 息， 包括： 采用预训练的HigherHRNet模型分别从1/32分辨率开始， 使用带横向连接的双线性上 采样分别将所述第一图像数据和所述第二图像数据的特 征图分辨 率逐渐提高到1/4； 直接从1/4分辨 率开始， 通过反卷积生成更高分辨 率的特征图； 根据反卷积生成的更高分辨率的特征图， 通过多分辨率热图聚合策略分别生成所述第 一图像数据和所述第二图像数据的尺度感知的高分辨率热图， 以确定所述肢体关键点的坐 标信息。 4.根据权利要求1所述的基于深度学习的行为相似性计算方法， 其特征在于， 在步骤 S102中， 按照公式： 确定各所述肢体关键点处的肢体偏移量αim； 其中， i∈{1,2}， i＝1时表示所述标准动作， i＝2时表示待矫正动作； m表示所述肢体关 键点的编号， m为 正整数； (x,y)表示所述肢体关键点的坐标信息 。 5.根据权利要求4所述的基于深度学习的行为相似性计算方法， 其特征在于， 在步骤 S103中， 当|α1m|+|α2m|≤180°时， 按照公式：权　利　要　求　书 1/2 页 2 CN 115294652 A 2确定各所述肢体关键点处所述标准动作和所述待矫 正动作之间的肢体偏移角度； 当|α1m|+|α2m|＞180°时， γk＝360° ‑(|α1m|+|α2m|) 确定各所述肢体关键点处所述标准动作和所述待矫 正动作之间的肢体偏移角度； 其中， m、 k为正整数,k＜m， γk表示第m个所述肢体关键点对应的第k个肢体部分处所述 标准动作和所述待矫正动作之间的肢体偏移角度； α1m表示所述标准动作中第m个所述肢体 关键点处的肢体偏移量； α2m表示所述待矫 正动作中第m个所述肢体关键点处的肢体偏移量。 6.根据权利要求5所述的基于深度学习的行为相似性计算方法， 其特征在于， 在步骤 S104中， 按照公式： 确定所述标准动作和所述待矫 正动作之间综合相似度 δk； 其中, δk表示第m个所述肢体关键点应的第k个肢体部分处所述待矫正动作和所述标准 动作之间的肢体偏移角度， m表示所述肢体关键点的编号， m为 正整数。 7.根据权利要求1 ‑6任一所述的基于深度 学习的行为相似性计算方法， 其特征在于， 还 包括： 响应于所述待矫正动作和所述标准动作之间综合相似度小于预设相似阈值， 则对各所 述肢体关键点处所述待矫正动作和所述标准动作之间最大的肢体偏移角度对应的所述肢 体关键点进行动作修 正。 8.一种基于深度学习的行为相似性计算系统， 其特 征在于， 包括： 肢体坐标确定单元， 配置为基于预先构建的人体姿态估计模型， 根据第一图像数据和 第二图像数据， 分别确定标准动作和待矫正动作的肢体关键点的坐标信息； 其中， 所述肢体 关键点根据人体骨架可视化图像确定； 所述第一图像数据表征所述标准动作的图像， 所述 第二图像数据表征 所述待矫 正动作的图像； 偏移量计算单元， 配置为根据 所述标准动作的肢体关键点的坐标信 息和所述待矫正动 作的肢体关键点的坐标信息， 分别计算各所述肢体关键点处所述标准动作的肢体偏移量和 所述待矫 正动作的肢体偏移量； 偏移角度计算单元， 配置为根据各所述肢体关键点处所述标准动作的肢体偏移量和所 述待矫正动作的肢体偏移量， 确定各所述肢体关键点处所述待矫正动作和所述标准动作之 间的肢体偏移角度； 相似度计算单元， 配置为根据 各所述肢体关键点处所述待矫正动作和所述标准动作之 间的肢体偏移角度， 确定所述待矫 正动作和所述标准动作之间的综合相似度。权　利　要　求　书 2/2 页 3 CN 115294652 A 3