(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210805220.6 (22)申请日 2022.07.08 (71)申请人 同济大学 地址 200092 上海市杨 浦区四平路1239号 (72)发明人 董延超　李昀　周昕　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 宣慧兰 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/62(2022.01) G06V 40/20(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01)G06T 7/80(2017.01) (54)发明名称 一种球员跟踪与持球人识别方法、 装置及存 储介质 (57)摘要 本发明涉及一种球员跟踪与持球人识别方 法、 装置及存储介质， 其中方法包括： 相机标定； 获取视频帧； 基于多目标追踪模 型和人体骨骼关 键点检测模 型进行球员检测； 基于双脚关键点标 记在场球员； 获取视频帧首帧中的球员信息； 建 立跟踪队列和卡尔曼滤波器； 建立跟踪对象位置 信息的匀速变化模型； 保存匀速变化模型、 球员 信息至跟踪队列； 获取视频帧最新一帧中的球员 信息， 作为待匹配目标； 确定代价矩阵； 基于匈牙 利算法对代 价矩阵进行匹配； 基于匹配结果更新 跟踪队列实现在场球员的跟踪； 基于球手距离与 篮球半径的比值得分确定持球人候选人； 基于比 值的平均值确定持球人。 与现有技术相比， 本发 明具有检测快速、 追 踪稳定等优点。 权利要求书2页 说明书5页 附图1页 CN 115272918 A 2022.11.01 CN 115272918 A 1.一种基于多目标追踪算法的球员跟踪与持球人识别方法， 其特征在于， 包括以下步 骤： 对相机的内参和外参进行标定， 得到相机内参参数和相机外参参数， 其中， 所述相机外 参参数基于真实坐标系和相机 视角下的球场坐标系标定得到； 获取相机拍摄的视频帧； 对视频帧基于多目标追踪模型和人体骨骼关键点检测模型进行球员检测， 得到球员 信 息， 其中， 所述球员信息包括球员ID、 球员图像特征向量、 球员检测框、 球员人体骨骼关键点 位姿估计矩阵； 确定球员人体骨骼关键点位姿估计矩阵中的双脚关键点的图像坐标， 其中， 所述图像 坐标为相机 视角下的球场坐标系中的坐标； 基于相机外参参数将双脚关键点的图像坐标转换到真实坐标系中， 确定双脚关键点在 真实坐标系下的三维坐标； 基于双脚关键点在真实坐标系下的三维坐标判断是否球员在目标场地内， 若是， 则将 当前双脚关键点对应的球员标记为在场球员， 否则， 标记为非在场球员并过 滤； 获取视频帧首帧中的在场球员的球员信息； 基于视频帧首帧中的在场球员的球员 信息建立跟踪队列和卡尔曼滤波器， 并进行初始 化， 其中， 所述跟踪队列中设有 多个跟踪器， 一个跟踪器对应一个 球员信息； 基于卡尔曼滤波器建立跟踪对象位置信息的匀速变化模型， 所述跟踪对象为在场球 员， 跟踪对象位置信息为在场球员的球员信息中检测框的大小和所处位置； 保存跟踪对象的匀速变化模型、 球员信息 至跟踪队列； 获取视频帧最 新一帧中的在场球员的球员信息， 作为待匹配目标； 基于球员信息确定待匹配目标与跟踪队列中保存的跟踪对象的代价矩阵； 基于匈牙利算法对代价矩阵进行匹配； 判断是否匹配成功， 若 匹配成功， 更新跟踪器 中的球员信 息和卡尔曼滤波器的参数， 若 匹配失败， 则进行IOU匹配； 判断IOU匹配是否匹配成功， 若IOU匹配成功， 更新跟踪器中的球员信息和卡尔曼滤波 器的参数， 若IOU匹配失败， 判断是待匹配目标匹配失败 还是跟踪对象匹配失败， 若是跟踪对象匹配失败， 则判断执行时间是否超过预配置的时间阈值， 若超过， 则删除 跟踪对象， 否则， 保留跟踪对象并进行 下一次基于匈 牙利算法的匹配判断； 若是待匹配目标匹配失败， 则判断置信度 是否大于第 一置信度阈值， 若是， 则将匹配失 败的待匹配目标作为新的跟踪对象加入跟踪队列， 若否， 删除待匹配目标， 其中， 所述置信 度基于跟踪对 象位置信息与卡尔曼滤波器预测的位置信息差异值确定， 差异值越大， 置信 度越低； 实时更新跟踪队列实现在场球员的跟踪； 基于篮球场事 件确定时间窗口， 获取 所述时间窗口内的视频帧； 确定当前帧球员人体骨骼关键点位姿估计矩阵中手部关键点和篮球检测框中心的球 手距离， 所述篮球 检测框基于篮球 检测模型 得到； 计算球手距离与篮球半径的比值； 判断球手距离与篮球半径的比值是否小于预配置的距离阈值， 若小于， 则计一次得分，权　利　要　求　书 1/2 页 2 CN 115272918 A 2否则不得分； 遍历当前时间窗口内的所有视频帧， 对每个球员的得分进行累加， 确定每个球员的总 得分， 并基于总得分确定持球人候选人； 计算当前时间窗口内持球人候选人球手距离与篮球半径的比值的平均值， 将所述平均 值最小的持球人候选人 标记为持球人。 2.根据权利要求1所述的一种基于多目标追踪算法的球员跟踪与持球人识别方法， 其 特征在于， 所述相 机内参参数包括畸变系 数、 内参矩阵； 所述相机外参参数包括旋转向量、 位移向量、 投影矩阵、 单应 变化矩阵。 3.根据权利要求1所述的一种基于多目标追踪算法的球员跟踪与持球人识别方法， 其 特征在于， 所述球员人体骨骼关键点共计18个。 4.根据权利要求3所述的一种基于多目标追踪算法的球员跟踪与持球人识别方法， 其 特征在于， 所述球员人体骨骼关键点中的双脚关键点位于左脚和右脚的前脚掌， 手部关键 点位于左手和右手的手腕。 5.根据权利要求1所述的一种基于多目标追踪算法的球员跟踪与持球人识别方法， 其 特征在于， 所述代价矩阵基于待匹配目标和跟踪对象的人体骨骼关键点位姿估计矩阵中的 人体骨骼关键点相对位置变化 值和图像特 征向量差异值加权平均得到 。 6.根据权利要求5所述的一种基于多目标追踪算法的球员跟踪与持球人识别方法， 其 特征在于， 所述代价矩阵中置信度低于第二置信度阈值的匹配项代价 值被设为无穷大。 7.根据权利要求1所述的一种基于多目标追踪算法的球员跟踪与持球人识别方法， 其 特征在于， 所述更新跟踪器中的球员信息包括基于迭代的方式更新球员图像特征向量， 所 述更新球员图像特征向量的更新规则为： 更新后的球员图像特征向量＝0.9*跟踪队列中保 存的球员图像特 征向量+0.1*最 新一帧中的球员图像特 征向量。 8.根据权利要求1所述的一种基于多目标追踪算法的球员跟踪与持球人识别方法， 其 特征在于， 所述更新跟踪器中的球员信息包括更新球员ID， 所述更新球员ID为延续跟踪对 象的球员ID， 丢弃待匹配目标的球员ID。 9.一种基于多目标追踪算法的球员跟踪与持球人识别装置， 包括存储器、 处理器， 以及 存储于所述存储器中的程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑8 中任一所述的方法。 10.一种存储介质， 其上存储有程序， 其特征在于， 所述程序被执行时实现如权利要求 1‑8中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 115272918 A 3