(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211150368.7 (22)申请日 2022.09.21 (71)申请人 哈工大郑州研究院 地址 450008 河南省郑州市郑东 新区龙湖 中环北路龙源东七街交叉口 (72)发明人 姜宇　李丹丹　 (74)专利代理 机构 哈尔滨市阳光惠远知识产权 代理有限公司 2321 1 专利代理师 张宏威 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/26(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 面向转播视频的冰壶球运动状态检测方法、 系统、 计算机设备和存 储介质 (57)摘要 面向转播视频的冰壶球运动状态检测方法、 系统、 计算机设备和存储介质， 属于人工智 能检 测技术领域， 解决难以从转播视频中提取冰壶球 的运动信息问题。 本发明的方法包括： 对转播视 频中的冰壶赛道进行语义分割， 基于冰壶赛道中 的尺寸先验信息， 计算得出转播视频平面与冰壶 赛道平面之间的坐标转换矩阵， 将冰壶比赛转播 视频从斜视视角变换到俯视视角； 然后训练冰壶 球目标检测网络， 设计数据集标注原则， 通过数 据增强方法自动扩增数据集， 得到冰壶球的检测 框和位置信息， 再基于图像分割算法和霍夫变换 直线拟合方法得到描述冰壶球旋转的把柄角度 信息， 实现了转播视频中冰壶球的运动状态检 测。 本发明适用于冰壶比赛转播视频中冰壶球的 运动状态检测。 权利要求书4页 说明书9页 附图2页 CN 115512262 A 2022.12.23 CN 115512262 A 1.一种面向转 播视频的冰壶球运动状态检测方法， 其特 征在于， 所述方法包括： 步骤1、 对转播视频中的冰壶赛道进行语义分割， 基于冰壶赛道 的尺寸先验信息， 计算 得出转播视频坐标系与冰壶赛道坐标系之 间的坐标转换矩阵， 将所述转播视频从斜视视角 转换到俯视 视角； 步骤2、 建立冰壶球目标检测网络， 具体包括： 采集冰壶球转播视频， 利用步骤1的方法对所述冰壶球转播视频进行转换， 通过数据增 强方法建立冰壶球目标检测训练数据集； 基于所述冰壶球目标检测训练数据集， 并利用 YOLOX网络建立冰壶球目标检测网络， 所述冰壶球目标检测网络的输出为冰壶球 检测框； 步骤3、 建立冰壶球把柄角度检测模型， 具体包括： 基于步骤2中所述冰壶球目标检测网络输出的冰壶球检测框， 构建冰壶球检测框数据 集； 基于所述冰壶球检测框数据集， 并利用DeepLabV3+语义分割网络和霍夫变换直线拟合 的方法， 建立冰壶球把柄角度检测模型， 所述冰壶球把柄角度检测模型 的输出为冰壶球把 柄角度； 步骤4、 获取待检测冰壶比赛转播视频， 利用步骤1的方法对所述待检测冰壶比赛转播 视频进行转换； 利用转换后的待检测冰壶比赛转播视频和所述冰壶球目标检测网络获取待检测冰壶 球检测框， 根据所述冰壶球 检测框获取待检测冰壶球的位置和速度； 步骤5、 根据所述待检测冰壶球检测框， 并利用所述冰壶球把柄角度检测模型， 获取待 检测冰壶球把柄角度， 根据所述待检测冰壶球把柄角度获取待检测冰壶球的旋转角速度。 2.根据权利要求1所述的一种面向转播视频的冰壶球运动状态检测方法， 其特征在于， 步骤1具体包括： 步骤1.1、 将转播视频中的冰壶赛道进行语义分割图像标注， 所述语义分割图像标注包 括8类， 具体包括： 空白赛道、 前卫线、 蓝环大本营、 白环大本营、 红环大本营、 白圆大本营、 记 分牌和徽标； 步骤1.2、 基于DeepLabV3+语义分割网络分割冰壶赛道， 具体为： 将转播视频进行空洞 卷积和空洞空间金字塔池化， 设置的初始学习率， 使用指数变换 的衰减策略动态调整训练 过程中的学习率， 并设置目标函数为交点损失函数， 基于步骤1.1中的8类图像标注得到转 播视频的冰壶赛道图像 语义分割结果； 步骤1.3、 基于步骤1.2 获取的语义分割结果， 从转播视频中分割出空白赛道、 蓝环大本 营、 白环大本营， 获取空白赛道左边界线和空白赛道右边界线的解析式， 以及蓝 色圆环的内 外轮廓对应椭圆的解析式； 步骤1.4、 利用所述空白赛道左边界线和空白赛道右边界线的解析式和所述蓝色圆环 的内外轮廓对应椭圆的解析式， 并基于冰壶赛道尺寸先验信息计算转播视频坐标系与冰壶 赛道坐标系之间的坐标变换矩阵， 将所述 转播视频从斜视 视角变换到俯视 视角。 3.根据权利要求2所述的一种面向转 播视频的冰壶球运动状态检测方法， 其特 征在于， 所述损失函数 F具体为 权　利　要　求　书 1/4 页 2 CN 115512262 A 2其中， y是真实样本， y ′是模型给出的预测类别概 率， γ为损失因子， α 为平衡因子 。 4.根据权利要求2或3中的任一项所述的一种面向转播视频的冰壶球运动状态检测方 法， 其特征在于， 步骤1.3， 具体包括： 步骤1.3.1、 将空白赛道、 蓝环大本营、 白环大本营对应的像素位置设为1， 其他位置为 0， 分别得到掩膜图像； 步骤1.3.2、 如果掩膜图像中一个像素点的8连通域或4连通域内有0像素存在， 那么这 个像素点就是边界点， 得到掩膜图像每一个连通区域的多个轮廓点集， 再计算每个轮廓点 集对应的面积， 选择其中面积最大的那条轮廓作为 边缘轮廓； 步骤1.3.3、 轮廓线上的每个点在冰壶赛道坐标系下的坐标为(xi,yi)， 将xi作为自变 量、 yi作为输出进行低通滤波处理， 以yi的原始值和滤波值的差的绝对值作为差值， 删除差 值超过预设个数的像素的点； 步骤1.3.4、 根据滤波之后的轮廓点集， 采用最小二乘方法来对轮廓点集进行拟合， 得 到空白赛道左边界线和空白赛道右 边界线的解析式， 以及蓝色圆环的内外轮廓对应椭圆的 解析式。 5.根据权利要求2所述的一种面向转播视频的冰壶球运动状态检测方法， 其特征在于， 步骤1.4， 具体包括： 步骤1.4.1、 根据所述空白赛道左边界线和空白赛道右边界线 的解析式和所述蓝色圆 环的内外轮廓对应椭圆的解析式， 获取蓝 色圆环的外轮廓切线与左边界线的交点A、 蓝 色圆 环的外轮廓切线与右 边界线的交点B、 蓝 色圆环的内轮廓切线与左边界线的交点C和蓝 色圆 环的内轮廓切线与右边界线的交点D在转播视频坐标系 下的坐标， 所述蓝色圆环的外轮廓 切线和所述蓝色圆环的内轮廓切线均平行于T 线； 再根据冰壶赛道尺寸先验信息得到所述交点A、 交点B、 交点C和交点D在冰壶赛道坐标 系下的坐标， 获取第一单应性矩阵； 步骤1.4.2、 根据所述空白赛道左边界线和空白赛道右边界线 的解析式和所述蓝色圆 环的内外轮廓对应椭圆的解析式， 获取蓝色圆环的外轮廓切线的切 点E和蓝色圆环的内轮 廓切线的切点F在转 播视频坐标系下的坐标； 再根据冰壶赛道尺寸先验信息得到所述切点E和切点F在冰壶赛道坐标系下的坐标， 获 取第二单应性矩阵； 步骤1.4.3、 将所述第一单应性矩阵和所述第二单应性矩阵相乘， 获取转播视频坐标系 与冰壶赛道坐标系之间的坐标变换矩阵； 步骤1.4.4、 将所述转播视频乘以所述坐标变换矩阵得到俯视视角图像， 将所述转播视 频从斜视 视角变换到俯视 视角。 6.根据权利要求1所述的一种面向转播视频的冰壶球运动状态检测方法， 其特征在于， 步骤2， 具体包括： 步骤2.1、 从不同角度、 位置、 遮挡以及不同背景的带有冰壶球的转播视频中采集若干 张冰壶球图像， 利用步骤1的方法对所述冰壶球图像进 行转换， 将 每预设张数的转换后的图 像进行随机缩放后再按随机分布进行拼接、 扩增， 并将所述转换后的图像中的冰壶球按照 颜色标注类别， 获取冰壶球目标检测训练数据集； 步骤2.2、 利用YOLOX网络建立冰壶球目标检测网络， 所述冰壶球目标检测网络的输入权　利　要　求　书 2/4 页 3 CN 115512262 A 3