(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211365487.4 (22)申请日 2022.11.03 (71)申请人 合肥中科类脑智能技 术有限公司 地址 230088 安徽省合肥市高新区望江西 路5089号中国科大先进技术研究院一 号嵌入式研发楼3楼 (72)发明人 沈韬　康凯　孙俊　孙涛　艾坤　 刘海峰　王子磊　 (74)专利代理 机构 合肥昊晟德专利代理事务所 (普通合伙) 3415 3 专利代理师 何梓秋 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/10(2022.01) G06V 10/82(2022.01)G06V 10/764(2022.01) G06V 10/26(2022.01) (54)发明名称 一种基于人体朝向判断的钓鱼行为检测方 法 (57)摘要 本发明公开了一种基于人体朝向判 断的钓 鱼行为检测方法， 属于钓鱼行为检测技术领域。 本发明结合人体朝向判断模型分析得出行人的 朝向， 根据行人的朝向来调整裁剪方式， 从而尽 可能多的将鱼竿部分裁剪下来； 按语义分割的方 法标注图片中鱼竿的多边形， 再用图像修复算法 去除图片中的鱼竿， 去除鱼竿的图片作为负样 本， 能够更好的让模型专注于鱼竿的信息， 提高 模型学习的准确率， 获得效果更好的分类模型； 在传统分类模 型的基础上， 添加一个 鱼竿分割的 分支， 让网络可以更专注到鱼竿的信息， 推理时 无需对鱼竿 等进行语义分割， 也无需复杂的后处 理， 避免分割不准、 后处理逻辑不对导致的误判， 在复杂场景有较高的检测精度。 权利要求书2页 说明书7页 附图5页 CN 115410280 A 2022.11.29 CN 115410280 A 1.一种基于人体朝向判断的钓鱼行为检测方法， 其特 征在于， 包括以下步骤： 步骤S1： 行 人检测 通过行人检测模型对监控视频中待检测图片进行逐帧检测， 判断图片中是否有人， 如 果没有， 则返回继续检测下一张图片， 如果有人， 则输出 行人框； 步骤S2： 钓鱼行为分析 将步骤S1中的行人框从待检测图片中裁剪下来， 输入到人体朝向判断模型中， 判断行 人朝向， 并根据行 人朝向的判断结果按对应方向对行 人框的大小 进行扩充； 根据扩充后的行人框的范围将行人图片 从待检测图片中裁剪下来， 输入到钓鱼行为判 断模型中， 判断是否存在钓鱼行为； 在所述步骤S1中， 行人框坐标记为 （x,y,w,h） ， 其中， x、 y为行人框任一边角点在图片中 的x轴和y轴坐标， w表示行 人框的宽度， h表示行 人框的高度， x ‑y两轴坐标系为像素坐标系； 所述步骤S2的具体处 理过程如下： 步骤S21： 根据步骤S1中行人检测模型输出的行人框坐标将行人图片从待检测图片中 裁剪下来， 输入到人体朝向判断模型中； 步骤S22： 根据步骤S21中判断模型判断的行人人体的沿水平方向的左右朝向， 在步骤 S1中行人框的基础上， 将宽沿人体朝向方向侧扩充2n倍， 高向上扩充n倍； 若无法判断出行 人的左右朝向， 则将行 人框往左、 右和上三个方向扩充n 倍， 其中n 为正数； 步骤S23： 调整后的行人框坐标记作 ， 根据调整后的行人框坐标将行人图片 从待检测图片中裁 剪下来， 输入到钓鱼行为判断模型中， 判断是否存在钓鱼行为。 2.根据权利要求1所述的一种基于人体朝向判断的钓鱼行为检测方法， 其特征在于： 在 所述步骤S1中， 所述行 人检测模型基于 YOLOv5s网络实现。 3.根据权利要求1所述的一种基于人体朝向判断的钓鱼行为检测方法， 其特征在于： 在 所述步骤S21中， 人体朝向判断模 型是一个三分类模型， 分类结果分别是人体的3个朝向， 即 左、 右和其 他。 4.根据权利要求1所述的一种基于人体朝向判断的钓鱼行为检测方法， 其特征在于： 在 所述步骤S21中， 人体朝向判断模型的训练过程如下： 步骤S211： 获取大量含有人的数据图片， 将图片中人的朝向按照左、 右、 其他三种类别 进行语义分类标注； 步骤S212： 将步骤S211中标注完成的数据集投入到训练网络中， 训练网络的主干网络 使用resnet5 0， 损失函数采用交叉熵损失函数， 训练完成后即可获得 人体朝向判断模型。 5.根据权利要求1所述的一种基于人体朝向判断的钓鱼行为检测方法， 其特征在于： 在 所述步骤S23中， 钓鱼行为判断模型的训练过程如下： 步骤S231： 所有的原始图片均包含有人的数据图片， 将含有鱼竿的图片进行语义分割， 标注图片 中鱼竿的多边形， 按照步骤S2中图片裁剪方式， 将图片 中的人从原始图片中裁剪 出来， 形成数据集； 步骤S232： 将数据集中有钓鱼行为的图片作为正样本， 无钓鱼行为的图片作为负样本， 并在正样本中增 加类似鱼竿的噪声， 然后进行 数据增强处 理； 步骤S233： 将经过步骤S232处理的数据集投入到训练网络中， 训练网络的主干网络使权　利　要　求　书 1/2 页 2 CN 115410280 A 2用resnet5 0， 损失函数采用多任务损失函数， 训练完成后即可获得钓鱼行为判断模型。 6.根据权利要求5所述的一种基于人体朝向判断的钓鱼行为检测方法， 其特征在于： 在 所述步骤S232中， 数据增强处理包括多尺度变换、 旋转、 翻转增强处理， 以及通过图像修复 算法去除正样本中被 语义分割标注出的鱼竿， 将去除鱼竿的图片当做负 样本。 7.根据权利要求5或6所述的一种基于人体朝向判断的钓鱼行为检测方法， 其特征在 于： 在所述步骤S233中， 所述钓鱼行为判断模 型的输出有两个 分支， 其中一个 分支是分类分 支， 另一个分支是语义分割的分支， 两个分支共享主干网络； 其中， 分类分支输出的是二分 类， 语义分割的分支输出的是鱼竿分割结果， 语义分割分支仅参与训练， 不 参与检测过程。权　利　要　求　书 2/2 页 3 CN 115410280 A 3