(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221091786 6.3 (22)申请日 2022.08.01 (71)申请人 中国电子科技 集团公司第五十四研 究所 地址 050081 河北省石家庄市中山西路589 号第五十四所遥控部 (72)发明人 赵军　赵会杰　张望成　杜明　 (74)专利代理 机构 河北东尚律师事务所 13124 专利代理师 王文庆 (51)Int.Cl. G06T 7/20(2017.01) G06T 7/70(2017.01) G06V 20/17(2022.01) G06V 10/74(2022.01) (54)发明名称 用于无人机的视频流目标跟踪 方法、 装置及 存储介质 (57)摘要 本发明公开了一种用于无人机的视频流目 标跟踪方法、 装置及存储介质， 涉及视频流的目 标跟踪技术领域。 本发明方法包括： 对无人机的 实时视频流进行目标检测， 得到检测目标、 位置 信息及检测目标ID； 选 取检测目标ID 对应的检测 目标作为跟踪目标； 将跟踪目标的位置信息输入 跟踪器以进行初始化； 通过跟踪器在后续的无人 机实时视频流中进行目标跟踪。 本发 明方法简单 快速， 且在短时间内跟踪效果良好， 可 以有效降 低计算开销， 提高平均帧率。 权利要求书2页 说明书7页 附图5页 CN 115272393 A 2022.11.01 CN 115272393 A 1.一种用于无 人机的视频流目标跟踪方法， 其特 征在于， 包括以下步骤： S1： 对无人机实时视频流的图像帧进行目标检测， 得到检测目标以及检测目标的位置 信息和目标ID； S2： 选取至少一个目标ID对应的检测目标作为跟踪目标； S3： 将跟踪目标的位置信息 输入跟踪器以进行初始化； S4： 通过跟踪器在后续的无 人机实时视频流的图像帧中跟踪所述跟踪目标。 2.根据权利要求1所述的一种用于无人机的视频流目标跟踪方法， 其特征在于， 步骤S1 还包括： 在图像帧上显示检测目标的目标框和目标ID； 步骤S2的具体方式为： 在地面站通过交互方式选取目标ID， 将被选的目标ID所对应的 检测目标作为跟踪目标。 3.根据权利要求1所述的一种用于无人机的视频流目标跟踪方法， 其特征在于， 步骤S4 之后， 判断已跟踪的图像帧是否 达到预设帧数， 若是则停止跟踪， 并执 行以下步骤： S5： 在当前图像帧中重新进行目标检测， 获得 各个检测目标的位置信息； S6： 将重新检测到的目标位置信息与之前的跟踪目标的位置信息进行IOU匹配， 将大于 IOU阈值且交并比最大的目标位置信息作为更新后的跟踪目标的位置信息； S7： 重复执 行步骤S3 至S6。 4.根据权利要求3所述的一种用于无人机的视频流目标跟踪方法， 其特征在于， 步骤S5 还包括： 若重新进 行目标检测失败， 则继续使用跟踪器跟踪之前的跟踪目标， 并对下一图像 帧执行步骤S5 。 5.根据权利要求3所述的一种用于无人机的视频流目标跟踪方法， 其特征在于， 步骤S6 还包括： 若不存在大于IOU阈值且交并比最大的目标位置信息， 则继续使用跟踪器跟踪之前 的跟踪目标， 并对下一图像帧执 行步骤S5和S6 。 6.根据权利要求3所述的一种用于无人机的视频流目标跟踪方法， 其特征在于， 步骤S7 中， 执行步骤S3的同时， 还包括： 提取图像帧中目标位置对应画面的深度特征信息， 并存入 特征样本库； 通过步骤S7执行的步骤S6还包括： 确定所述特征样本库中的深度特征信息对应的帧数 是否大于阈值， 若是， 则将重新检测到的目标位置信息与之前的跟踪目标的位置信息进行 IOU匹配， 并对重新检测到的目标位置信息对应的深度特征信息与所述特征样本库的深度 特征信息进行余弦距离匹配计算， 得到综合度量C， 将综合度量C大于预设值且交并比最大 的目标位置信息作为更新后的跟踪目标的位置信息； 综合度量C的计算公式为： C＝ λ d(1)+(1‑λ )d(2) 其中， d(1)为IOU匹配程度， d(2)为深度特征的匹配程度， λ为IOU匹配程度和深度特征的 匹配程度的权 重系数。 7.根据权利要求6所述的一种用于无人机的视频流目标跟踪方法， 其特征在于， IOU匹 配程度和深度特征的匹配程度的权重系数λ 随着特征样本库的深度特征信息样本量增加而 减少， λ满足： λ＝1‑0.02t t为深度特 征信息样本量。 8.根据权利要求6所述的一种用于无人机的视频流目标跟踪方法， 其特征在于， 所述特权　利　要　求　书 1/2 页 2 CN 115272393 A 2征样本库中存储有预设数量的不变的初始样本， 特征样本库的样本数量具有上限， 超过上 限时， 新成功匹配的深度特 征信息样本替代老的非初始样本的深度特 征信息样本 。 9.一种用于无 人机的视频流目标跟踪装置， 其特 征在于， 包括： 目标初检模块， 用于采用mobilenet ‑SSD的检测模型对无人机 的实时视频流中每一帧 图像进行目标检测， 得到每一帧图像的检测目标以及检测目标的位置信息和目标ID； 目标确定模块， 用于 选取至少一个目标ID的对应的检测目标作为跟踪目标； 初始化模块， 用于将跟踪目标的位置信息 输入MOSSE或KCF跟踪器以进行初始化； 目标跟踪模块， 用于通过MOSSE或KCF跟踪器在后续所述无人机的实时视频流的图像帧 中跟踪所述跟踪目标。 10.一种计算机存储介质， 其特征在于， 存储介质中存储有指令， 所述指令运行时执行 如权利要求1 ‑8中任一项所述的一种用于无 人机的视频流目标跟踪方法。权　利　要　求　书 2/2 页 3 CN 115272393 A 3