(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210752030.2 (22)申请日 2022.06.29 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市金寨路96号 (72)发明人 秦家虎　王帅　马麒超　王国杰　 (74)专利代理 机构 合肥天明专利事务所(普通 合伙) 34115 专利代理师 谢中用 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/82(2022.01) G06V 10/46(2022.01) G06V 10/74(2022.01) G06T 7/246(2017.01) B25J 9/16(2006.01) (54)发明名称 多机器人协同视 觉监控方法和系统 (57)摘要 本发明涉及自动化视觉监控技术领域， 公开 了一种机器人协同视觉监控 方法和系统， 通过将 视觉感知与多机器人协同控制进行深度融合， 实 现了对监测区域可疑目标的自主感知与协同监 视。 通过利用多个移动监视机器人， 在扩大感知 范围、 提升监视系统灵活性的同时， 亦可 以有效 预防并阻止犯罪行为的方式， 实现自动化的自主 视觉监视， 减少安保人员的参与。 权利要求书2页 说明书7页 附图4页 CN 115331160 A 2022.11.11 CN 115331160 A 1.一种多机器人协同视觉监控方法， 通过多个搭载视觉相机的移动 监视机器人实现对 可疑目标的协同视 觉感知和协同跟踪监视， 包括以下步骤： 步骤一： 通过基于YOL O目标检测算 法的可疑目标检测模型， 对移动监视机器 人Ri的实时 监视图像Ii进行可疑目标检测， 得到可疑目标区域 Iir； 步骤二： 当可疑目标未丢失时， 使用目标跟踪算法持续对该可疑目标进行跟踪； 当可疑 目标丢失时， 通过步骤一对该 可疑目标进行重新定位； 步骤三： 通过特征提取算法对每个移动监视机器人获取的所有可疑目标区域{Iir}进行 特征点提取， 得到可疑目标特征点的集合； 并构建目标特征点的特征描述， 得到特征描述 子； 步骤四： 通过计算两个特征描述子之间的相似度判断这两个特征描述子对应的可疑目 标是否为同一可疑目标， 对每个移动监视机器人检测出的所有可疑目标构建到其他移动监 视机器人所检测出 可疑目标的唯一映射； 步骤五： 通过跟踪控制算法控制多个移动监视机器人对同一个可疑目标进行协同跟踪 监视。 2.根据权利要求1所述的多机器人协同视觉监控方法， 其特征在于： 步骤二中， 使用目 标跟踪算法持续对可疑目标进 行跟踪过程中， 以固定的时间间隔通过步骤一对可疑目标的 位置进行修 正。 3.根据权利要求1或2所述的多机器人系统视觉监控方法， 其特征在于： 所述目标跟踪 算法为MeanShift目标跟踪算法。 4.根据权利要求1所述的多机器人协同视觉监控方法， 其特征在于： 步骤三中， 通过ORB 特征提取算法可疑目标区域{Iir}进行特征点提 取； 使用O RB算法中的BRIFE描述子构建目标 特征点的特 征描述。 5.根据权利要求 4所述的多机器人协同视 觉监控方法， 其特 征在于： 步骤四具体包括： 步骤41： 通过计算不同特征描述子之间的汉明距离度量不同特征描述子之间的相似 度； 步骤42： 使用k近邻法进行特征点的匹配， 针对每个特征点， 利用特征描述子间的相似 度度量选择 出k个最相似的点； 步骤43： 通过计算目标相似度的方式， 对每个移动监视机器人检测出的所有可疑目标 构建到其他移动监视机器人所检测出可疑目标的唯一映射； 目标相似度设定为可疑目标间 匹配点的个数与总 特征点个数比值， 如果比值大于相似度阈值， 则 建立两个可疑目标的映 射关系。 6.根据权利要求1所述的多机器人协同视觉监控方法， 其特征在于， 步骤二中， 使用目 标跟踪算法对可疑目标进 行跟踪， 得到动态目标跟踪 结果； 步骤五中， 通过跟踪控制算法控 制多个移动监视机器人时， 每个移动监视机器人根据动态目标跟踪结果构建角度误差和视 觉误差， 角度误差和视觉误差统称为视觉跟踪误差e(t)， 并通过两个PID控制器 分别缩小距 离误差和角度误差， 实现对移动监视机器人的线速度控制和角速度控制； PID控制器的形式 如下： u(t)＝Kpe(t)+Ki∫e(t)+Kdde(t)； 其中u(t)为控制输入， e(t)为视 觉跟踪误差， Kp、 Ki、 Kd为可调参数。权　利　要　求　书 1/2 页 2 CN 115331160 A 27.一种多机器人协同视 觉监控系统， 其特 征在于， 包括： 可疑目标检测模块， 其通过基于YOLO目标检测算法的可疑目标检测模型， 对移动监视 机器人Ri的实时监视图像Ii进行可疑目标检测， 得到可疑目标区域 Iir； 运动目标跟踪模块， 当可疑目标未丢失时， 其使用目标跟踪算法持续对该可疑目标进 行跟踪； 当可疑目标丢失时， 通过 可疑目标检测模型对该 可疑目标进行重新定位； 特征提取描述模块， 其通过特征提取算法对每个移动 监视机器人获取的所有可疑目标 区域{Iir}进行特征点提 取， 得到可疑目标特征点的集合； 并构建目标特征点的特征描述， 得 到特征描述子； 跨相机匹配模块， 其通过计算两个特征描述子之间的相似度判断这两个特征描述子对 应的可疑目标是否为同一可疑目标， 对每个移动监视机器人检测出的所有 可疑目标构建到 其他移动监视 机器人所检测出 可疑目标的唯一映射； 协同跟踪模块， 其通过跟踪控制算法控制多个移动 监视机器人对同一个可疑目标进行 协同跟踪监视 。权　利　要　求　书 2/2 页 3 CN 115331160 A 3