(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210608667.4 (22)申请日 2022.05.31 (71)申请人 广东天太 机器人有限公司 地址 528000 广东省佛山市顺德区大良10 5 国道大墩段(5-1号地块)六号综合楼 三层(广珠公路红岗路段23号之9) (72)发明人 吴凌云　何志雄　陈志满　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 刘力 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/269(2017.01) G06T 7/73(2017.01) (54)发明名称 一种基于视觉跟踪的AGV运动控制方法、 装 置及介质 (57)摘要 本发明涉及AGV技术领域， 具体涉及一种基 于视觉跟踪的AGV运动控制方法、 装置及介质， 方 法包括： 在AGV进行目标跟踪过程中采集AGV周围 的视频流； 从所述视频流中提取最新采集得到的 连续相邻帧图像， 基于跟踪目标在所述连续相邻 帧中所对应的位置确定跟踪目标在下一时刻 的 运动速度； 控制AGV以跟踪目标在下一时刻的运 动速度控制行驶； 本发明通过提前预判运行速度 实现实时跟随， 满足 实际应用中的实时性需求。 权利要求书2页 说明书6页 附图1页 CN 115035157 A 2022.09.09 CN 115035157 A 1.一种基于 视觉跟踪的AGV运动控制方法， 其特 征在于， 所述方法包括以下步骤： 在AGV进行目标跟踪过程中采集AGV周围的视频流； 从所述视频流中提取最新采集得到的连续相邻帧图像， 基于跟踪目标在所述连续相邻 帧中所对应的位置确定跟踪目标在下一时刻的运动速度； 控制AGV以跟踪目标在下一时刻的运动速度控制行驶。 2.根据权利要求1所述的一种基于视觉跟踪的AGV运动控制方法， 其特征在于， 所述从 所述视频流中提取最新采集得到的连续相 邻帧图像， 基于跟踪目标在所述连续相 邻帧中所 对应的位置确定跟踪目标在下一时刻的运动速度， 包括： 从所述视频流中提取 得到最新采集的3帧连续的图像； 对每帧图像分别进行 连通域识别， 确定每帧图像中的多个连通 域； 对于每帧图像， 根据训练好的目标检测模型生成图像的预测框， 确定与所述图像的预 测框匹配的连通域， 在该连通域对应的图像区域中确定n个关键点； 其中， n为自然数； 关键 点包括角点、 边 缘点； 根据前两帧图像的采集 时间间隔及前两帧图像中n个关键点的位置偏差确定跟踪目标 在当前时刻的运动速度； 根据跟踪目标的运动速度预测跟踪目标的在第三帧图像中对应的关键点所在的预测 位置； 根据跟踪目标的在第三帧图像中对应的关键点所在的预测位置与跟踪目标的在第三 帧图像中对应的关键点所在的位置确定跟踪目标的速度偏差， 根据所述速度偏差调整 所述 跟踪目标在当前时刻的运动速度， 得到跟踪目标在下一时刻的运动速度。 3.根据权利要求2所述的一种基于视觉跟踪的AGV运动控制方法， 其特征在于， 所述确 定与所述图像的预测框匹配的连通域， 在该连通域对应的图像区域中确定n个关键点， 包 括： 确定与所述图像的预测框匹配的连通 域的最小外 接框； 确定所述 最小外接框与所述预测框的大小偏差是否在设定的大小阈值范围内； 确定大小偏差在设定的大小阈值范围内的最小外 接框对应的连通 域； 遍历所述连通域中的每个像素点， 确定每个像素点的梯度值， 将梯度值最大的n/2个像 素点作为角点， 将相邻角点之间梯度值 最大的像素点作为 边缘点， 得到n/2个边 缘点； 将n/2个角点和n/2个边 缘点形成集 合， 共得到n个关键点。 4.根据权利要求2所述的一种基于视觉跟踪的AGV运动控制方法， 其特征在于， 所述根 据前两帧图像的采集时间间隔及前两帧图像中n个关键点的位置偏差确定跟踪目标在当前 时刻的运动速度， 包括： 分别确定前两帧图像中n个关键点的最小外 接框； 若前两帧图像 中n个关键点的最小外接框的重叠部分面积大于最小外接框的0.6倍， 则 计算前两帧图像对应的2个最小外 接矩形的中心的矢量差， 作为 运动目标的位移； 将运动目标的位移和前两帧图像的采集时间间隔之比作为跟踪目标在当前时刻的运 动速度。 5.根据权利要求2所述的一种基于视觉跟踪的AGV运动控制方法， 其特征在于， 所述根 据跟踪目标 的在第三帧图像中对应的关键点所在的预测 位置与跟踪目标 的在第三帧图像权　利　要　求　书 1/2 页 2 CN 115035157 A 2中对应的关键点所在的位置确定跟踪目标的速度偏差， 根据所述速度偏差调整所述跟踪目 标在当前时刻的运动速度， 得到跟踪目标在下一时刻的运动速度， 包括： 计算跟踪目标的在第三帧图像中对应的关键点所在的预测位置与跟踪目标的在第三 帧图像中对应的关键点所在的位置的位移偏差； 将所述位移偏差与第一帧图像和第三帧图像的采集时间 间隔之比作为速度偏差； 将所述速度偏差与 所述跟踪目标在当前时刻的运动速度进行矢量计算， 得到跟踪目标 在下一时刻的运动速度。 6.一种基于 视觉跟踪的AGV运动控制装置， 其特 征在于， 所述装置包括： 至少一个处 理器； 至少一个存 储器， 用于存 储至少一个程序； 当所述至少一个程序被所述至少一个处理器执行， 使得所述至少一个处理器实现如权 利要求1至 5任一项所述的基于 视觉跟踪的AGV运动控制方法。 7.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有基于视 觉跟踪的AGV运动控制程序， 所述基于视觉跟踪的AGV 运动控制程序被处理器执行时实现如 权利要求1至 5任一项所述的基于 视觉跟踪的AGV运动控制方法的步骤。权　利　要　求　书 2/2 页 3 CN 115035157 A 3