(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210774218.7 (22)申请日 2022.07.01 (71)申请人 燕山大学 地址 066004 河北省秦皇岛市海港区河北 大街438号 (72)发明人 华长春　王志越　丁伟利　穆殿瑞　 谢俊杰　王天泽　周家峰　秦庆旭　 (74)专利代理 机构 石家庄众志华清知识产权事 务所(特殊普通 合伙) 13123 专利代理师 张建 (51)Int.Cl. G01S 19/41(2010.01) G01S 19/43(2010.01) G01S 19/46(2010.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06T 7/73(2017.01) G06V 10/75(2022.01) G06V 10/82(2022.01) G06V 20/17(2022.01) (54)发明名称 一种多机多目标动态定位系统及方法 (57)摘要 本发明公开了一种多机多目标动态定位系 统及使用定位系统的多机多目标动态定位方法， 属于目标定位技术领域， 系统包括无人机群、 地 面站、 通信网络、 飞行控制器、 机载计算机和机载 摄像头， 使用定位系统利用坐标转换关系计算出 每个目标中心与无人机 之间的视线向量， 结合无 人机自身位置及姿态信息实现多目标动态定位， 本发明不受地形因素影 响且定位精 准度高， 可实 现多动态目标同时定位。 权利要求书4页 说明书8页 附图2页 CN 115144879 A 2022.10.04 CN 115144879 A 1.一种多机多目标动态定位系统， 其特征在于： 包括无人机集群、 地面站、 通信网络， 每 架无人机搭载飞行控制器、 机载计算机、 机载摄像头、 无线 数传模块和RT K定位模块， 地面站 包括运行定位 解算软件的PC、 RTK基站和组网通信模块。 2.根据权利要求1所述的一种 多机多目标动态定位系统， 其特征在于： 所述多机多目标 动态定位系统具体包括： 无人机集群： 至少三架无 人机； 机载摄像头： 安装在无人机上， 摄像头角度竖直向下， 用于无人机飞行时， 观测相关目 标区域， 并将图像实时传输给机载计算机； 飞行控制器： 安装在无人机上， 用于实时获取无人机姿态和位置信息并控制无人机进 行飞行； 机载计算机： 安装在无人机上， 用于实时对摄像头采集的图像进行目标检测， 并利用飞 行控制器获取的信息以及相机参数进行 数据处理； 无线数传模块： 安装在无 人机上， 用于无 人机与地 面站进行 数据和指令传输； RTK定位模块： 安装在无 人机上， 用于实时获取 无人机自身高精度的定位信息； 通信网络： 建立 地面站与无 人机集群的通信。 3.一种使用权利要求1或2所述的一种多机多目标动态定位系统的多机多目标动态定 位方法， 其特 征在于： 所述多机多目标动态定位方法包括如下步骤： 步骤一， 采集目标的数据集， 并利用深度学习目标检测网络进行训练， 直至网络收敛； 步骤二， 多架无人机对相关目标区域进行集群飞行， 同时机载计算机通过机载摄像头 实时获取相关区域的地 面图像； 步骤三， 机载计算机利用训练好的深度学习目标检测网络对机载摄像头获取的相关区 域地面图像进行实时的目标检测； 步骤四， 将检测出的每个图像目标中心点的图像位置坐标与无人机的相机内外参数、 无人机姿态信息结合起来， 通过坐标转换关系计算出载机NED坐标系 下每个图像目标中心 点与无人机之间的视线向量； 步骤五， 将检测出的每个图像目标中心点的图像位置坐标， 利用无人机自身坐标和姿 态信息进行图像目标中心点匹配； 步骤六， 利用无人机自身大地坐标系下的坐标信 息对每个目标的视线向量数据进行联 立求解， 计算出每 个目标在大地 坐标系下的坐标信息 。 4.根据权利要求3所述的一种 多机多目标动态定位方法， 其特征在于： 所述步骤三具体 包括： 无人机进行目标检测与定位 时， 每个目标应同时至少有两架无人机同时检测到， 首先， 机载计算机获取机载摄像头拍摄的实时地面图像， 并利用训练好的深度学习目标检测网络 来检测无人机航拍的地面图像中的所有目标， 并输出检测结果； 当无人机的机载摄像头检 测到目标的同时， 在图像中标注出每个目标 的边界框， 将每个目标边界框的中心设定为图 像目标中心点； 同时， 机载计算机获取每个图像目标中心点所在无人机航拍图像坐标系 下 的像素坐标以及此时的无 人机在大地 坐标系下的位置与姿态信息 。 5.根据权利要求3所述的一种 多机多目标动态定位方法， 其特征在于： 所述步骤四具体 包括：权　利　要　求　书 1/4 页 2 CN 115144879 A 2当无人机进行多目标定位时， 每架无人机将同时检测输出多个图像目标中心点， 将其 中第i架无人机获取的第m个图像目标中心点的图像坐标系下的像素坐标eim(uim， vim)， 结合 无人机机载摄像头的内外参数， 其中第i架无人机摄像头的内部参数包括相机的焦距fxi， fyi、 相机的光心坐标(u0i， v0i)， 第i架无人机机载摄像头的外部参数包括无人机机体坐标系 到相机坐标系的旋转矩阵Ri和平移矩阵Ti， 则通过以下像素坐标系到无人机机体坐标系转 换公式可求得无人机机体坐标系 下第i架无人机与第m个图像目标中心点之间的视线向量 (Xbim， Ybim， Zbim)T： Zcim为第i架无人机机载摄像头与第m个图像目标中心点相对应的目标之间的深度值， 为方便视线向量(Xbim， Ybim， Zbim)T的求取， 故将其值设为1； 则无人机机体坐标系下第i架无 人机与第m个图像目标中心点之间的视线向量(Xbim， Ybim， Zbim)T为： 结合无人机自身 姿态信息， 从而可将视线向量在载机NED坐标系下表示 为： 其中机体坐标系到载机NED坐标系的变换矩阵为旋转变换， 为旋 转矩阵： 其中， θi、 ψi分别为第i架无 人机的横滚角、 俯仰角和偏航角。 6.根据权利要求3所述的一种 多机多目标动态定位方法， 其特征在于： 所述步骤五具体 包括： 地面站根据每架无人机的位置姿态以及图像目标中心点的像素坐标等信 息， 根据数据 信息的时间戳， 依次对同一时间所有 无人机机载摄像头中的所有图像目标中心 点进行图像 目标中心点匹配； 首先由对极几何约束(Epipolar  Geometry  Constraint)， 计算出第j架无人机的机载 摄像头到第i架无 人机的机载摄 像头之间的基础矩阵Fij： 权　利　要　求　书 2/4 页 3 CN 115144879 A 3