(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221070107 7.6 (22)申请日 2022.06.21 (65)同一申请的已公布的文献号 申请公布号 CN 114782539 A (43)申请公布日 2022.07.22 (73)专利权人 中航金城无 人系统有限公司 地址 210000 江苏省南京市秦淮区龙蟠中 路216号 (72)发明人 万骏炜　蔡旭阳　 (74)专利代理 机构 南京冠誉至恒知识产权代理 有限公司 32426 专利代理师 薛海霞 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/246(2017.01)G06T 7/11(2017.01) G06T 7/174(2017.01) 审查员 丁娇 (54)发明名称 一种多云天气下基于云层观测的视觉定位 系统及方法 (57)摘要 本发明涉及视觉定位导航领域,具体涉及一 种多云天气下基于云层观测的视觉定位系统及 方法。 包括地面图像采集模块、 地面图像处理模 块、 地面图像匹配模块、 地面云层运动速度计算 模块、 视觉传感器、 视觉导航模块。 相对于现有 技 术， 本发明的有益效果为： 地面视觉观测设备测 得的云层速度信息经由数据链路传输至移动平 台， 结合平台相对云层的平面移动位置以及云层 速度信息进行差分处理， 剔除云层移动的影响， 获取移动平台真实的东向和北向位移， 计算移动 平台在导 航坐标系下的实际位置 。 权利要求书4页 说明书13页 附图4页 CN 114782539 B 2022.10.11 CN 114782539 B 1.一种多云天气下基于云层观测的视 觉定位系统， 其特 征在于， 包括： 地面图像采集模块， 用于从地 面实时采集云层图像； 地面图像处理模块， 用于对当前采样时刻采集的云层图像与 上一采样时刻采集的云层 图像进行图像差分和二 值化处理； 地面图像匹配模块， 用于匹配或比较上一采样时刻的二值化图像与当前采样时刻的二 值化图像， 得到中心点像素位移； 地面云层运动速度计算模块， 其根据地面图像匹配模块得到的中心点像素位移， 计算 云层运动速度； 视觉传感器， 用于从移动平台采集云层图像； 视觉导航模块， 包括初始视 觉导航模块以及视 觉导航修正模块； 初始视觉导航模块， 根据视觉传感器得到的相邻时刻的两幅图像， 计算视觉传感器或 移动平台相对于云层的平面 位移； 视觉导航修正模块， 接收地面云层运动速度计算模块得到的云层运动速度信息， 对初 始视觉导航模块测算出的视觉传感器或移动平台相对于 云层的平面位移进 行修正， 得到移 动平台相对于地 面的真实位移， 得到移动平台在导 航坐标系下的实际位置； 所述的初始视 觉导航模块具体为： 定义导航坐标系为 系， 前一时刻载体相机坐标系为 系， 后一时刻的载体相机坐标 系为 系； 选取相邻两个时刻下的两幅图像， 提取两幅图像中的特 征点并进行匹配； 一对匹配的特 征点表示 为 ， （11） （12） 分别为前一时刻、 后一时刻图像中的匹配特征点的像素坐 标， 分别为 前一时刻、 后一时刻图像中的某匹配特征点的 轴值； 分别为前一时刻、 后一时 刻图像中的某匹配特 征点的 轴值； 假设云层特征点在同一平面上， 由此匹配特 征点满足单应矩阵 约束； （13） 单应矩阵的描述 为: （14） 其中 为相机内参矩阵， 为云层平面在前一时刻载体相机坐标系下的单位法向量， 为云层平面到相机的距离； 和 分别为待 求的相邻两个时刻载体相机坐标系的旋转 矩阵和平 移向量；权　利　要　求　书 1/4 页 2 CN 114782539 B 2根据多组匹配特征点组成方程组， 可求出 ， 从而恢复出 和 ； 基于前一时刻 载体 相机坐标系相对 于导航坐 标系的旋转关系 ， 可获取后一时刻载体相机坐 标系相对 于导 航坐标系的旋转关系 ， 可获取相机或移动平台在导 航坐标系下的实时位移 ； （15） （16） 位移 的组成为： （17） 其中 表示相机相对 于云层北向位移， 为相机相对 于云层东向位移， 为相 机相对于云层天向位移。 2.根据权利要求1所述的一种 多云天气下基于云层观测的视觉定位系统， 其特征在于， 地面图像处 理模块中， 图像采样并差分周期   计算方法如下， 当时地 面风速为 ； （1） 二值化的原则为： （2） 其中， 为差分图像中的像素 灰度， 为处理后的灰度。 3.根据权利要求1所述的一种 多云天气下基于云层观测的视觉定位系统， 其特征在于， 地面图像匹配模块具体为： 二值化图像中特征图形的选取原则为， 上一采样时刻的二值化图像中， 选取灰度值为 255的能够闭环的区域， 取外边界， 计算区域边界的中心点 ， 以及区域边界内部像素点 数量 ， 的位置坐标为 ； 区域边界中心点的选取采用几何中心 的方式， 即获取区域边界在横轴、 纵轴上的最大 和最小坐标值， 分别求中值， 作为中心点的位置坐标值； 对比前后两幅二值化图像， 在后 一幅图中找出与 前一幅图中能够闭环的区域对应的闭 环区域， 对后一图中对应的闭环 区域取外边界作为一个独立图形； 后一图中闭环 区域的外 边界的中心点表示为 ， 后一图中闭环区域的外边界内部的像素点数量表示为 ， 的位置坐标为 ； 比较中心点 及 的坐标位置， 图像坐标系的 和 轴分别对应北向N和东向E， 求出两个中心点在 和 方向上的像素位移 ；权　利　要　求　书 2/4 页 3 CN 114782539 B 3