(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210640221.X (22)申请日 2022.06.08 (71)申请人 浙江理工大 学 地址 310018 浙江省杭州市经济技 术开发 区白杨街道 2号大街9 28号 (72)发明人 张维维　陈洪立　乔欣　蔡万铭　 徐憧意　夏仁森　 (74)专利代理 机构 浙江翔隆专利事务所(普通 合伙) 33206 专利代理师 许守金 (51)Int.Cl. G06T 3/40(2006.01) G06T 3/00(2006.01) G06T 5/00(2006.01) G06T 5/50(2006.01)G06T 7/30(2017.01) G06V 10/46(2022.01) G06V 10/74(2022.01) G06V 10/77(2022.01) (54)发明名称 一种面向水域的无人机遥感多光谱图像拼 接方法及系统 (57)摘要 本发明公开了一种面向水域的无人机遥感 多光谱图像拼接方法及系统， 属于水域图像处理 技术领域。 本发 明是一种面向水域的无人机遥感 多光谱图像拼接方法， 根据经纬度POS信息进行 图像的几何校正预处理， 得到校正图像， 并对校 正图像添加地理坐标投影信息； 然后根据地理坐 标投影信息， 进行图像的粗配准， 得到配准图像； 再根据配准图像， 利用计算机图形学知识， 计算 出重叠区域位置， 得到待拼接图像； 进而构建基 于主成分图像的尺度不变特征变换SIFT模型， 提 取待拼接图像的特征点； 并以空间距离作为特征 点的相似性评估指标， 筛选出符合要求的匹配 点； 最后构建多分辨率融合模型， 对待拼接图形 进行融合， 实现无 人机遥感多光谱图像的拼接 。 权利要求书6页 说明书16页 附图8页 CN 114936971 A 2022.08.23 CN 114936971 A 1.一种面向水域的无 人机遥感多光谱图像拼接方法， 其特 征在于， 包括以下步骤： 第一步， 接收图像数据， 并合成多 波段图像； 同时获取多 波段图像对应的经纬度POS信息， 并剔除经纬高数据异常值； 第二步， 根据第 一步中对应的经纬度POS信息进行图像的几何校正预处理， 得到校正图 像； 第三步， 基于图像对应的经纬和偏航角信 息， 计算地理坐标投影信 息， 并对第 二步中的 校正图像添加地理坐标投影信息； 第四步， 按照拼接策略选取无人机图像序列， 根据第 三步中的地理坐标投影信 息， 进行 图像的粗配准， 得到平 移变换矩阵和两幅配准图像； 第五步， 根据第 四步中的配准图像， 利用计算机图形学知识， 计算出重叠区域位置， 并 抠取重叠区域图像， 得到待拼接图像； 第六步， 利用主成分分析法PCA对第五步中的待拼接图像提取第一主成分图像， 并对第 一主成分图像构建尺度不变特 征模型SIFT， 以获取第一主成分图像的特 征点； 第七步， 判断第六步中的特征点数量， 若数量少于N个， 将第 四步中的平移变换矩阵作 为后期的单应性变化矩阵； 否则采用查询索引KD树方式， 建立一对多假设匹配集， 并以空间距离作为第六步中特 征点的相似性评估指标， 筛选出符合要求的匹配点； 并使用距离直方图约束全局相似属 性 来剔除误匹配点对， 计算单应性变换矩阵； 第八步， 对第四步中的两幅配准 图像构建基于拉普拉斯Laplacian金字塔的多分辨率 融合模型， 并结合第七步中的单应性变换矩阵， 对第四步中的两幅配准图像进 行融合， 实现 无人机遥感多光谱图像的拼接； 之后返回第四步， 直到 完成所有序列图像的拼接后退 出。 2.如权利要求1所述的一种面向水域的无 人机遥感多光谱图像拼接方法， 其特 征在于， 所述第一 步中， 多波段图像的合成方法如下： 接收无人机遥感的多光谱图像， 并将同时刻拍摄的同一位置的单波段图像进行合成， 得到多波段图像； 并根据获取单波段图像对应的经纬度POS信息剔除起飞和返航时的经纬高数据异常 值； 所述经纬度POS信息包括经度lon、 纬度lat、 航高H、 航向角γ、 俯仰角α、 滚转角β、 地面 分辨率∈以及测量系统的地理坐标系和投影坐标系； 地面分辨率∈的计算公式如下： ∈＝pixelsize* H/f   (1)。 3.如权利要求1所述的一种面向水域的无 人机遥感多光谱图像拼接方法， 其特 征在于， 所述第二 步中， 几何校正的方法包括以下内容： 步骤21， 建立图像坐标系O ‑xy， 相机坐标系S ‑XsYsZs， 机体坐标系P ‑XpYpZp， 地理坐标系 E‑XEYEZE； 步骤22， 对步骤21中的图像坐标系选择以像主点为原点， 沿飞行方向为y轴的正方向， 垂直于飞行方向为x轴的正方向时， 根据相机与机体的相对位置 关系及无人机的飞行姿态，权　利　要　求　书 1/6 页 2 CN 114936971 A 2进行图像坐标系下像点g(x， y)与地理坐标系下对应物点G(XE， YE， ZE)的变化关系转换； 变化关系转换的计算公式如下： [XE， YE， ZE]ET＝ λ REPRPSRSO[x， y]OT＝ λ REPRPS[x， y，‑f]oT   (2) 其中， f为焦距， 用于表示图像坐标系与相机坐标系在Z轴方向的平 移量； 步骤23， 由于相机的镜头光心与无人机的质心重合， 且相机坐标轴系经过平移后与机 体坐标系完全重合， 即RPS为单位矩阵I； 根据步骤2 2中的平移量， 构建相机成像模型， 其计算公式如下： [XE， YE， ZE]ET＝ λ REP[x， y，‑f]OT   (3) 其中， REP＝R(H)R(γ)R( β )R( α )， λ为比例系数， 即 λ＝H /f； 在正直摄影条件下， 遥感图像中像点g(x， y)与校正后的像点g ′(x′， y′)的满足关系式 如下： (x′， y′，‑f)OT＝REP(x， y，‑f)OT   (4) 其中， R( α )、 R(β )、 R(γ)、 R(H)分别为基于俯仰角的校正旋转矩阵、 基于滚动角的校正 旋转矩阵、 基于偏航角 角的校正旋转矩阵、 基于航高的校正矩阵； 步骤24， 对步骤23中的R( α )、 R(β )、 R(γ)、 R(H)分别建立俯仰角校正矩阵、 滚动角校正 矩阵、 偏航角校正矩阵、 高度校正矩阵， 得到校正数 学模型； 俯仰角校正矩阵： 滚动角校正矩阵： 偏航角校正矩阵： 权　利　要　求　书 2/6 页 3 CN 114936971 A 3