(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210961942.0 (22)申请日 2022.08.11 (71)申请人 中国电子科技 集团公司第十四研究 所 地址 210039 江苏省南京市雨 花台区国睿 路8号 (72)发明人 欧湛　尚士泽　吴福伟　周洋　 杨予昊　 (74)专利代理 机构 南京知识律师事务所 32 207 专利代理师 严梦婷　高娇阳 (51)Int.Cl. G06T 7/33(2017.01) G06T 7/38(2017.01) G06T 5/00(2006.01) G06T 5/50(2006.01)G06T 5/10(2006.01) G06F 17/16(2006.01) G06V 10/74(2022.01) (54)发明名称 一种利用 视频特征跟随的太赫兹光电图像 配准方法 (57)摘要 本发明公开了一种利用视频特征跟随的太 赫兹光电图像配准方法， 包括以下步骤： 图像预 处理； 基于SURF的第一帧图像配准： 基于SURF特 征计算出相 匹配的第一帧雷达图像和第一帧光 学图像的特征点； 视频跟随特征提取； 序列图像 配准。 本发明利用视频特征跟随方法， 将复杂的 异源图像配准问题转化为同源图像配准问题， 降 低了问题复杂度， 提高了 配准精度。 权利要求书2页 说明书6页 附图4页 CN 115222786 A 2022.10.21 CN 115222786 A 1.一种利用视频特征跟随的太赫兹光电图像配准方法， 其特征在于， 所述光电图像为 光学图像和雷达图像， 所述方法包括以下步骤： 图像预处理： 对雷达 图像采用斜地变换进行预处理， 对光学图像采用互相关进行去抖 动处理； 基于SURF的第一帧图像配准： 基于SURF特征计算出相匹配的第一帧雷达图像和第一帧 光学图像的特 征点； 视频跟随特征提取： 对光学图像流和雷达 图像流分别进行处理， 采用 梯度下降方法最 小化待配准帧图像与第一帧图像的匹配均方根误差， 得出除第一帧图像外的各帧图像的特 征点和变换矩阵； 所述各帧图像包括各帧雷达图像和光电图像； 序列图像配准： 根据视频的每帧雷达图像和光电图像的特征点计算相应的光电变换矩 阵， 对每帧雷达图像和光学图像进行配准， 得到配准后的图像序列。 2.根据权利1要求的利用视频特征跟随的太赫兹光电图像配准方法， 其特征在于， 所述 视频跟随特 征提取具体包括以下步骤： 对第一帧雷达图像和第 二帧雷达图像进行配准， 以两幅图像强度的均方根误差为优化 目标， 采用梯度下降法对变换矩阵进行迭代估计得到第二雷达图像 变换矩阵P2； 由第一帧雷达图像的特征点和变换矩阵P2可计算出第二帧雷达图像的特征点为X2＝ P2X1； 同理， 对光学图像执行相同操作也可得到光学图像中的特征点Y2＝Q2Y1； 其中， X1为基 于SURF特征的第一帧图像配准得到的第一帧雷达图像的特征点， Y1为基于SURF特征的第一 帧图像配准 得到的第一帧光 学图像的特征点， Y2为第二帧光 学图像的特征点， Q2为第二光 学 图像变换矩阵P2； 对后续各待配准帧的光学图像和雷达图像， 分别与第 一帧光学图像和第 一帧雷达图像 进行配准， 得 出其对应的特 征点。 3.根据权利2要求的利用视频特征跟随的太赫兹光电图像配准方法， 其特征在于， 所述 基于SURF的第一帧图像 配准包括以下步骤： 对第一帧光学图像和第一帧雷达图像采用基于SURF特征的方式进行配准， 分别得到第 一帧光学图像和第一帧雷达图像的特 征点， 分别为X1和Y1； 计算第一帧光学图像和第一帧雷达图像各像素点的Hes sian矩阵； 将经过Hessi an矩阵处理过的每个像素点与 其3*3邻域 内的邻域点进行大小比较； 如果 该像素点为最大值或最小值， 则进 行保留， 并当作 原始特征点， 如果该像素点不为最大值或 最小值， 则跳过 该像素点； 通过提取原始特征点邻域内的haar小波特征并计算确定原始特征点主方向， 构造SURF 特征点描述 算子向量； 采用SURF特征点描述算子向量之间的欧式距离作为两幅图像中原始特征点的相似性 判定度量， 对原始特征点进行粗匹配， 得到第一帧光学图像和第一帧雷达图像的初始匹配 点对： 采用RANSAC算法对初始匹配点对进行筛 选， 得到最终匹配的特 征点对。 4.根据权利 3要求的利用视频特征跟随的太赫兹光电图像配准方法， 其特征在于， 所述 SURF特征点描述 算子向量表达式用 υsubregion表示， 具体为： υsubregion＝[∑dx， ∑dy， ∑|dx|， ∑|dy|]权　利　要　求　书 1/2 页 2 CN 115222786 A 2其中， ∑dx表示原始特征点主方向上haar小波特征的水平方向值之和， ∑|dx|表示原 始特征点主方向上haar小波特征的水平方向绝对值之和， ∑dy表示原始特征点主方向上 haar小波特征的垂 直方向值之和， ∑|dy|表 示原始特征点主 方向上haar小波特征的垂 直方 向绝对值之和。 5.根据权利4要求的利用视频特征跟随的太赫兹光电图像配准方法， 其特征在于， 所述 对原始特征点进行粗匹配包括以下步骤： 对于光学图像中的每一个原始特征点， 在雷达图 像原始特征点点集中查询得到它的最近邻点和次近邻点； 若最近邻距离与次近邻距离比值 小于给定阈值， 则保留该特征点与其最近邻构成的匹配， 否则剔除这个匹配对， 从而得到雷 达图像和光学图像的初始匹配点对。 6.根据权利 3要求的利用视频特征跟随的太赫兹光电图像配准方法， 其特征在于， 所述 对光学图像采用互相关进行去抖动处 理具体包括以下步骤： 采用快速傅里叶变换计算相邻两幅光学图像的相关系数矩阵ρ： ρ ＝IFFT2[FFT2(A1)·conj(FFT2(B2))] 其中FFT2和IFFT2分别表示二维傅里叶变换和二维逆傅里叶变换， conj()表示共轭计 算， A1表示相邻两帧光学图像中的前一帧光 学图像， B2表示光学图像相邻两帧光学图像中的 厚一帧光学图像； 计算ρ 中最大值对应的行列位置如下： [a， b]＝arc  max( ρ ) 其中， a表示相 关系数矩阵ρ 中的最大值的行位置， b表示相关系数矩阵ρ 中的最大值的 列位置； 设Mr和Mc分别表示对应图像匹配的行位置偏差和列位置偏差， 计算公式为： 其中， Nak和Nbk分别为图像的像素点的总行 数和总列数； 按对应图像匹配的行位置偏差和列位置偏差对两光学图像作圆移校正光学图像的抖 动。权　利　要　求　书 2/2 页 3 CN 115222786 A 3