(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221094313 0.3 (22)申请日 2022.08.08 (71)申请人 上海大学 地址 200444 上海市宝山区上 大路99号 (72)发明人 马世伟　汪洋　 (74)专利代理 机构 上海上大专利事务所(普通 合伙) 3120 5 专利代理师 何文欣 (51)Int.Cl. G06T 7/33(2017.01) G06T 7/13(2017.01) G06V 10/74(2022.01) G06N 3/00(2006.01) (54)发明名称 一种复杂背景下红外与可见光图像配准的 方法 (57)摘要 本发明公开了一种复杂背景下红外与可见 光图像配准的方法。 该方法针对复杂背景下红外 与可见光图像的非线性强度差异大、 相似性低和 配准难度大的问题， 首先通过灰度分布窗(GDW) 分别提取源图像的边缘特征图像， 排除了背景区 域信息的干扰， 减少了重叠区域灰度值配对的种 类； 然后构造了一种基于GDW与归一化互信息 (NMI)相结合的相似 性度量函数(GDW ‑NMI)， 将图 像配准问题转化为求解相似性度量最优解的问 题， 其局部极值干扰小、 全局最优解突出； 最后利 用一种改进的并行搜索狼群算法(PSWPA)， 可通 过步长调整和多维度并行搜索策略求得GDW ‑NMI 的全局最优解， 作为图像配准的几何变换参数， 实现了红外图像与可 见光图像的准确配准。 权利要求书3页 说明书6页 附图3页 CN 115409877 A 2022.11.29 CN 115409877 A 1.一种复杂背景下红外与可见光图像配准的方法， 其特征在于： 通过分析复杂背景下 红外图像与可见光图像灰度分布特点与互信息的关联性， 构建一个灰度分布窗GDW对待配 准的两个源图像分别进行特征提取， 得到基于GDW和归一化互信息NMI的相似性度量函数 GDW‑NMI， 其局部极值干扰小、 全局最优解突出； 然后借鉴狼群算法中的探狼游走机制， 通过 可变步长和多维度搜索策略， 构建一种并行搜索狼群算法PSWPA， 利用其求得GDW ‑NMI的全 局最优解， 作为图像配准的几何变换参数， 实现准确的红外图像与可见光图像配准， 具体步 骤如下： 步骤1： 构建一个GDW函数， 分别提取待配准的红外图像和可见光图像的显著性边缘特 征， 得到两幅特征图像； 步骤2： 将两幅特征图像视为两个随机变量， 构造用于度量两幅图像相似程度的GDW ‑ NMI函数； 步骤3： 初始化P SWPA算法， 将人工 狼随机分布到GDW ‑NMI的优化 求解空间中； 步骤4： 执行PSWPA算法， 在GDW ‑NMI的解空间中， 人工狼通过并行搜索找到全部极值， 不 断调整步长， 迭代剔除局部极值， 筛 选出全局最优解； 步骤5： 将全局最优解对应的图像参数进行几何变换， 应用于被配准的源图像， 得到配 准后的红外与可 见光图像。 2.根据权利要求1所述的复杂背景下红外与 可见光图像配准的方法， 其特征在于： 所述 相似性度量函数GDW ‑NMI， 基于区域配准的思想， 利用GDW来提取图像显著轮廓， 通过将图像 间非一致细节信息区域划分到平坦区域并将对应灰度值设置为零， 排除了背 景区域信息的 干扰， 减少了重叠区域灰度值配对的种类， 所构建 的GDW‑NMI函数表面光滑且主峰尖锐， 用 该函数进 行相似性度量时能够避免搜索空间中局部 极值的干扰， 有利于提高配准精度和配 准正确率， 其构建过程如下： 1)将待配准的红外和可见光图像分别作为待配准的浮动图像和参考图像， 或者相反， 分别以两个图像的中心像素点为圆心、 半径 为(N‑1)/2画圆， 创建一个大小为(N ×N)的窗口 区域GDW； 2)对当前窗口内所有像素点的像素值进行排序， 得到窗口内最大像素值和最小像素 值， 若二者之差小于设定域值， 则视当前窗口内像素点处于平坦区域并将其中心点像素值 置0， 否则视该区域为边缘区域； 这样， 将当前窗口内所有像素点划分为三个区域， 低像素平 坦区域、 高像素平 坦区域和边缘区域； 然后根据中心 点所在的区域对其像素值更新， 若其处 于边缘区域， 则通过去除极大、 极小值后取平均的方式设置新的灰度值， 否则设置为0； 3)用GDW窗口遍历整幅图像的所有像素点， 进行步骤2)的像素值更新操作， 即得到特征 图像； 将该两幅特征图像视为两个随机变量， 其中参考图像的特征图记为A， 浮动图像的特 征图记为B， 形成一种相似性度量函数GDW ‑NMI， 用于度量两幅图像的相似程度， 其归一化互 信息NMI(A,B)表示 为： 其中， PA(a)表示A中灰度值为a的出现概率， PA(a)log2PA(a)表示A中灰度值为a的信息 量； PB(b)表示B中灰度值为b的出现概率， PB(b)log2PB(b)表示B中灰度值为b的信息量； PAB (a,b)表示A中灰度值为a的像素点在B中对应像素点的灰度值为b的概率； 两幅图像配准的权　利　要　求　书 1/3 页 2 CN 115409877 A 2问题就转化为求解相似性度量GDW ‑NMI函数最优解的问题。 3.根据权利要求1所述的复杂背景下红外与 可见光图像配准的方法， 其特征在于： 所述 采用并行搜索狼群算法PSWPA求得GDW ‑NMI的全局最优解， 利用了多维度并行搜索和可变步 长， 全局搜索自由度高， 使人工狼在召唤和围攻过程中不错 失极值点， 通过人工狼并行搜索 相似性度量搜索空间内的所有极值， 筛选出全局最优解， 作为图像配准的几何变换参数， 实 现红外与可见光图像的准确配准； 在PSWPA算法中， 设人工狼i的初始位置为Xi， 该位置的 GDW‑NMI目标函数值在PSWPA算法中称之为猎物气味浓度Yi， 将猎物气味浓度最高位置处的 人工狼设置为头狼； 人工狼的搜索空间维度数为D， 也就是GDW ‑NMI几何空间上的不同方向， 分别表示图像几何变换中的横向位移、 纵向位移、 缩放比例和旋转角度； 对于每一个搜索维 度d∈[1,D]， 设定该维度下猛狼与头狼的最近距离为dnear， 在该维度下人工狼三种行为的 执行过程如下： 1)探狼游走： 探 狼i在当前迭代次数Tcur下的搜索步长 为： 其中， Su和Sl分别表示该维度的搜索上下限； 探狼游走过程中， 不断向猎物气味浓度更 高或更优的位置移动， 若遇 到更优的位置， 则更新当前位置， 更新公式为： 其中， k为更新次数， Xi(k)为探狼i原本位置， Xi(k+1)为其更新后的位置； λ0为[‑1,1]之 间的随机数， 用于调整探狼的搜索步长； 在探狼游走过程中， 猎物气味浓度的增量， 即新位 置的猎物气味浓度减去上一位置时猎物气味浓度， 与上一位置时猎物气味浓度的比值称之 为猎物气味浓度变化 率； 探狼根据猎物气味浓度的变化 率动态调整其游走步长， 表示 为： 其中， C表示探狼i当前游走过程中猎物气味浓度变化率排在整个狼群中前列的次数， 猎物气味浓度变化率排行靠前代表GDW ‑NMI值突增， 此时通过(4)式迅速缩小该探狼的游走 步长， 仅针对较小区域进 行细致搜索， 而其他探狼则继续保持上一次游走的步长， 这样使 所 有探狼不互相牵制地并行搜索； 2)头狼召唤和猛狼围攻： 当探狼游走达到Tscout时， 更新头狼， 进行头狼召唤和猛狼围攻 这两个独立的行为； 猛狼听到头狼召唤后向头狼位置快速进发， 当猛狼距离头狼小于参数 dnear时， 执行围攻 行为； 猛狼由召唤行为转为围攻 行为同样是根据参数dnear决定， 猛狼j的位 置更新公式为： Xj(k+1)＝Xj(k)+λ1*(Xlead‑Xj(k))       (5) 其中， Xj(k)为猛狼原本位置， Xj(k+1)为其更新后的位置， Xlead为当前头狼的位置； 当Xj (k)≥dnear时， 取λ1为[0,1]之间的随机数， 保证猛狼朝着头狼的方向快速移动； 当Xj(k)< dnear时， 取λ1为[‑1,1]之间的随机数， 保证猛狼在头狼附近进行前后 搜索； 如果此过程中头 狼更换了， 则新的头狼重新执行召唤过程； 否则， 当循环次数达到Tcalling时， 停止召唤和围 攻行为， 启动强者生存机制启动， 将人工狼中位置最差(猎物气味浓度最低)的人工狼重新 随机初始化； 依据上述1)和2)的过程， 人工狼每移动一步， 其所有维度的参数都更新一次； 重 复执行 1)和2)， 直到达到最大迭代次数Tmax为止； 此时头狼所在位置即为GDW ‑NMI的全局最优解权　利　要　求　书 2/3 页 3 CN 115409877 A 3