(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210948863.6 (22)申请日 2022.08.09 (71)申请人 南京信息 工程大学 地址 210044 江苏省南京市江北新区宁六 路219号 (72)发明人 谈玲　康瑞星　夏景明　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 柏尚春 (51)Int.Cl. G06T 7/269(2017.01) G06T 7/254(2017.01) G06V 10/74(2022.01) G06T 5/40(2006.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于WGAN-GP网络与光流法的卫星云图预测 方法 (57)摘要 本发明提出了一种基于双判别器WGAN ‑GP与 光流法的卫星云图预测方法。 首先对卫星云图数 据集进行直方图均衡化处理， 然后构建双判别器 WGAN‑GP网络， 将卫星云图序列输入生成器， 利用 光流法得到卫星云图的光流序列， 再用编码解码 器模块生 成预测光流， 将历史卫星云图与预测光 流融合生 成卫星云图的预测。 将生成卫星云图与 真实卫星云图一并输入判别器中训练， 空间判别 器与时间判别器分别对生成样本与真实样本进 行评价， 通过多次对抗训练使双判别器WGAN ‑GP 网络达到纳什均衡。 最后， 将历史卫星云图数据 输入训练好的双判别器W GAN‑GP网络的生成器得 到卫星云图预测结果。 本方法能够有效减少地面 背景信息对卫星云图预测任务的干扰， 提高卫星 云图预测的精度和效率。 权利要求书3页 说明书8页 附图3页 CN 115546257 A 2022.12.30 CN 115546257 A 1.基于WGAN ‑GP网络与光 流法的卫星云图预测方法， 其特 征在于， 包括以下步骤： 步骤S1： 获取历史卫星云图序列数据； 步骤S2： 对卫星云图进行直方图均衡化预处 理； 步骤S3： 对经过预处理的图像， 取t张卫星云图序列作 为历史数据， 第t+1张卫星云图为 预测目标； 步骤S4： 构建双判别器WGAN ‑GP网络， 每次训练以t张连续卫星云图序列输入生成器， 每 相邻两张卫星云图进 行计算得到一张光流图， 共得到t ‑1张光流图， 令光流序列经过编码 器 解码器结构输出预测光流， 将预测光流与第t时刻卫星云图融合生成第t+1时刻卫星云图的 预测； 步骤S5： 将生成卫星云图与真实卫星云图一并输入判别器中训练， 空间判别器与时间 判别器分别对生成样本与真实样本的空间相似度与时间相似度进 行评价， 通过多次迭代对 抗训练使双判别器WGAN ‑GP网络达到纳什均衡； 步骤S6： 将历史卫星云图数据输入已训练好的双判别器WGAN ‑GP网络生成器得到卫星 云图预测图像， 将生成的卫星云图预测图像加入序列， 迭代地执行生成器算法， 得到第t+1 至2t张卫星云图预测图像。 2.根据权利要求1所述的基于WGAN ‑GP网络与光流法的卫星云图预测方法， 其特征在 于， 所述步骤S2对图像进行直方图均衡化预处 理的公式为： 其中round()表示对结果取整， cdf(i)表示值为i的像素的累计分布函数， px(i)代表值 为i的像素的出现概率， L为灰度级数， v为原始图像像素值， h(v)为进行直方图均衡化操作 后的像素值。 3.根据权利要求1所述的基于WGAN ‑GP网络与光流法的卫星云图预测方法， 其特征在 于， 所述步骤S4包括以下步骤： 步骤S41， 对输入生成器的t张连续卫星云图序列， 每相邻两张卫星云图进行计算得到 一张光流图， 共得到t ‑1张光流图； 步骤S42， 构建双判别器WGAN ‑GP网络中的生成器， 生成器 网络的结构依次有： 输入层 → 光流提取层 →三维卷积层1 →三维卷积层2 →三维卷积层3 →三维卷积层4 →上采样层1 →上 采样层2→上采样层3 →上采样层4 →融合层→输出层， 三维卷积层1、 三维卷积层2、 三维卷 积层3、 三 维卷积层4属于编码 器部分， 上采样层1、 上采样层2、 上采样层3、 上采样层4属于解 码器部分； 步骤S43， 构建双判别器WGAN ‑GP网络中的判别器， 判别器网络包括空间判别器与时间 判别器， 其中空间判别器网络的结构依次有： 输入层 →二维卷积层1 →二维卷积层2 →二维 卷积层3→二维卷积层4 →全连接层1 →全连接层2 →全连接层3 →输出； 步骤S44， 构建双判别器WGAN ‑GP网络中的判别器， 其中时间判别器 网络的结构依次有：权　利　要　求　书 1/3 页 2 CN 115546257 A 2输入层→三维卷积层1 →三维卷积层2 →三维卷积层3 →三维卷积层4 →全连接层1 →全连接 层2→全连接层3 →输出； 步骤S45， 将t ‑1张光流图输入到生成器 中， 通过三维卷积层进行编码处理， 再通过上采 样层进行解码处 理生成第t张光 流图的预测； 步骤S46， 使用第t张光流图对第t张卫星云图进行重映射处理， 生成第t+1张卫星云图 的预测， 重映射 运算的公式为： pt+1(x,y)＝pt(x‑u,y‑v) 其中pt为t时刻位于卫星云图点(x,y)处的像 素值， u和v即光流图中的信息， 分别代表像 素在x方向和y方向上的运动分量。 4.根据权利要求3所述的基于WGAN ‑GP网络与光流法的卫星云图预测方法， 其特征在 于， 所述步骤S42中上采样层先使用双线性插值法令特征图大小翻倍， 再利用卷积使通道数 减半； 在三维卷积层1、 三维卷积层2和三维卷积层3后加入了三个跳跃连接， 分别连接到上 采样层1、 上采样层2、 上采样层3后， 将在编码器中经过三维卷积处理的特征图与在解码器 中进行上采样后的特征图进行拼接， 再传递给下一层作为输入特征图， 使解码器能够获得 浅层编码器学习到的信息 。 5.根据权利要求3所述的基于WGAN ‑GP网络与光流法的卫星云图预测方法， 其特征在 于， 所述步骤S42中三维卷积层1的卷积核大小为3 ×3×3， 三维卷积层2,3,4的卷积核大小 为2×3×3， 三维卷积层4的步长为(1,1,1)， 三维卷积层1,2,3的步长为(1,2,2)， 填充均为 (0,1,1)。 6.根据权利要求3所述的基于WGAN ‑GP网络与光流法的卫星云图预测方法， 其特征在 于， 所述步骤S43中卷积层的卷积核大小为3 ×3， 步长为2， 填充为1。 7.根据权利要求3所述的基于WGAN ‑GP网络与光流法的卫星云图预测方法， 其特征在 于， 所述步骤S44中时间判别器网络的三维卷积层1至三维卷积层3的卷积核大小3 ×3×3， 三维卷积层4的卷积核大小为2 ×3×3， 各层的步长均为(1,2,2)， 填充为(0,1,1)。 8.根据权利要求1所述的基于WGAN ‑GP网络与光流法的卫星云图预测方法， 其特征在 于， 所述步骤S5中包 含以下步骤： 步骤S51： 固定生成器参数， 训练判别器， 双判别器WGAN ‑GP网络判别器的损失函数为： LD＝LS+LT+LGP 其中， LS为空间判别器损失， LT为时间判别器损失， LGP为梯度惩罚项， LD为判别器最终的 损失， m为训练数据批次大小， G()为生成器的输 出即卫星云图的预测， xf表示历史卫星云图 序列， xr为目标卫星云图， sr表示真实卫星云图序列， 即历史卫星云图加上目标卫星云图， sf权　利　要　求　书 2/3 页 3 CN 115546257 A 3