(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211262382.6 (22)申请日 2022.10.14 (71)申请人 西安镭映光电科技有限公司 地址 710071 陕西省西安市高新区丈 八一 路汇鑫IBC大厦C90 02-37号 (72)发明人 任获荣　黄雪影　赵毅　 (74)专利代理 机构 郑州知倍 通知识产权代理事 务所(普通 合伙) 41191 专利代理师 邱珍珍 (51)Int.Cl. G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/766(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于YOLOv4多尺度特征融合的红外小 目标检测方法 (57)摘要 本发明公开了一种基于YOLOv4多尺度特征 融合的红外小目标检测方法， 改善传统红外小目 标检测方法在把不同背景下鲁棒性差、 特征耦合 以及特征易缺失的问题。 该发明含有， 1、 获取红 外小目标检测图像进行预处理； 2、 提取图像的全 局特征， 对目标区域进行扩张卷积后的特征嵌入 全局分支中； 3、 使用滑动窗口对原始图像进行采 样并进行下采样降低原始图像分辨率， 得到对抗 网络模型输入训练好的生成对抗网络模型； 4、 将 主干网络输出的局部增强的特征、 获取的全局特 征和上下文特征， 通过学习不同的权值相互融 合； 5、 融合后的模块输入空间自注意机制； 6、 计 算损失函数得到最终检测结果。 该技术能够适应 在不同环境下红外小目标检测的需求。 权利要求书2页 说明书7页 附图3页 CN 115546502 A 2022.12.30 CN 115546502 A 1.一种基于YOLOv4多尺度特征融合的红外小目标检测方法， 其特征在于： 含有以下步 骤， 步骤1、 获取红外小目标检测图像， 对图像进行 预处理， 调整为统一尺寸； 步骤2、 提取图像的全局特征， 对目标区域进行扩张卷积， 将扩张卷积获取的特征嵌入 全局分支中， 学习目标区域的上 下文信息； 步骤3、 使用滑动窗口对原始图像进行采样， 将采样后的图像块序列进行下采样降低原 始图像分辨率， 得到的低分辨率图像用于训练生成对抗网络模型， 将滑动窗口采样的图像 块序列输入训练好的生成对抗网络模型， 获取局部特 征增强的图像； 步骤4、 将步骤3得到的图像输入YOLOv4的主干网络， 将主干网络输出的局部增强的特 征、 步骤2中获取的全局特 征和上下文特征， 通过学习不同的权值相互融合； 步骤5、 融合后的模块输入空间自注意机制， 增强红外小目标在空间结构中的依赖响 应； 步骤6、 计算损失函数， 通过YOLOv4的头部网络对红外小目标位置回归， 得到最终的检 测结果。 2.根据权利要求1所述的基于YOLOv4多尺度特征融合的红外小目标检测方法， 其特征 在于： 所述步骤1中输入待检测图像， 采用Opencv中的resize()函数， 将尺寸调整到同一大 小。 3.根据权利要求1所述的基于YOLOv4多尺度特征融合的红外小目标检测方法， 其特征 在于： 所述 步骤2中获取输入图像的全局特 征信息包括以下步骤： 步骤2.1、 将待检测图像输入卷积神经网络进行特征提取， 抽象出目标对象的全局特征 表示； 步骤2.2、 引入 扩张卷积， 学习上 下文信息， 增强全局特 征提取的表示能力； 步骤2.3、 将上 下文信息嵌入 全局分支当中， 获取 更加完整的特 征信息与先验表示。 4.根据权利要求1所述的基于YOLOv4多尺度特征融合的红外小目标检测方法， 其特征 在于： 所述步骤3中构建生成对抗网络模型， 获取局部特征增强的高分辨率图像， 包括以下 步骤： 步骤3.1、 设置滑动窗口 的尺寸大小为16 ×16， 滑动步数为12； 步骤3.2、 采用双三次插值方法对滑动窗口图像序列进行 下采样得到低分辨 率图像； 步骤3.3、 将得到的水平方向和垂直方向都缩放为原来一半的图像输入生成器， 鉴别器 为正常图像序列， 引入随机噪声， 通过生成器与鉴别器的对抗学习， 计算损失函数， 训练生 成对抗网络模型； 步骤3.4、 将滑动窗口采样的图像块序列输入训练好的生成对抗网络模型， 获取局部特 征增强的高分辨 率图像。 5.根据权利要求1所述的基于YOLOv4多尺度特征融合的红外小目标检测方法， 其特征 在于： 所述步骤4中融合全局特征与局部增强特征包括以下步骤： 将得到的高分辨率图像输 入YOLOv4的主干网络， 通过CSPDarknet53输出的不同尺度的特征， 输出的不同尺度特征与 步骤2中获得的全局特 征设置不同的权 重， 卷积后将不同尺度的特 征进行融合相加。 6.根据权利要求1所述的基于YOLOv4多尺度特征融合的红外小目标检测方法， 其特征 在于： 所述步骤5将融合后的模块输入空间自注意机制， 包括以下步骤： 步骤5.1、 设置特征权　利　要　求　书 1/2 页 2 CN 115546502 A 2融合模块的输出 特征图为[C ×H×W]， H、 W和C分别表示特 征映射的高度、 宽度和通道； 步骤5.2、 将其输入三个1 ×1卷积中， 生成三个特 征映射F1、 F2和F3； 步骤5.3、 通过重构F1、 F2和F3， 衡量特征图不同位置之间 的影响， 首先对F1的转置以及 F2进行矩阵乘法； 然后通过Softmax 归一化函数操作得到F4； 步骤5.4、 最后， 对F3和F4进行矩阵乘法运 算， 得到最终的输出[C ×H×W]。 7.根据权利要求1所述的基于YOLOv4多尺度特征融合的红外小目标检测方法， 其特征 在于： 所述所述 步骤6中， 定义总体损失函数： Loss＝LGAN+LClass+LBox 其中， LGAN、 LClass、 LBox分别为生成对抗网络模型损失函数、 分类损失函数和边界框回归 损失函， 分类损失函数 具体定义如下： 其中， 和 分别表示第i格第j个边界框中对象所属类别c的预测概率和真实概 率； 边界框回归损失函数 具体定义如下： 其中， IOU表示预测边界框和真值边界框的并集的交集， wgt、 hgt分别是边界框的真值宽 度和高度， w和h分别为预测的包围框宽度和高度， ρ2(b,bgt)表示预测边界框和真值边界框 中心点之间的欧氏距离， c表 示预测边界框和真值边界框的最小对角线距离， 根据目标对象 的真类和 模型预测类， 可以将样本数据分为真阳性(TP)、 假阳性(FP)、 真阴性TN)和假阴性 (FN)四类， 最后通过查全率、 查 准率和F1来评判网络结构的检测准确率， 具体公式如下： 其中F表示预测为目标中真实目标的比例， R表示被成功预测的比例， F1表示红外小目标 检测网络的精度。权　利　要　求　书 2/2 页 3 CN 115546502 A 3