(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211136929.8 (22)申请日 2022.09.19 (71)申请人 东南大学 地址 211189 江苏省南京市江宁区东 南大 学路2号 (72)发明人 刘升恒　陈嘉诚　黄永明　杨绿溪　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 专利代理师 任志艳 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/20(2022.01) G06V 10/54(2022.01) G06V 10/80(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于图像多重预处理的深度学习小目 标检测方法 (57)摘要 本发明公开了一种基于图像多重预处理的 深度学习小目标检测方法， 能够 有效提高网络捕 获小目标的能力。 所述方法包括： 图像多重预处 理模块包括： 过采样、 小目标复制粘贴、 图像增 强， 缓解了包含小目标的图像过少的问题并平衡 大物体与小物体的数量分布； 检测网络的建立包 括： ResNeXt ‑101特征提取网络、 FPN+特征纹理传 输模块， ROI  Align池化操作， 损失函数增加前 景‑背景平衡损失函数； 其中， 特征纹理传输模块 的建立， 形成一个包含更多信息的特征金字塔层 级， 实现了 更准确的小目标检测， 前景 ‑背景平衡 损失函数缓解了前景和背景的面积不平衡； 本发 明采取的训练原则包括分离训练以及端对端训 练， 逐步优化模型参数。 权利要求书2页 说明书5页 附图2页 CN 115527082 A 2022.12.27 CN 115527082 A 1.一种基于图像多重预处 理的深度学习小目标检测方法， 其特 征在于， 包括如下步骤： 步骤1， 获取图像原始数据集， 对原始数据集进行数据扩充 并平衡图像 中大物体与小物 体的数量分布， 并对数据进行增强； 步骤2， 构建Faster ‑RCNN检测网络； 步骤3， 将增强后的图片传入Faster ‑RCNN检测网络进行训练， 优化模型参数。 2.根据权利要求1所述一种基于图像多重预处理的深度学习小目标检测方法， 其特征 在于， 步骤1具体包括： 步骤1.1， 对图像原始数据集进行过采样处理， 增加包含小目标图像的数量； 在图像的 随机位置多次复制粘贴图像中的所有小目标,并且粘贴之前对目标进行尺度旋转变换， 粘 贴之后的小目标不会位于边 缘并且不会重 叠原有目标； 步骤1.2， 使用随机裁剪拼接， 旋转缩放， 翻转、 Mosaic方法对扩充过的数据 集进行数据 增强。 3.根据权利要求1所述一种基于图像多重预处理的深度学习小目标检测方法， 其特征 在于， 步骤2 中所述检测网络包括特征提取网络、 多特征融合模块、 RPN、 池化操作模块和检 测头； 使用特征提取网络对数据增强之后的图像进行特征提取后， 输入到多特征融合模块进 一步提取图像特征， 再分别输入到RPN和池化操作模块， RPN的输出数据与多特征融合模块 提取的图像特 征经过池化操作后输入检测头， 得到检测结果。 4.根据权利要求1所述一种基于图像多重预处理的深度学习小目标检测方法， 其特征 在于， 所述特 征提取网络采用ResNe Xt结构； 所述多特 征融合模块包括FPN检测网络和特 征纹理传输模块； 特征提取网络ResNeXt中ResNeXt  stage2的最大池化层被删除， 并得到C2’作为stage2 的输出， C2’输入到FPN的各层， 将FPN的P2层以及P3层的输出特征图传入特征纹理传输模块 生成P3’层特征图， P3’层再与C2’融合得到P2’层特征图， P2’层特征图为特征纹理传输模块的 输出， 随后， 特征纹理传输模块生成P2’层特征图会与FPN层的P2、 P3、 P4、 P5层传入后继的RPN 和池化操作模块进行处 理。 5.根据权利要求4所述一种基于图像多重预处理的深度学习小目标检测方法， 其特征 在于， 特征纹理传输模块包括内容语义 提取器、 亚像素 卷积和特 征纹理提取器； FPN的P3层特征图先经过内容语义提取器后， 再采用亚像素卷积增大尺度， 形成超分辨 率内容特征P3； FPN的P2层特征图先与超分辨率内容特征P3串联， 再送入特征纹理提取器处 理； 最终再将特 征纹理提取器的结果与超分辨 率内容特 征P3经1*1卷积处 理得到P3’。 6.根据权利要求4所述一种基于图像多重预处理的深度学习小目标检测方法， 其特征 在于， 步骤3中对Faster ‑RCNN检测网络的训练原则包括分离训练以及端对端训练； 首先， 去掉特征纹理传输模块， 对不含特征纹理传输模块的Faster ‑RCNN检测网络进行 训练， 训练使用的是原 始FPN； 其次， 固定特 征提取网络以及检测头， 增 加特征纹理传输模块训练； 最后， 当特 征纹理传输模块收敛时， 再对检测头进行训练微调。 7.根据权利要求4所述一种基于图像多重预处理的深度学习小目标检测方法， 其特征 在于， 损失函数增加前景 ‑背景平衡损失函数， 前景 ‑背景平衡损失函数由全局重建损失函权　利　要　求　书 1/2 页 2 CN 115527082 A 2数、 正样本损失函数组成； 全局重建损失函数强调与真实背景 特征的相似性， 用公式表达为： Lgrl(E,Et)＝‖ Et‑E ‖1 式中， E表示Faster ‑RCNN检测网络生成的特 征图， Et表示目标 特征图； 正样本损失函数强调对正样本的关注度， 用公式表达为： 式中， Ppt表示真实目标 的区域， N表示正像素总和， (x， y)表示特征图上像素 的坐标； 前 景‑背景平衡损失函数用公式表达为: Lbf(E,Et)＝Lgrl(E,Et)+λLpt(E,Et) 式中， λ是权 重平衡因子， 则总体前 景‑背景平衡损失函数表示 为： 权　利　要　求　书 2/2 页 3 CN 115527082 A 3