(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210660801.5 (22)申请日 2022.06.13 (71)申请人 江苏大学 地址 212013 江苏省镇江市京口区学府路 301号 (72)发明人 顾寄南　胡甜甜　王文波　王梦妮　 夏子林　 (74)专利代理 机构 南京智造力知识产权代理有 限公司 32382 专利代理师 汪芬 (51)Int.Cl. G06V 20/68(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06T 7/73(2017.01) G06T 7/521(2017.01) G06T 7/80(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) A01D 91/04(2006.01) (54)发明名称 一种改进型YOLOX目标检测模 型构建方法及 其应用 (57)摘要 本发明公开了一种改进型YOL OX目标检测模 型构建方法及其应用， 本申请针对YOLOX基本目 标检测模型并进行网络改进， 主要分为三个模 块： 主干特征提取模块、 加强特征提取模块和预 测特征模块。 主干特征提取网络的基础上增添了 SE注意力机制模块， 通过自主学习的方式来获取 到每个特征通道的重要程度， 明确建模网络卷积 特征通道之间的相互依赖关系来提高网络生成 的表示质量， 从而筛选出针对通道的注意力， 有 效地改善网络性能。 加强特征提取网络采用ASFF 自适应空间特征融合结构； 基于所构建的改进型 YOLOX目标检测模型结合RealSense相机获取到 的深度信息输出三维坐标， 实现目标定位。 本发 明在自然环 境下果实采摘问题中， 相对于传统方 法识别精度要高且识别速度要更 快。 权利要求书2页 说明书7页 附图3页 CN 115019302 A 2022.09.06 CN 115019302 A 1.一种改进型YOLOX目标检测模型构建方法， 其特 征在于， 包括如下步骤： 步骤1、 搭建 改进型YOLOX目标检测模型结构， 包括主干特征提取网络、 加强特征提取网 络和预测特 征网络； 所述主干特征提取网络主要由Focus网络结构、 CBL网络结构、 CSPnet网络结构、 SPP网 络结构和S E注意力机制结构组成， 3个SE注 意力机制模块分别记为S E‑1网络结构、 SE ‑2网络 结构、 SE‑3网络结构； 由Focus网络结构、 第一CBL网络 结构、 第一CBL+CSPnet网络 结构、 第二 CBL+CSPnet网络结构、 SE ‑1网络结构、 第三CBL+CSPnet网络结构、 SE ‑2网络结构、 第二CBL网 络结构、 SPP网络结构、 CSPnet网络结构和SE ‑3网络结构依次连接而成； 输入为图像输入 Focus网络结构， SE ‑1网络结构、 SE ‑2网络结构、 SE ‑3网络结构分别输出第一有效特征层、 第 二有效特 征层和第三有效特 征层； 加强特征提取网络采用PAN+FPN特征金字塔和ASFF自适应空间特征融合结构， 将不同 shape的特征层进行特征融合， 加强特征提取网络由2个Conv2d、 4个Concat+CSPnet网络结 构、 2个上采样、 2个下采样和3个ASF F网络结构 构成； 预测特征网络接收加强特 征提取网络的输出， 通过 预测特征网络获取 特征信息； 步骤2、 训练步骤1中所 搭建的改进型YOLOX目标检测模型 结构。 2.根据权利要求1所述的一种改进型YOLOX目标检测模型构建方法， 其特征在于， 所述 CBL网络结构是由Co nv2d、 BN层以及Si LU激活函数构成。 3.根据权利要求2所述的一种改进型YOLOX目标检测模型构建方法， 其特征在于， CSPnet网络结构是由3个CBL网络结构、 Residual残差块和Conc at连接层构成， CSPnet网络 结构的输入分两条路处理， 一条是依次经过CBL网络结构和Residual残差块处理， 另一条路 直接经过CBL网络结构， 且两条路的输出通过Concat连接层拼接后再输入CBL网络结构， 得 到最终输出。 4.根据权利要求3所述的一种改进型YOLOX目标检测模型构建方法， 其特征在于， 所述 CBL+CSPnet网络结构是按顺序连接的CBL网络结构和CSPnet网络结构， CBL网络结构的输出 作为CSPnet网络结构的输入。 5.根据权利要求1所述的一种改进型YOLOX目标检测模型构建方法， 其特征在于， 所述 SE注意力机制模块包括压缩和激励两部 分， 通过全局池化将特征图压缩为 1×1×C的向量； 通过学习将各个特征通道生成权重， 将得到的通道权重与 原特征图对应通道的二 维矩阵相 乘， 即对原有的特称图进行通道方向上的加权得到 输出， C表示特 征图的通道数。 6.根据权利 要求1所述的一种改进型YOLOX目标检测模型构 建方法， 其特征在于， 在PAN +FPN特征金字塔融合的基础上增 加可学习系数， 实现自适应融合效果， 公式如下： 其中， 表示通道之间输出特征映射Yl的第(i， j)个特征向量， 表示从1级调整到l 级的特征图上位置(i， j)处的特征向量， 表示从2级调整到l级的特征图上位置(i， j)处 的特征向量， 表示从3级调整到l级的特征图上位置(i， j)处的特 征向量， 是指 由网络自适应学习的三个不同级别到l级别的特征图的空间重要性权重， 上标l表示为第l 级的特征图。权　利　要　求　书 1/2 页 2 CN 115019302 A 27.根据权利要求1所述的一种改进型YOLOX目标检测模型构建方法， 其特征在于， 所述 预测特征网络采取三个解耦头， 每 个解耦头代 表一个分支， 分别表示 为： 第一个分支Cls(H,W,C)： 预测目标框的类别； 第二个分支Reg(H,W,4)： 预测目标框的坐标信息； 第二个分支Obj(H,W,1)： 判断目标框是否包 含物体； 三个解耦头获取到特 征信息经 过Concat拼接融合后， 得到预测信息 。 8.根据权利要求1所述的一种改进型YOLOX目标检测模型构建方法， 其特征在于， 利用 深度相机获取自然场景 下待识别果实的彩色图， 并对彩色图进行 标注形成数据集； 将数据集按照(训练集+验证集)： 测试集＝9： 1， 训练集： 验证集＝9： 1划分得到训练集、 验证集和 测试集， 用于改进型YOLOX目标检测模型 结构的训练、 验证以及测试。 9.一种基于改进YOLOX结合RealSense的果实识别与定位方法， 其特征在于， 包括如下 步骤： 步骤1、 调用RealSense相机采集待识别果实的彩色图和深度图； 步骤2、 将RealSense相机获取到的彩色图输入采用如权利要求1所述一种改进型YOLOX 目标检测模型构建方法训练好的改进型YOLOX目标检测模型中， 进行目标果实的识别并生 成二维目标框， 步骤3、 通过识别出二维 目标框的左上点和右下点的坐标， 计算出二维 目标框中心点的 像素坐标(X,Y)； 在对齐的深度图中提取二维目标框中心点像素坐标对应的深度值Z， 实时 获取目标果实中心点的三维坐标(X,Y,Z)； 步骤4、 利用相机标定获取相机内参参数对目标果实中心点的三维坐标(X,Y,Z)转换成 相机坐标系表示。 10.根据权利 要求1所述的一种基于改进YOLOX结合RealSense的果实识别与定位方法， 其特征在于， 相机坐标系下目标果实中心点的三维坐标表示 为(X1,Y1,Z)， 其中， X1＝(X‑Cx)/fx*Z Y1＝(Y‑Cy)/fy*Z 其中， fx表示使用像素来描述x轴方向焦距的长度， fy表示使用像素来描述y轴方向焦距 的长度， (Cx、 Cy)分别代表相机感光芯片的中心点在x和y方向上存在的偏移量。权　利　要　求　书 2/2 页 3 CN 115019302 A 3