(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210526772.3 (22)申请日 2022.05.16 (71)申请人 福建农林大 学 地址 350002 福建省福州市仓山区上 下店 路15号 (72)发明人 魏萱　曾泰恒　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 陈明鑫　蔡学俊 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/90(2017.01) G06T 7/73(2017.01) G06V 10/762(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于轻量化改进YOLO的番茄成熟度检 测方法 (57)摘要 本发明涉及一种基于轻量化改进YOLO的番 茄成熟度检测方法。 采集大棚环境下的番茄图 像， 并基于成熟度将数据集划分为成熟、 半成熟、 未成熟三种状态。 利用K ‑means聚类算法对番茄 数据集中已标注的目标边界锚框聚类， 产生不同 数量、 不同大小的先验框。 构建改进后的YOL O v5 模型， 摘除原YOLOv5的Focus层， 利用MobileNet   V3的bneck模块替换原YOLOv5的backbone部分， 实现模型的轻量化。 调用摄像头， 采集大棚环境 下番茄视频流， 并实时输入改进后的YOLOv5模 型， 利用显示终端输出预测结果， 即番茄的位置、 类别和数量。 本发明在保证模型检测精度的条件 下， 减少了模型参数及运算量， 提高了检测速度， 降低了对于 硬件设备的算力要求。 权利要求书2页 说明书7页 附图4页 CN 114943697 A 2022.08.26 CN 114943697 A 1.一种基于轻量 化改进YOLO的番 茄成熟度检测方法， 其特 征在于， 包括如下步骤： S1、 采集大棚环境下的番茄图像形成番茄数据集， 利用开源软件LabelImg对不同成熟 度下的番茄图像进行锚框标注及类别划分， 具体类别包括三类： Mature、 Semi ‑Mature、 UnMature； S2、 将番茄数据集划分为训练集、 验证集和 测试集， 分别用于模型的训练和 测试； S3、 利用k ‑means聚类算法对番茄数据集的真实边界框进行聚类分析， 得到9种不同尺 寸的先验框； S4、 采用YOLOv5作为基础模型， 删除其Focus层， 同时利用MobileNet  V3的bncek模块替 换YOLOv5的backbo ne部分， 得到轻量 化改进后的YOLOv5模型； S5、 利用标注好 的训练集对改进后的YOLOv5模型进行训练， 将经过backbone和haed层 聚合后的特征输入YOLOv5  detect层， 对番茄果实目标的位置和类别进行预测， 利用损失函 数训练模型， 收敛以后得到最终的模型权 重； S6、 利用训练得到的最优 模型权重， 将测试集输入进行检测， 产生 最终的检测结果。 2.根据权利要求1所述的一种基于轻量化改进YOLO的番茄成熟度检测方法， 其特征在 于， 步骤S1中， 采用以下 方法构建番 茄数据集： 分别在早上及下午两个时间段， 在大棚环境下， 利用智能手机采集番茄图像1000 张， 利 用开源软件Lab elImg对番茄数据集进行标注， 其中番茄表皮颜色为深红色， 满足采摘 条件 的， 标注为 “Mature”， 表皮颜色为较浅的橘红色， 尚不满足采摘条件的， 标注为 “Semi‑ Mature”， 表皮颜色为绿色， 还处于生长阶段的， 标注为 “UnMature ”。 3.根据权利要求1所述的一种基于轻量化改进YOLO的番茄成熟度检测方法， 其特征在 于， 步骤S3中， 原始YOLOv5的三组Anchor是基于COCO数据集聚类得到， 并不适用于番茄数据 集， 因此采用k ‑means聚类算法对于番茄数据集图片中的番茄果实目标检测 框进行聚类分 析， 得到新的适用于大棚场景下番茄果实的Anchor数量与尺 寸， 并依据k ‑means聚类算法得 到的参数修改YOLO  v5网络配置文件中Anc hor数量与尺寸。 4.根据权利要求1所述的一种基于轻量化改进YOLO的番茄成熟度检测方法， 其特征在 于， 步骤S4中， 改进后的YOLOv5模型， 采用一个3x3的卷积层， 接一层BatchNorm正则化层， 加 上hard_swish激活函数来代替原有的Focus层实现下采样功能， 最终将输入尺寸为640 × 640×3的图像转 化为320×320×16的特征图， 其中， hard_sw ish激活函数表达式如下： ReLU6＝mi n(6， max(0， x) ) 其中， ReLU6为非线性激活函数， 若x≤0， 则直接转化为0， 若x＞0， 则转化为x与6中的较 大值； h‑swish为非线性激活函数， 若x≤ ‑3， 则转化为0， 若x大于等于3， 则 转化为x， 否则 转 化为x*(x+3)/ 6。 5.根据权利要求1所述的一种基于轻量化改进YOLO的番茄成熟度检测方法， 其特征在 于， 步骤S4中， bncek结构包括通道可分离卷积+SE通道注意力机制+残差连接， 其处理流程 为： 先将输入特征经过一个卷积组合层和一个深度可分离卷积组合层， 然后将得到的特征 图经过一个轻量化注 意力结构， 接着将SE注 意力结构的输出通过concat操作对深度可分离 卷积输出的特征进 行通道加权， 最 终将输入特征通过add跳跃连接与加权后的特征相加， 再权　利　要　求　书 1/2 页 2 CN 114943697 A 2经过一个卷积组合层处理后输出； 其中， 卷积组合层 包括1×1的卷积层、 批归一化层BN层和 激活函数； 深度可分离卷积组合层 包括3×3的深度可分离卷积层、 BatchNorm正则层和激活 函数； SE注意力结构包括一个平均池化层和两个1 ×1的卷积层； 其中， 根据卷积核 大小及步 长的不同、 SE注意力机制 使用与否、 激活函数的不同， 调整不同层bneck结构的具体参数并 进行组合， 得到最终改进后的整体网络结构； 将320 ×320×16的特征图输入到benck结构 后， 分别在第4、 9、 17层网络后输出三个不同尺度的特 征图进入到Neck和detect层。 6.根据权利要求1所述的一种基于轻量化改进YOLO的番茄成熟度检测方法， 其特征在 于， 步骤S5中， 将步骤4聚合得到的特征图分别输入YOLOv5  detect层， 对目标的位置和类别 进行预测， 各分支分别输出一组形式为N ×N×3×(4+1+C)的向量， N表 示该尺度分支下的特 征图尺寸， 3表示该尺度分支下的预测框数量， 4和1分别表 示预测框的坐标和置信度， C表 示 数据的类别数量； 利用损失函数对 模型进行训练， 其中损失函数采用CI oU Loss， 如下式： 式中， LCIoU为预测框的位置损失， IoU为预测框和真实框的交叠率， 即他们的交集与并 集的并集， p、 pgt分别为预测框和真实框的中心点坐标， ρ2()表示欧氏距离， c包含预测框与 真实框的最小矩形的对角线长度， α 为权重函数， v函数用于度量长宽比的相 似性， v、 α 函数 的定义分别如下： 式中， wgt、 hgt分别表示 真实框的宽和高， w、 h分别表示预测框的宽和高； 设置网络模型参 数中输入图像的尺寸、 9个先验框尺寸、 识别种类的数量和标注的类名称、 初始学习率以及 学习率调整策略， 利用划分好的番茄数据集对模型进行训练； 训练过程中使用验证集进行 验证， 训练至网络模型收敛后保存最终的权 重文件。 7.根据权利要求1所述的一种基于轻量化改进YOLO的番茄成熟度检测方法， 其特征在 于， 加载步骤S5训练得到的最佳模型权重， 将测试集输入， 进行特征提取及特征聚合后， 由 detect层得到可能包含行番茄果实目标的边界框坐标、 置信度和 类别概率， 利用非极大值 抑制去除冗余的检测框， 产生 最终的检测结果。 8.根据权利要求1所述的一种基于轻量化改进YOLO的番茄成熟度检测方法， 其特征在 于， 还包括步骤， 即： 调用摄像头， 采集大棚 环境下番茄视频流， 并实时输入轻量化改进后的 YOLOv5模型， 利用显示终端实时输出 预测结果， 即番 茄果实的位置、 类别和相应数量。权　利　要　求　书 2/2 页 3 CN 114943697 A 3