(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211050631.5 (22)申请日 2022.08.29 (71)申请人 南京工业大 学 地址 211816 江苏省南京市浦珠南路3 0号 申请人 盐城师范学院 (72)发明人 黄哲　唐仕喜　沈冠东　王仕廉　 高心悦　 (74)专利代理 机构 镇江基德专利代理事务所 (普通合伙) 32306 专利代理师 邓月芳 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种苹果采摘障碍树枝的感知与识别方法 (57)摘要 本发明提供了一种苹果采摘障碍树枝的感 知与识别方法， 包括以下步骤： S1： 采集若干张树 枝与苹果的图像； S2： 使用labelImg对图片中所 有树枝数据集进行标注， 对 标注后的数据集进行 细分， 使用labelI mg对仅遮挡住苹果的树枝进行 标注， 获得背景为红色苹果的树枝集； S3： 使用 labelme对细分后的树枝集进行预处理， 对形状 特征为矩形的树枝轮廓进行标注； S4： 改进Dice 系数； S5、 改进YOLOv4函数； S6、 预测； S7、 得出最 优数据集。 本方法使用语义分割对树枝集做了预 处理， 优化树枝特征不明显的问题； 通过对 YOLOv4模型进行改进， 提出了一种适用于树枝的 BIOU边框回归损失函数， 同时提高了置信 度较低 样本以及置信度较高样本的识别率。 权利要求书3页 说明书7页 附图2页 CN 115359356 A 2022.11.18 CN 115359356 A 1.一种苹果采摘障碍树枝的感知与识别方法， 其特 征在于， 包括以下步骤： S1、 获取图像： 采集若干张树枝与苹果的图像； S2、 标注、 细分： 使用labelImg对图片中所有树枝数据集进行标注， 对标注后的数据集 进行细分， 使用label Img对仅遮挡住苹果的树枝 进行标注， 获得背景为红色苹果的树枝集； S3、 预处理： 使用labelme对细分后的树枝集进行预处理， 对形状特征为矩形的树枝轮 廓进行标注； S4、 改进Dice系数： 对语义分割网络模型中的Dice系数进行改进， 将预处理后的树枝集 放入改进后的模型中训练； S5、 改进YOLOv4函数： 改进YOLOv4 中的边框回归损失函数， 将细分后的树枝集放入改进 后的YOLOv4网络模型中训练； S6、 预测： 输入待测图片， 对待测图片中遮挡住苹果的树枝 进行预测； S7、 得出最优数据 集： 将S6得到的预测结果反馈给YOLOv4网络模型， 更换权值文件进行 对比训练， 挑选出 预测效果 最优的权值文件， 同时得 出训练效果 最优的树枝集。 2.根据权利要求1所述的一种苹果采摘障碍树枝的感知与识别方法， 其特征在于， 改进 前的Dice系数s为： 改进后的Dice系数s ′为： 上式中， X为分割的真实值元 素个数； Y为预测模型 元素个数。 3.根据权利要求1所述的一种苹果采摘障碍树枝的感知与识别方法， 其特征在于， S5 中 YOLOv4基于边框回归损失函数的CIOU计算损失值 为： 权　利　要　求　书 1/3 页 2 CN 115359356 A 2式中ρ2(b,bgt)为预测框和真实框的中心点的欧式距离； C为能同时包 含预测框和真实框的最小闭包区域的对角线距离； A为预测框； B为真实框； IOU为预测框与真实框的重 叠程度； b为指定目标框中点的位置； bgt为预测框中点的位置； α 是用于平衡比例的参数； v是用来衡量先验框和目标框之间长 宽比一致性的参数； ωgt表示目标框的宽度； hgt表示目标框的高度； ω表示预测框的宽度； h表示预测框的高度。 4.根据权利要求1所述的一种苹果采摘障碍树枝的感知与识别方法， 其特征在于， S5 中 YOLOv4基于树枝预测边框与真实边框的边框回归损失函数BIOU为： 5.根据权利要求2所述的一种苹果采摘障碍树枝的感知与识别方法， 其特征在于， 语义 分割训练树枝的损失Dice'Loss＝1‑s'。 6.根据权利要求4所述的一种苹果采摘障碍树枝的感知与识别方法， 其特征在于， 树枝 相应的损失为BLoss＝1‑BIOU。 7.根据权利要求1所述的一种苹果采摘障碍树枝的感知与识别方法， 其特征在于， S7中 进行对比训练的步骤为： 以AP值和F1值 来对比训练结果， 其中 权　利　要　求　书 2/3 页 3 CN 115359356 A 3