(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211213155.4 (22)申请日 2022.09.30 (71)申请人 五邑大学 地址 529000 广东省江门市蓬江区东成村 22号 (72)发明人 孔凡国　李志豪　王鑫　仇展明　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 冯健良 (51)Int.Cl. G06V 20/68(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/44(2022.01) G06V 10/26(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) A01D 46/30(2006.01) (54)发明名称 基于深度学习的火龙果采摘方法、 装置、 设 备及存储介质 (57)摘要 本申请实施例提供了一种基于深度学习的 火龙果采摘方法、 装置、 设备及存储介质， 属于人 工智能技术领域。 该方法包括： 获取目标采摘区 域图像， 其中， 目标采摘 区域图像包括成熟火龙 果对象； 将目标采摘区域图像输入已训练的火龙 果识别模型， 得到成熟火龙果对象的目标分割掩 码， 目标分割掩码用于标记成熟火龙果对象 的轮 廓； 根据目标分割掩码， 确定成熟火龙果对象的 质心信息和姿态信息； 根据目标采摘 区域图像、 质心信息和姿态信息， 确定移动指令； 向采摘机 器人发送移动指令， 并向末端执行器发送预设的 采摘指令， 以使末端执行器采摘目标火龙果。 根 据本申请实施例提供的方案， 能够提高火龙果的 采收率， 从而降低生产成本 。 权利要求书3页 说明书13页 附图8页 CN 115497089 A 2022.12.20 CN 115497089 A 1.一种基于深度 学习的火龙果采摘方法， 应用于火龙果采摘系统， 其特征在于， 所述火 龙果采摘系统包括采摘机器人、 末端执行器和控制终端， 所述末端执行器设置在所述采摘 机器人上， 所述末端执行器和所述采摘机器人分别与所述控制终端通信连接， 所述方法包 括： 获取目标采摘区域图像， 其中， 所述目标采摘区域图像包括成熟火龙果对象； 将所述目标采摘区域图像输入已训练 的火龙果识别模型， 得到所述成熟火龙果对象的 目标分割掩码， 所述目标分割掩码用于标记所述成熟火龙果对象的轮廓； 根据所述目标分割掩码， 确定所述成熟火龙果对象的质心信息和姿态信息； 根据所述目标采摘区域图像、 所述质心信息和所述姿态信息， 确定移动指令； 向所述采摘机器人发送所述移动指令， 并向所述末端执行器发送预设的采摘指令， 以 使所述末端执 行器采摘目标火龙果。 2.根据权利要求1所述的方法， 其特征在于， 所述火龙果识别模型包括检测层和语义分 割层； 所述将所述 目标采摘区域图像输入已训练的火龙果识别模型， 得到所述成熟火龙果 对象的目标分割掩码， 包括： 将所述目标采摘区域图像输入所述火龙果识别模型的检测层， 得到包括所述成熟火龙 果对象的目标 预测框； 将所述目标检测框输入所述火龙果识别模型的语义分割层， 得到所述成熟火龙果对象 的目标分割掩码。 3.根据权利要求2所述的方法， 其特 征在于， 所述火龙果识别模型通过如下步骤训练： 获取目标检测训练集， 其中， 所述目标检测训练集包括多个第一训练图像、 训练框和与 所述训练框对应的第一训练标签， 所述训练框用于标注所述第一训练图像的对 象， 所述第 一训练标签用于表征 所述成熟火龙果对象或未成熟火龙果对象； 获取语义分割训练集， 其中， 所述语义分割训练集包括多个第二训练图像、 训练分割 掩 码和所述训练分割掩码对应的第二训练标签， 训练分割掩码用于标记所述第二训练图像的 对象的轮廓， 所述第二训练标签用于表征 所述成熟火龙果对象或者茎 干对象； 将所述第一训练图像输入所述火龙果识别模型的检测层， 得到预测框和所述预测框的 第一预测标签； 根据所述预测框、 所述训练框、 所述第一预测标签和所述第 一训练标签， 确定第 一损失 函数； 将所述第二训练图像输入所述火龙果识别模型的语义分割层， 得到预测分割 掩码和所 述预测分割掩码的第二预测标签； 根据所述预测分割掩码、 所述训练分割掩码、 所述第 二预测标签和所述第 二训练标签， 确定第二损失函数； 基于所述第一损 失函数和所述第二损 失函数， 对所述火龙果识别模型进行训练， 以更 新所述火龙果识别模型的模型参数。 4.根据权利要求1所述的方法， 其特征在于， 所述末端执行器包括机架、 夹爪组件、 驱动 器、 压力传感器和下位机， 所述驱动器和所述压力 传感器分别与所述下位机电连接， 所述下 位机与所述控制终端电连接， 所述夹爪组件活动设置在所述机架上， 所述驱动器与所述夹 爪组件传动连接， 所述夹爪组件包括第一柔性弧形夹爪、 第二柔性弧形夹爪和第三柔性弧权　利　要　求　书 1/3 页 2 CN 115497089 A 2形夹爪， 所述第一柔性弧形夹爪和所述第二柔性弧形夹爪的末端均设置用于切割茎干的刀 片， 所述压力传感器位于所述第一柔性弧形夹爪、 所述第二柔性弧形夹爪和所述第三柔性 弧形夹爪之间； 所述采摘指令包括包裹指令和切割指令； 所述向所述采摘机器人发送所述 移动指令， 并向所述末端执行器发送预设的采摘指令， 以使所述末端执行器采摘目标火龙 果， 包括： 获取来自所述压力传感器的压力 信息， 并根据所述压力 信息确定 压力值； 向所述采摘机器人发送所述移动指令， 直至所述压力值大于等于预设的第一阈值， 以 使所述采摘机器人驱动所述末端执 行器沿第一方向朝向目标火龙果移动； 向所述末端执行器发送所述包裹指令， 以使所述第一柔性弧形夹爪、 第二柔性弧形夹 爪和第三 柔性弧形夹爪相互靠 近以夹住目标火龙果； 向所述采摘 机器人发送预设的牵引指令， 以使所述采摘 机器人驱动所述末端执行器沿 第二方向移动， 其中， 所述第二方向与所述第一方向相反； 向所述末端执行器发送切割指令， 以使所述第 一柔性弧形夹爪和第 二柔性弧形夹爪的 刀片相互靠 近。 5.根据权利要求1所述的方法， 其特征在于， 所述根据所述目标分割掩码， 确定所述成 熟火龙果对象的质心信息和姿态信息， 包括： 根据所述目标分割掩码， 确定目标轮廓； 确定所述目标轮廓的外接矩形， 并确定所述外接矩形的质心， 以得到所述成熟火龙果 对象的质心信息； 根据所述目标轮廓和预设的最小二乘拟合 算法， 确定所述目标轮廓的基准线； 根据所述基准线， 确定所述成熟火龙果对象的姿态信息 。 6.一种火龙果采摘系统， 其特 征在于， 包括： 采摘机器人； 末端执行器， 设置在所述采摘机器人 上； 控制终端， 所述末端执行器和所述采摘机器人分别与所述控制 终端通信连接， 所述控 制终端用于执 行如权利要求1至 5中任一项所述的基于深度学习的火龙果采摘方法。 7.根据权利要求6所述的系统， 其特征在于， 所述末端执行器包括机架、 夹爪组件、 驱动 器、 图像采集器、 连接杆、 压力传感器和下位机， 所述驱动器和所述图像采集器分别固定在 所述机架上， 所述驱动器、 所述图像采集器和所述压力 传感器分别与所述下位机电连接， 所 述下位机与所述控制终端电连接， 所述夹爪组件活动设置在所述机架上， 所述驱动器与所 述夹爪组件传动连接， 所述夹爪组件包括第一柔性弧形夹爪、 第二柔性弧形夹爪和第三柔 性弧形夹爪， 所述第一柔性弧形夹爪和所述第二柔性弧形夹爪的末端均设置用于切割茎干 的刀片， 所述连接杆与所述机架活动连接， 所述压力传感器固定在所述连接杆的端部， 所述 压力传感器位于所述第一柔性弧形夹爪、 所述第二柔性弧形夹爪和所述第三柔性弧形夹爪 之间， 所述驱动器用于驱动所述第一柔性弧形夹爪、 所述第二柔性弧形夹爪和所述第三柔 性弧形夹爪相互靠近或远离， 所述图像采集器用于采集 目标采摘区域图像， 所述压力传感 器用于检测压力 信息。 8.一种基于深度 学习的火龙果采摘装置， 应用于火龙果采摘系统， 其特征在于， 所述火 龙果采摘系统包括采摘机器人、 末端执行器和控制终端， 所述末端执行器设置在所述采摘权　利　要　求　书 2/3 页 3 CN 115497089 A 3