(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210662963.2 (22)申请日 2022.06.13 (71)申请人 广州丽芳园林生态科技股份有限公 司 地址 510000 广东省广州市荔湾区黄 沙大 道175-9二楼 (72)发明人 谢杰航　何朝晖　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 陈志明 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/74(2022.01) G06V 10/40(2022.01) G06V 10/82(2022.01)G06V 20/10(2022.01) G06N 3/08(2006.01) G06F 16/583(2019.01) (54)发明名称 一种基于深度学习和向量检索的植物分类 识别的方法、 装置、 设备及存 储介质 (57)摘要 本申请涉及一种基于深度学习和向量检索 的植物分类识别的方法、 装置、 设备及存储介质， 其方法包括获取植物图像， 按植物种类名分类和 对图像内的植物主体范围进行标注； 采用改进的 PP‑PicoDet模型进行植物主体提取； 将植物主体 图像输入预设的学生网络模型进行特征提取； 基 于预设的植物图像向量特征索引库， 将植物图像 向量特征与植物 图像向量特征索引库的文件中 保存的植物图像向量特征进行对比检索， 获得向 量相似度最高的特征对应的存储于植物 图像向 量特征索引库内的索引码， 以基于索引码在植物 图像向量特征索引库中找到对应的植物种类名。 本申请具有减少训练模型的时间， 提升基于植物 的图像识别和分类模型的训练和推理速度的效 果。 权利要求书3页 说明书12页 附图6页 CN 115100460 A 2022.09.23 CN 115100460 A 1.一种基于深度学习和向量检索的植物分类识别的方法， 其特 征在于， 包括以下步骤， 获取植物图像， 按植物种类名分类和对图像内的植物主体范围进行标注， 得到标注图 像； 基于所述标注图像， 采用改进的PP ‑PicoDet模型进行植物主体提取， 得到植物主体图 像； 将所述植物主体图像输入预设的学生网络模型进行特征提取， 得到植物图像向量特 征； 基于预设的植物图像向量特征索引库， 将所述植物图像向量特征与 所述植物图像向量 特征索引库的文件中保存的植物图像向量特征进 行对比检索， 获得向量相似度最高的特征 对应的存储于所述植物图像向量特征索引库内的索引码， 以基于所述索引码在所述植物图 像向量特 征索引库中找到对应的植物种类名。 2.根据权利要求1所述的基于深度学习和向量检索的植物分类识别的方法， 其特征在 于， 所述学生网络模型的构建步骤 包括， 去掉两个Resnet5 0网络结构的全连接层， 并分别作为学生网络和教师网络； 对所述学生网络和所述教师网络进行相互学习训练， 且在所述教师网络训练前加载预 训练权重模型进行初始化； 重复对所述学生网络和所述教师网络进行相互学习训练， 直至训练迭代轮数达到预设 阈值时停止训练并输出 学生网络模型。 3.根据权利要求1所述的基于深度学习和向量检索的植物分类识别的方法， 其特征在 于， 还包括创建所述植物图像 向量特征索引库的步骤， 所述创建所述植物图像向量特征索 引库的步骤 包括， 获取植物图像， 并按植物种类名分类和对图像内的植物主体范围进行标注， 得到包含 种类名的标注图像； 将包含种类名的所述标注图像输入所述PP ‑PicoDet模型进行植物主体提取， 得到包含 种类名的植物主体图像； 再将包含种类名的所述植物主体图像输入所述学生网络模型中进行特征提取， 得到包 含种类名的植物图像向量特 征； 将所述植物图像向量特征保存到Python的列表对象中， 并建立计数所述列表对象的索 引码； 建立并初始化植物图像向量特征索引库， 将所述列表对象转换并存储到所述植物图像 向量特征索引库中， 将所述索引码存储到所述植物图像 向量特征索引库中， 再将所述植物 图像向量特 征索引库保存为 植物图像向量特 征索引库文件； 将所述索引码与分类的所述种类名对应并写入Python的词典中， 并保存为索引映射文 件， 完成植物图像向量特 征索引库的创建。 4.根据权利要求1所述的基于深度学习和向量检索的植物分类识别的方法， 其特征在 于， 还包括训练所述P P‑PicoDet模型的步骤， 所述训练所述P P‑PicoDet模型的步骤 包括， 预设边界框定位混合损失函数 所述边界框定位混合损失函数 的函数表达 式包括：权　利　要　求　书 1/3 页 2 CN 115100460 A 2P2＝α ν 式中， 1‑IoU表征IoU损失函数的损失值， P1表征真实边界框Br与预测边界框Bd的中心点 距离， P2表征真实边界框Br与预测边界框Bd的长宽比差异， bd表征预测边界框的几何中心 点， br表征真实边界框的几何中心点， ρ 表征真实边界框Br与预测边界框Bd的中心点的欧氏 距离， c表征预测边界框和真实边界框的并集的对角线距离， wr表征真实边界框的宽度， hr表 征真实边界框的高度， wd表征预测边界框的宽度， hd表征预测边界框的高度。 5.根据权利要求4所述的基于深度学习和向量检索的植物分类识别的方法， 其特征在 于， 还包括以下步骤， 对所述边界框定位混合损失函数 的定位目标损 失和梯度进行重加权， 所述边界 框定位混合损失函数 的函数表达式包括： 式中， β 表征权 重值。 6.根据权利要求1 ‑5任意一项所述的基于深度学习和向量检索的植物分类识别的方 法， 其特征在于， 基于所述标注图像， 采用改进的PP ‑PicoDet模型进行植物主体提取， 得到 植物主体图像的步骤前， 还 包括， 对所述标注图像进行叶色变换、 随机 裁剪、 随机旋转的增强处 理， 得到预处 理图像。 7.根据权利要求6所述的基于深度学习和向量检索的植物分类识别的方法， 其特征在 于， 所述对所述标注图像进行叶色变换的增强处 理的步骤 包括， 对所述标注图像进行阈值 化处理， 并返回二 值化图像； 基于所述标注图像和所述二值化图像， 得到包含植物主体部分的RGB多维数组， 并将所 述标注图像从RGB颜色空间转换到 HSV颜色空间； 从所述HSV颜色空间的所述RGB多维数组中提取H通道的数值， 构成H通道多维数组， 再 把所述H通道多维数组的维度降为一 维并去掉零值， 得到一 维数组， 并求出所述一 维数组的 均值； 根据预设的映射公式， 判断所述均值是否满足第一预设条件或第二预设条件； 若满足所述第一预设条件， 则将该标注图像从黄色颜色空间映射到绿色颜色空间； 若 满足所述第二预设条件， 则将该 标注图像从绿色颜色空间映射到 黄色颜色空间。 8.根据权利要求6所述的基于深度学习和向量检索的植物分类识别的方法， 其特征在 于， 对所述标注图像进行随机 裁剪的增强处 理的步骤 包括， 将所述标注图像随机 裁剪成若干个预设像素的图像。 9.根据权利要求6所述的基于深度学习和向量检索的植物分类识别的方法， 其特征在权　利　要　求　书 2/3 页 3 CN 115100460 A 3