(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211321741.0 (22)申请日 2022.10.27 (71)申请人 青岛杰瑞工控技 术有限公司 地址 266071 山东省青岛市 市南区山 东路 27号东栋101室 (72)发明人 赵奎　崔海朋　秦朝旭　魏代善　 黄元涛　刘鲁西　倪亚东　赵巍　 李志荣　 (74)专利代理 机构 青岛华慧泽专利代理事务所 (普通合伙) 37247 专利代理师 贺敬虹 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/10(2022.01) G06V 10/20(2022.01)G06V 10/26(2022.01) G06V 20/60(2022.01) G06V 20/70(2022.01) (54)发明名称 一种深海养殖鱼类体征参数识别系统与识 别方法 (57)摘要 本发明公开了一种深海养殖鱼类体征参数 识别系统与识别方法， 涉及海洋生物体征识别分 析领域， 将鱼类 关键点检测方法与双目视觉相结 合， 利用单目视觉图像与双目视觉图像 建立了两 阶段鱼类特征检测模型， 通过不同环 境下不同鱼 类不同生长阶段单目视觉图像进行第一阶段训 练， 解决了实际深海养殖环境下初期难以采集具 有多样性的数据样本的问题， 提高了方法的适用 性， 同时通过在第二阶段训练损失函数中考虑鱼 类体征参数识别的准确性， 将关键点检测结果对 于计算出的体征参数准确性的影响考虑到模型 训练过程中， 有效提高方法的精确性。 权利要求书3页 说明书7页 附图5页 CN 115375977 A 2022.11.22 CN 115375977 A 1.一种深海养殖鱼类 体征参数的识别方法， 其特 征在于： 包括如下步骤： 步骤1， 收集不同环境下不同鱼类不同生长阶段单目视觉图像， 搭建双目视觉系统， 收 集深海养殖鱼类双目视 觉图像； 步骤2， 确定鱼类关键特征点和体征参数识别目标， 对鱼类单目视觉图像与双目视觉图 像进行预处理与标注， 分别建立鱼类单目视 觉图像数据集与双目视 觉图像数据集； 步骤3， 建立基于考虑金字塔分割通道注意力的高分辨率网络的两阶段鱼类体征检测 模型； 步骤4， 利用步骤2所得的鱼类单目视觉图像数据集对鱼类体征检测模型进行第 一阶段 训练； 步骤5， 利用步骤2所得的鱼类双目视觉图像数据集对鱼类体征检测模型进行第 二阶段 训练； 步骤6， 将待检测双目视觉图像输入步骤5训练后的鱼类体征检测模型， 输出获得鱼类 体征参数。 2.根据权利要求1所述的一种深海养殖鱼类体征参数的识别方法， 其特征在于， 所述步 骤1中， 搭建双目视觉系统， 收集深海养殖双目视觉图像， 具体包括： 对双目视觉系统摄像机 进行标定， 确定双目视觉系统内部参数， 所述双目视觉系统内部参数包括左右摄像机之间 基线长度 l与摄像机焦距 f； 利用确定内部参数的双目视觉系统中左右摄像机对同一鱼类目 标进行图像采集， 左右图像组成一组双目视 觉图像。 3.根据权利要求1所述的一种深海养殖鱼类体征参数的识别方法， 其特征在于， 所述步 骤2中鱼类关键特征点包括头部最前端、 鳃盖后缘、 尾鳍基部、 尾鳍末端、 腹部最低点与背部 最高端， 所述 步骤2中体征参数包括鱼类的体长、 全长、 体高、 头 长以及尾鳍长 。 4.根据权利要求1所述的一种深海养殖鱼类体征参数的识别方法， 其特征在于， 所述步 骤2具体包括： 步骤2.1， 按照预设分辨率尺寸 w×h对原始单目视觉图像与双目视觉图像进行缩放或 裁剪， 使所有图像保持相同的分辨率尺寸， 获得预 处理后的单目视觉图像与双目视觉图像， 其中，w为图像的宽度， h为图像的高度； 步骤2.2， 确定单目视觉图像中鱼类各个关键特征点位置， 并标注其像素坐标， 作为单 目视觉图像标签， 形成单目视 觉图像数据集； 步骤2.3， 分别确定每组双目视觉图像 中左右图像中鱼类各个关键特征点位置， 并标注 其像素坐标， 进一步根据双目视觉系统内部参数计算每组双目视觉图像中目标鱼类各关键 特征点真实坐标( x,y,z)， 计算公式为： 式中，xl与xr分别为关键特征点在左右图像成像面上的图像 x轴坐标，yl=yr为关键特征权　利　要　求　书 1/3 页 2 CN 115375977 A 2点在左右图像成像面上的图像 y轴坐标，l为双目视觉系统基线距离， f为双目视觉系统摄像 机焦距，d=xl‑xr为左右图像成像面上关键特 征点的视 差； 步骤2.4， 根据步骤2.3所得的真实坐标计算各个鱼类体征参数， 左右图像关键特征点 像素坐标与目标鱼类 体征参数共同作为双目视 觉图像标签， 形成双目视 觉图像数据集。 5.根据权利要求1所述的一种深海养殖鱼类体征参数的识别方法， 其特征在于， 所述步 骤3具体包括： 步骤3.1， 将尺寸为 w×h×3的原始输入图像通过卷积操作获取尺寸为( w/4)×(h/4)× c的原始特征图像， 并通过金字塔 分割通道注意力模块处理获得尺 寸为(w/4)×(h/4)×(c/ 8)的一级分辨 率特征图像， 其中， c为图像通道数， w为图像的宽度， h为图像的高度； 步骤3.2， 将一级分辨率特征图像下采样生成尺寸为( w/8)×(h/8)×(c/4)的二级分辨 率特征图像， 并将一级分辨率特征图像与二级分辨率特征图像通过上采样与下采样操作进 行融合， 再经金字塔分割通道注意力模块处理后向后传递获得新的一级分辨率特征图像与 二级分辨 率特征图像； 步骤3.3， 将二级分辨率特征图像下采样生成尺寸为( w/16)×(h/16)×(c/2)的三级分 辨率特征图像， 并将一级分辨率特征图像、 二级分辨率特征图像与三级分辨率特征图像通 过上采样与下采样操作进 行融合， 再经金字塔分割通道注意力模块处理后向后传递 获得新 的一级分辨 率特征图像、 二级分辨 率特征图像与三级分辨 率特征图像； 步骤3.4， 对二级分辨率特征图像与三级分辨率特征图像上采样至一级分辨率， 与一级 分辨率特征图像进行结合， 并经卷积处理后获得尺寸为( w/4)×(h/4)×n的关键特征点概 率热力图输出图像， 其中， n为识别目标关键特征点的数量， w为图像的宽度， h为图像的高 度。 6.根据权利要求1所述的一种深海养殖鱼类体征参数的识别方法， 其特征在于， 所述步 骤4具体包括： 以鱼类单目视觉图像数据集中每张原始图像作为训练集样本输入， 标注的关 键特征点坐标作为训练集样本标签， 对鱼类体征检测模型进行第一阶段训练， 损失函数设 置为检测关键特征点概率热力图与真实关键特征点坐标标注图像之 间的均方误差， 计算 公 式为： 式中， 表示第一阶段训练均方误差的值， 与 分别表示图像宽度方向与高 度方向上像素个数， 表示真实关键特征点坐标标注 图像在(i,j)像素点的灰度值， 表示检测关键特 征点概率热力图在( i,j)像素点的灰度值。 7.根据权利要求1所述的一种深海养殖鱼类体征参数的识别方法， 其特征在于， 所述步 骤5具体包括： 以鱼类双目视觉图像数据集中每一组鱼类双目视觉原始图像作为训练集样 本输入， 标注的鱼类体征参数作为训练集样本标签对第一阶段训练后的鱼类体征检测模型 进行第二阶段训练， 损失函数设置为每一组图像检测得到 关键点坐标后根据双目视觉系统 内部参数计算获得的体征参数与真实体征参数之间的均方误差， 计算公式为：权　利　要　求　书 2/3 页 3 CN 115375977 A 3