(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211256298.3 (22)申请日 2022.10.14 (71)申请人 青岛恒天翼信息科技有限公司 地址 266000 山东省青岛市崂山区苗岭路 36号海协大厦2号楼 902室 (72)发明人 张念华　付晓鹏　王光峻　张骏　 刘洋　邱亮　邢永超　 (74)专利代理 机构 青岛海知誉知识产权代理事 务所(普通 合伙) 37290 专利代理师 高凤全 (51)Int.Cl. G06V 20/10(2022.01) G06V 20/62(2022.01) G06V 30/146(2022.01) G06V 30/19(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于船号深度学习的船舶身份识别方法 (57)摘要 本发明涉及一种基于船号深度学习的船舶 身份识别方法， 属于渔港智能识别领域； 包括以 下步骤： S1、 海岸边架设摄像头， 对航行的船舶进 行自动跟踪及抓拍， 并将抓拍的渔船及船号的 图 像进行保存； S2、 将步骤S1收集的渔船图像进行 预处理， 将分辨率低、 船号肉眼看不清、 有遮挡和 缺失的图像剔除； S3、 将步骤S2预处理的数据集 进行数据标注， 标注船号位置边框和船号文字； S4、 使用深度学习CRNN模型进行船号识别。 本发 明的优点是： 减少了计算量， 提高了速度； 加入残 差网络结构Resnet， 测试取得更好的结果； 在CTC 损失函数中引入blank字符， 解决有些位置没有 字符的问题， 通过递推， 快速计算梯度， 降低了损 失函数。 权利要求书2页 说明书5页 附图3页 CN 115331114 A 2022.11.11 CN 115331114 A 1.一种基于船号深度学习的船舶身份识别方法， 其特 征在于， 包括以下步骤： S1、 海岸边架设摄像头， 对航行的船舶进行自动跟踪及抓拍， 并将抓拍的渔船及船号的 图像进行保存； S2、 将步骤S1收集的渔船图像进行预处理， 将分辨率低、 船号肉眼看不清、 有遮挡和缺 失的图像剔除； S3、 将步骤S2预处 理的数据集进行 数据标注， 标注船号 位置边框和船号文字； S4、 使用深度学习CRN N模型进行 船号识别。 2.根据权利要求1所述的一种基于船号深度 学习的船舶身份识别方法， 其特征在于， 所 述步骤S3使用P POCRLabel进行 数据半自动化数据标注， 具体步骤 包括： S31、 进行字符识别之前， 对检测出的文字区域进行透视变换， 以便对字符进行矫正， 形 成数据训练集； S32、 对数据训练集进行渔船船号区域裁切， 得到相应的船号识别数据集， 并将所有出 现的字符存为 一个字符文件， 供模型作为自定义字典使用。 3.根据权利要求1所述的一种基于船号深度 学习的船舶身份识别方法， 其特征在于， 所 述步骤S4 具体步骤 包括： S41、 将输入的二维图像， 先经过两个卷积层到池化层， 然后经过全连接层， 最后使用 Softmax激活函数进行分类， 以作为输出层； 通过卷积运算提取不同的图像特征； 池化层主要用于聚合特征相近的特征， 降低特征 图的尺寸 来减少训练参数和 加快训练速度； S42、 采用双向LSTM作为循环神经网络， 将梯度 直接返回浅层神经元， 缓解RNN网络中梯 度消失的能力； 循环神经网络挖掘出数据背后时序和语义的信息， 并且处理和预测序列数 据； 利用BLSTM将特征向量进 行融合以提取字符序列的上下文 特征， 然后得到每列特征的概 率分布； S43、 使用CTC损失函数把获取的预测结果转录成最终的标签序列； 为了避免网络模型 训练出现过拟合现象， 把惩罚因子加进损失函数里面， 减少 输出的值与预期的真实值之间 的差距。 4.根据权利要求3所述的一种基于船号深度 学习的船舶身份识别方法， 其特征在于， 所 述步骤S41具体步骤 包括： S411、 卷积部分限制输入图像为的大小为Width  x 32， 即该指定图像高度为32， 宽度为 任意值； S412、 构建卷积神经网络 CNN； S413、 将统一 高度后的图像输入卷积神经网络CNN中， 经过CNN计算后 输出特征序列， 从 而获得双向循环神经网络RNN待输入的特征序列； 由于卷积池化具有平移不变性， 因此， 每 一个输出与输入的对应的两列直接相关， 并在原图像上有对应的感受野。 5.根据权利要求3所述的一种基于船号深度 学习的船舶身份识别方法， 其特征在于， 所 述步骤S42具体步骤为： S421、 在卷积层的上部建立一个深度双向递归神经网络， 称为递归层， 递归层对特征序 列x = x1......xT中每帧的标签分布进行 预测； S422、 在CRNN网络结构中增加可变尺度机制， 使用滑动窗口和步长来动态的提取图像权　利　要　求　书 1/2 页 2 CN 115331114 A 2不同大小的卷积特 征, 最后使用池化 函数将卷积特 征对应的二维矩阵转 化为相同尺度； S423、 采用双向循环神经网络RN N结合ResNet网络， 能够将梯度直接返回浅层神经 元。 6.根据权利要求3所述的一种基于船号深度 学习的船舶身份识别方法， 其特征在于， 所 述步骤S43具体为： S431、 采用在CTC损失函数中加入惩罚因子避免网络模型训练出现过拟合现象， 如果 CTC损失函数的值 就应该越小， 则说明数据拟合的越好； S432、 引入blank字符， 解决有些位置没有字符的问题， 通过递推， 计算梯度； 将双向循 环神经网络RNN输出的每帧预测标签分布转录成标签序列， 其中转录模式包括无词典转录 和基于词典转录， 基于词典转录模式 中， 通过选择 具有最高概 率的标签序列进行 预测。 7.根据权利要求4所述的一种基于船号深度 学习的船舶身份识别方法， 其特征在于， 在 所述步骤S411中， 将所有测试图片的高度均归一 化到32， 以便加速测试图片训练的过程。 8.根据权利要求4所述的一种基于船号深度 学习的船舶身份识别方法， 其特征在于， 在 所述步骤S412 中， 卷积神经网络CNN结构使用VGG网络结构提取图像特征； 第一层与第二层 均采取DW卷积， 将第三层最大池化Max  Pooling和第四层最大池化Max  Pooling的核大小设 置为设为1 × 2； 第五层卷积到第六层卷积引入BN模块， BN层加快网络的训练和收敛的速 度,控制梯度爆炸防止梯度消失， 防止过拟合。权　利　要　求　书 2/2 页 3 CN 115331114 A 3