(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211263112.7 (22)申请日 2022.10.14 (71)申请人 吉林大学 地址 130000 吉林省长 春市朝阳区前进大 街2699号 (72)发明人 张素民　白日　何睿　武巍　 (74)专利代理 机构 西安知诚思 迈知识产权代理 事务所(普通 合伙) 61237 专利代理师 麦春明 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/25(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于视觉测距的交通信号灯识别网络训练 方法及测试方法 (57)摘要 本发明提供了一种基于视觉测距的交通信 号灯识别网络训练方法， 包括以下步骤： 步骤1、 对采集的图像进行标注， 制作交通信号灯数据 集； 步骤2、 利用步骤1建立的数据集对信号灯识 别网络模型进行训练； 步骤3、 利用损失函数采用 梯度下降法对模型参数进行优 化， 用trainval子 数据集对训练好的网络模型进行网络模型超参 数调整， 用test 子数据集对最终的网络模型进行 评价； 当训练过程中loss趋于平缓且连续3个训 练周期网络性能无提升时， 选取最后的训练模型 为最优模型， 完成训练。 本发明还提供了一种基 于视觉测距的交通信号灯 识别网络测试方法。 本 发明解决了现有技术中存在的信号灯识别准确 率低， 计算 量大， 实时性差等问题。 权利要求书5页 说明书13页 附图6页 CN 115546763 A 2022.12.30 CN 115546763 A 1.一种基于 视觉测距的交通信号灯识别网络训练方法， 其特 征在于， 包括以下步骤： 步骤1、 对采集的图像进行标注， 制作交通信号灯数据集： 所述信号灯数据集由信号灯 图像、 归一化后的ROI区域信息、 真实标签信息作为一个基本数据单元； 并将数据集按8:1:1 比例分为train、 trainval、 test三个子数据集， 其中train、 trainval数据集用于训练及训 练过程的性能验证； test用于对网络性能进行最终评价； 步骤2、 利用步骤1建立的数据集对信号灯识别网络模型进行训练： 步骤21、 首先， 建立信号灯识别 网络模型， 信号灯识别 网络模型包含主干网络、 特征融 合网络和特 征解码器三部分； 步骤22、 将训练集中相机采集到的信号灯图像送入所述信号灯识别网络模型的主干网 络中， 提取图像特征， 获得特征图； 然后将提取到的特征图送入所述特征融合网络， 获取检 测头特征图TC1、 TC2、 TC 3； 步骤23、 将步骤1归一化后的ROI区域信息， 映射到步骤22得到的检测头特征图中， 生成 ROI特征图： 设检测头特征图高宽尺寸分别为hti、 wti， 则ROI区域在对应检测头特征图的位 置信息为 截取ROI区域在检测头特征图映射区域的特征图作 为ROI特征图； 其中， Pw、 Ph分别为图像宽度和高度， Xc为ROI区域中心点的x轴坐标， Xc是以图像中心点 横坐标X中心为采样中心， 利用高斯概率密度函数在 [0,Pw]范围内采样获得； Yc为ROI区域中心 点的y轴坐标， Yc的取值在Ycmax到Ycmin范围内随机采样获得； ROI区域中心点的y轴坐标值的 上下取值边界， 分别记为Ycmax， Ycmin， 其中Ycmax＝H板1+αh1， Ycmin＝H板1‑α h1， 其中α 是自适应系 数， H板为信号灯板中心点的高度， f为相机焦距， H板1为H板在图像坐标 系的投影， h1为信号灯板的垂向长度h在图像坐标系的投影； Sc为车辆与交通信号灯之间的 水平距离， R为预设阈值， e为自然常数； 步骤24、 将获得的ROI特征图与步骤1中获得的真实标签进行对比， 筛选出与真实标签 最匹配的ROI特 征图作为初始预测框特 征图； 步骤25、 特征解码器对筛选出的初始预测框特征图进行分类和精调整， 获得最终的信 号灯预测框信息； 步骤26、 通过Loss函数计算信号灯预测框和真实标签之间的损失函数， 确定网络参数 进化方向， 优化信号灯识别网络模型； 步骤3、 利用损失函数采用梯度下降法对模型参数进行优化， 用trainval子数据集对训 练好的网络模型进行网络模型超参数调整， 用test子数据集对最终的网络模型进行评价； 当训练过程中loss趋于平缓且连续3个训练周期网络性能无提升时， 选取最后的训练模型 为最优模型， 完成训练过程。 2.根据权利要求1所述的一种基于视觉测距的交通信号灯识别网络训练方法， 其特征 在于， 所述步骤1中ROI区域信息通过ROI提取系统提取获得， 所述ROI提取系统包括GPS模块、 电子地图模块、 测距模块和ROI 提取模块； 其中，权　利　要　求　书 1/5 页 2 CN 115546763 A 2GPS模块获取车辆实时位置信息(X1c， Y1c)， 并记录时间戳为Tc； 在Tc时刻， 电子地图模 块 根据车辆实时位置信 息， 提取车辆运动方向上的信号灯位置坐标(XL， YL)； 测距模块利用如 下公式计算Tc时刻车辆与交通信号灯之间的水平 距离Sc； 测距模块判断车辆和交通信号灯之间的距离Sc是否超过预设阈值R： 若Sc大于R， ROI提 取系统不启动， 测距模块进入下一时刻循环， 继续检测Sc和R的关系， 当Sc小于等于R， 说明 车辆已经进入交通信号灯识别区域， 则启动ROI 提取系统； ROI提取模块用于确定信号灯的ROI区域信息， 并对ROI区域特征向量进行归一化， 归一 化后的ROI区域特 征向量表示 为: 其中， Pw、 Ph分别为图像宽度和高度。 3.根据权利要求1所述的一种基于视觉测距的交通信号灯识别网络训练方法， 其特征 在于， 所述步骤2中主干网络包括依次交替的3个CRC模块和3个CRT模块， 每个CRC模块包括 CONV模块、 Residual模块和CBAM模块， 每个CRT模块包括CONV模块、 Residual模块和 Transform模块； 其中， CONV模块为卷积下采样模块， 对输入的特征图进行二倍率下采样； Residual模块 为残差网络结构， 通过内部残差块的跳跃连接， 降低因网络加深带来的梯度消失问题； Transform模块为注 意力网络模型； CBAM模块包括通道注意力和空间注意力两个部分， CBAM 模块沿着空间和通道两个维度依次推断注意力权 重， 能够提取图像信息中的目标信息 。 4.根据权利要求1所述的一种基于视觉测距的交通信号灯识别网络训练方法， 其特征 在于， 所述 步骤2中特 征融合网络获取检测头特 征图的方法为： 首先选择主干网络的第三个CRT模块的输出， 记为T3； 将T3送入CONV模块进行1 ×1卷 积， 然后将输出送入upsample模块， 每个upsample模块都会对特征图进行一次上采样， 进行 两次上采样后， 与主干网络的第二个CRT模块输出的特征图采用Concat方法进行特征图拼 接， 并将输出通过CBAM模块进行进一步的特征提取， 记最终输出为T2； 其中， Concat是深度 学习网络中常用的特 征图拼接方法； 将T2送入CONV模块， 采用1 ×1卷积核调整通道数， 然后送入upsample模块进行两次上 采样， 将上采样后的结果与主干网络的第一个CRT模块输出采用Concat方法进行特征拼接， 并将输出通过CBAM模块进行进一 步的特征提取， 记最终的输出 结果为T1； 选择主干网络的第一个CRC模块， 记为C1， 将C1送入CONV模块， 采用3 ×3的卷积核进行 两次卷积下采样， 然后将下采样输出与主干网络的第二个CRC模块输出采用Concat方法进 行拼接， 然后采用Transform模块提取有效特征， 输出特征图记为C2； 将 C2送入CONV模块， 进 行2次下采样， 将下采样结果和主干网络的第三个CRC模块输出采用Concat方法进行拼接， 然后采用Transform模块进行 特征提取， 输出 特征图记为C 3； 获得T1、 T2、 T3、 C1、 C2、 C3后， 将T1输入upsamp le模块， 上采样后与C1采用Concat方法进 行拼接， 输出特征图， 作为检测头， 记为TC1； 将T2输入upsample模块， 上采样后与C2采用 Concat方法进行拼接， 输出特征图， 作为检测头， 记为TC2； 将T3输入upsample模块， 上采样 后与C3采用Concat方法进行拼接， 输出 特征图， 作为检测头， 记为TC 3。 5.根据权利要求1所述的一种基于视觉测距的交通信号灯识别网络训练方法， 其特征 在于， 所述 步骤24具体为：权　利　要　求　书 2/5 页 3 CN 115546763 A 3