(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210904131.7 (22)申请日 2022.07.29 (71)申请人 武汉长江通信 智联技术有限公司 地址 430074 湖北省武汉市东湖开发区关 东工业园文华路2号 申请人 武汉长江通信产业 集团股份有限公 司 (72)发明人 黄琛　谢建　何坤　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 罗飞 (51)Int.Cl. G06V 20/58(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01)G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01) G06V 10/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种车辆双闪灯的识别方法及装置 (57)摘要 本发明公开了一种车辆双闪灯的识别方法 及装置， 提出了一种结合空间注 意力机制与对比 学习的车辆双闪灯识别方法， 通过构建注意力机 制的卷积神经网络作为车灯状态特征提取模块， 将同一辆车的同一个车灯的帧序列图像块对作 为训练样 本， 采用对比学习的方式训练特征提取 网络模型。 本发 明采用卷积神经网络提取特征减 小车灯状态特征因环境变化造成不够稳定造成 的影响， 通过空间注意力机制使网络注意力聚焦 到车灯区域， 解决图像处理方法分割车灯区域不 稳定的问题， 利用对比学习的方式提升特征的区 分度， 本发 明通过以上方法有效的提高了车辆双 闪灯识别的鲁棒 性与精度。 权利要求书4页 说明书13页 附图2页 CN 115294549 A 2022.11.04 CN 115294549 A 1.一种车辆双闪灯的识别方法， 其特 征在于， 包括： 收集大量车辆有双闪或左转向、 右转向行为的视频； 根据收集的视频制作训练集和测试集， 其中， 训练集和测试集为由同一个车灯实例序 列内的两个时间序列图像所构成的样本对； 构建车灯状态特征提取网络， 车灯状态特征提取网络通过空间注意力 机制使网络注意 力聚焦到车灯区域， 并利用卷积神经网络提取出车灯状态取特征， 车灯状态特征提取网络 采用孪生网络， 两个网络进行权值共享； 基于制作的训练集， 采用对比学习的方式对构建的车灯状态特征提取网络进行训练， 训练过程中， 通过车灯状态特征提取网络提取出训练集中样本对的特征向量后， 计算样本 对特征向量之间的欧式距离， 作为特征距离， 再将计算得到的特征距离与样本标签送入损 失函数计算损失， 通过梯度下降、 反向传播的方式优化网络参数， 保存网络参数最优的网络 作为训练好的车灯状态特征提取网络， 并获取在测试集上车灯状态区分度最高的车辆双闪 灯识别网络以及对应的区分阈值， 将区分阈值作为特 征距离阈值； 根据获取的实时车辆 视频数据提取 出车灯样本； 利用训练好的车灯状态特 征提取网络对提取 出车灯样本进行 车灯状态特 征提取； 计算每一辆车的每个车灯实例中， 当前帧的特征与上一帧的特征之间的欧式距离， 记 为特征距离； 根据得到的特征距离与特征距离阈值之间的关系判断车辆的车灯的状态是否发生变 化， 如果发生变化， 则统计同一车辆的所有车灯在预设时间T内的状态变化次数， 并判断状 态变化次数 是否超过变化次数阈值， 如果超过， 判定车辆开启双闪， 否则未开启双闪。 2.如权利要求1所述的车辆双闪灯的识别方法， 其特征在于， 根据收集的视频制作训练 样本和测试样本， 包括： 结合车辆检测器、 车灯检测器与多目标跟踪器裁剪出每一个车灯实例的时间序列图像 块； 将每个车灯实例的时间序列图像按照车灯的状态进行分类， 在同一个车灯实例序列内 随机挑选两个样本组合成样本对， 如果样本对内的两张车灯样本的状态一致， 则样本对标 签为0， 否则为1； 对得到的样本对按照预设比例划分为训练集和 测试集。 3.如权利要求2所述的车辆双闪灯的识别方法， 其特征在于， 裁剪出的车灯实例的时间 序列图像块 为以车灯为中心， 车灯长边 为边长的正方 形图像块， 公式为：权　利　要　求　书 1/4 页 2 CN 115294549 A 2image表示原始图像， width,height分别表示原始图像的宽和高， sx1,sx2分别表示车 灯在原始图像中的横坐标的最小值和最大值， sy1,sy2分别表示车灯在原始图像中的纵坐 标的最小值和最大值， exten d表示扩展比例， cx,cy表示车灯中心的横坐标和纵坐标， size 表示车灯的长边， sample表示从原始图像image中裁剪出车灯样本， dx1,dx2分别表示剪裁 出的车灯样本的横坐标的最小值和最大值， dy1， dy2分别表示剪裁出的车灯样本的纵坐标 的最小值和最大值。 4.如权利要求1所述的车辆双闪灯的识别方法， 其特征在于， 构建的车灯状态特征提取 网络的处 理过程包括： 对输入的图像数据进行 数据增强； 采用预设轻量级可分离卷积的神经网络的前4层组成的骨干网络对输入的数据增强后 的图像数据提取 出初始特 征图； 通过基础卷积 操作BaseCo nv对初始特 征图进行 卷积， 得到空间注意力掩膜图； 将初始特征图和空间注意力掩膜图进行双线性注意力池化， 利用空间注意力掩膜图给 初始特征图的特 征矩阵进行加权， 得到处 理后的注意力掩膜图； 通过线性归一 化对处理后的注意力掩膜图进行归一 化， 得到归一 化后的特 征向量。 5.如权利要求1所述的车辆双闪灯的识别方法， 其特 征在于， 损失函数的形式为： 其中， y表示样本标签的值， d表示样本之间的特征距离， M表示最大间隔， B表示每次迭 代样本数量， 其中， 当y＝0时， 两个样 本状态相同， 此时的损失为这两个样本 之间的距离， 距 离越大， 惩罚越大， 当y＝1时， 两个样本状态不相同， 此时的损失与特征距离与最大间隔之 间的差值相关。 6.如权利要求1所述的车辆双闪灯的识别方法， 其特征在于， 根据获取的实时车辆视频 数据提取 出车灯样本， 包括： 利用车辆检测器、 车灯检测器与多目标跟踪器获取视频图像中的每 个车辆实例； 每隔预设数量的帧检测一次车辆内的所有车灯， 对于每个车辆实例序列， 通过车灯与 该车辆序列中已标识的车灯匹配， 得到车灯编号， 具体包括： 首先对车灯坐标归一化， 公式 为：权　利　要　求　书 2/4 页 3 CN 115294549 A 3