(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211256872.5 (22)申请日 2022.10.14 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 张小国　刘亚飞　沈德玉　邓奎刚　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 周蔚然 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/774(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种端到端的基于实例分割的车道检测方 法 (57)摘要 本发明公开了一种端到端的基于实例分割 的车道检测方法， 首先对车道检测数据集进行数 据增强处理， 获得训练及验证数据集； 然后搭建 车道实例分割 网络模型LANet并设置损失函数； 同时在网络中引入注意力门用以融合不同层的 车道特征， 并设计车道自注意力模块以增强车道 特征的表达； 最后对模型进行训练并在车道检测 数据集上测试， 完成车道检测任务。 本方法利用 注意力网络充分提取全局上下文信息并剔除相 关车道干扰， 能够应对车道受到严重遮挡和极端 光照条件等复杂场景干扰的挑战， 并展现了出色 的鲁棒性。 权利要求书2页 说明书4页 附图3页 CN 115512325 A 2022.12.23 CN 115512325 A 1.一种端到端的基于实例分割的车道检测方法， 其特 征在于， 包括以下步骤： 步骤1： 获取车道检测数据集， 对其中的道路图像进行数据增强处理， 从而获得训练及 验证数据集； 步骤2： 搭建车道实例 分割网络模型LANet； 所述网络模型采用编码器 ‑解码器结构， 将 ERFNet的编码结构作为特 征提取网络， 解码网络由车道存在分支和分割分支组成； 步骤3： 设置损失函数， 用于加速模型收敛并提升网络车道特 征挖掘能力； 步骤4： 利用训练数据集对 模型进行训练， 迭代多次后得到最佳的检测模型； 步骤5： 在车道检测数据集上进行测试， 从模型输出的车道概率图中提取车道并叠加在 原始图像上， 从而实现车道检测的可视化。 2.根据权利要求1所述的一种 端到端的基于实例分割的车道检测方法， 其特征在于， 所 述步骤1中对车道检测数据集中道路图像的数据增强包括： 随机仿射变换和随机水平翻转， 并且将增强后的数据集图像尺寸调整为28 8×800大小， 从而获得训练及验证数据集。 3.根据权利要求1所述的一种 端到端的基于实例分割的车道检测方法， 其特征在于， 所 述步骤2中的分割分支会对编 码网络输出的特征依次利用通道注意机制和空间注意机制消 除车道干扰因素； 引入注意力门将编 码器网络中提取的粗糙信息与细节信息中的相关特征 进行合并， 并经过上采样后输出预测结果Mpred； 同时， 在分割分支中添加车道自注意力模块 作为辅助部分， 分别对车道的横向和纵向特征进行提取和融合， 以增强车道全局上下文特 征的表达 。 4.根据权利要求3所述的一种 端到端的基于实例分割的车道检测方法， 其特征在于， 所 述注意力门方 法为： 输入图像 I经过编码器网络特征提取后， 得到较浅层的细节特征Fab以及 较深层的粗略特征Fbb， 两者具有相同的尺寸， 通过逐像素相加得到Fb+后， 应用激活函数及 Sigmod归一化对Fb+进行处理后得到 响应值Fbp； Fbp包含了上下文的语义信息， 其决定每个像 素的重要程度， 从而定位出施加注意力的区域， 抑制不相关区域的特征响应； 最后将Fbp与 Fab逐像素相乘， 得到 输出结果Fbag， Fbag能融合粗略特征与细节特 征。 5.根据权利要求3所述的一种 端到端的基于实例分割的车道检测方法， 其特征在于， 所 述辅助部分通过conv1 ×1以及conv3 ×3提取特征， 并经过两次最大池化操作进行尺寸缩 小； 通过不同的全连接网络分别得到特征Fv和Fh， 并分别在横向和纵向上进行扩展得到Fev 和Feh， 最终将二者融合 得到的注意力概率矩阵为Mbp＝γFev+(1‑γ)Feh； 其中， 参 数γ为概率 权重， 范围在0～1之间。 Mbp对存在车道的位置会施加更多的关注， 通过与分割输出Mpred逐像 素相乘实现对车道的约束。 6.根据权利要求1所述的一种 端到端的基于实例分割的车道检测方法， 其特征在于， 所 述步骤3中的损失函数由三部分组成， 即分割损失、 注意力损失以及车道存在损失； 分割损 失Lseg＝CE(Mpred,Mtrue)用来衡量预测值与真实标签之间的差异， 其中Mpred是分割输出， Mtrue 是真实分割标签； 注意力损失LLSA用于约束辅助部 分中注意力概率输出， 使其更加关注车道 位置； 存在损失Lext＝BCE(Fpred,Ftrue)用于进一步约束车道预测的结果， Fpred是车道存在分 支的输出， Ftrue是车道存在标签； 取α， β 以及λ作为损失系数， 则最终总的损失函数为： L＝α Lseg+β LLSA+λLext。 7.根据权利要求6所述的一种 端到端的基于实例分割的车道检测方法， 其特征在于， 所 述的损失函数中的车道 注意力损失LLSA的具体表达公式为：权　利　要　求　书 1/2 页 2 CN 115512325 A 2其中 表示真实标签与注意力概率图相乘， 表示预测值与注意力 概率图相乘， n是训练的批次大小， η是损失系数， Ω是平衡约束因子， κ 决定了加权车道 面积 的比例， 对模型的性能有重要影响； 注意力损失旨在约束两者之间的差异， 利用真实标签对 分割输出 结果进行约束。 8.根据权利要求6所述的一种 端到端的基于实例分割的车道检测方法， 其特征在于， 所 述步骤4中将设置好的损失函数、 损失系数α、 β和 λ 以及训练模型的学习率代入车道实例分 割网络模型中， 并将车道检测数据集按批次大小输入至模型中训练， 训练模型收敛后得到 检测模型。权　利　要　求　书 2/2 页 3 CN 115512325 A 3