(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210747518.6 (22)申请日 2022.06.28 (71)申请人 上海高德威智能交通系统有限公司 地址 201821 上海市嘉定区云谷路59 9弄6 号620室J 1452 (72)发明人 廖泉　 (74)专利代理 机构 北京德琦知识产权代理有限 公司 11018 专利代理师 谢安昆　宋志强 (51)Int.Cl. G06T 7/73(2017.01) G06T 3/00(2006.01) (54)发明名称 一种立体泊位的视觉定位方法、 装置、 辅助 驾驶系统 (57)摘要 本申请公开了一种立体泊位的视觉定位方 法， 其特征在于， 该方法包括： 在可移动本体侧， 获取当前俯视图图像， 基于当前俯视图图像， 检 测立体泊位的入口线， 得到入口线图像位置信 息， 其中， 入口线为立体泊位处于地面状态下与 地面的交界线， 基于当前俯视图图像， 检测入口 点， 得到入口点图像位置信息和入口点所在泊位 的侧边线角度信息， 其中， 入口点为用于估计立 体泊位位置的特征点， 基于所检测的入口线图像 位置信息、 以及所检测的入口点图像位置信息和 所检测的入口点所在泊位的侧边线角度信息， 确 定立体泊位的图像位置信息以及朝向。 本申请消 除了立体泊位因高度信息所带来的定位精度偏 差， 提高了立体泊位应用场景 下的定位 准确性。 权利要求书3页 说明书11页 附图6页 CN 115063484 A 2022.09.16 CN 115063484 A 1.一种立体泊位的视 觉定位方法， 其特 征在于， 该 方法包括： 在可移动本体侧， 获取当前 俯视图图像， 基于当前俯视图图像， 检测立体泊位的入口线， 得到入口线图像位置信息， 其中， 入口 线为立体泊位处于地 面状态下与地 面的交界线， 基于当前俯视 图图像， 检测入口点， 得到入口点图像位置信息和入口点所在泊位的侧 边线角度信息， 其中， 入口点 为用于估计立体泊位 位置的特 征点， 基于所检测的入口线图像位置信 息、 以及所检测的入口点图像位置信 息和所检测的入 口点所在 泊位的侧边线角度信息， 确定立体泊位的图像位置信息以及朝向。 2.如权利要求1所述的视 觉定位方法， 其特 征在于， 该 方法进一 步包括： 获取前视视角图像， 基于前视视角图像， 识别当前场景是否为立体泊位场景， 在 当前场 景为立体泊位场景的情形 下， 执行所述获取当前 俯视图图像的步骤。 3.如权利要求1所述的视 觉定位方法， 其特 征在于， 所述获取当前 俯视图图像， 包括： 校正所述可移动本体自身的姿态， 使得该可移动本体的移动方向与入口线保持尽可能 平行； 在可移动本体的移动方向与入口线保持平行的状态下， 分别获取前视视角图像、 后视 视角图像、 左视 视角图像、 右视 视角图像， 通过所获取的前视视角图像、 后视视角图像、 左视视角图像、 右视视角图像， 生成俯视 图图像。 4.如权利要求3所述的视觉定位方法， 其特征在于， 所述基于当前俯视 图图像， 检测立 体泊位的入口线， 包括： 利用训练后的第一神经网络， 对当前 俯视图图像进行端点识别， 对所识别的端点进行阈值筛选和非最大值抑制 操作， 找到当前俯视图图像中可能是入 口线端点的特 征点， 将位于所述可移动本体的同侧、 且所述移动方向上靠近 图像边缘的特征点， 确定为入 口线的端点， 将靠近图像第一边缘的端点、 靠近 图像第二边缘的端点所确定的线段， 确定为一条入 口线线段； 其中， 所述第一神经网络按照如下 方式训练： 将具有RGB通道的样本俯视图进行下采样， 得到单通道的第一热力图， 该第一热力图的 真值中， 距离入口线 端点越近， 真值越大， 将第一热力图输入所述第一神经网络， 对第一神经网络进行训练。 5.如权利要求3所述的视觉定位方法， 其特征在于， 所述基于当前俯视 图图像， 检测入 口点， 包括： 利用训练后的第二神经网络， 对当前俯视 图图像进行入口点识别， 得到入口点的图像 位置信息、 以及入口点所在 泊位的侧边线角度信息、 侧边线角度信息的置信度； 其中， 所述第二神经网络按照如下 方式训练： 将具有RGB通道的样本俯视图进行下采样， 得到三通道的第二热力图， 其中， 第一通道权　利　要　求　书 1/3 页 2 CN 115063484 A 2表示入口点的图像位置信息， 距离入口点越近， 真值越大， 第二通道表示入口点所在泊位的 侧边线角度的正弦值， 第三 通道表示入口点所在 泊位的侧边线角度的余弦值， 将第二热力图输入所述第二神经网络， 对第二神经网络进行训练。 6.如权利要求4或5所述的视觉定位方法， 其特征在于， 所述基于所检测的入口线图像 位置信息、 以及所检测的入口点图像位置信息和所检测的入口点所在泊位的侧边线角度信 息， 确定立体泊位的图像位置信息以及朝向， 包括： 对入口点和入口线进行点线匹配， 利用入口线所匹配的入口点的图像位置信息， 对入 口线进行校正， 得到校正入口线， 对校正入口线所匹配的入口点， 确定位于同一泊位上的两入口点的匹配点对， 利用匹配点对中每个入口点所在泊位的侧边线角度信息、 以及图像位置信息， 进行泊 位标识化。 7.如权利要求6所述的视觉定位方法， 其特征在于， 所述对入口点和入口线进行点线 匹 配， 利用入口线所匹配的入口点的图像位置信息， 对入口线进行校正， 得到校正入口线， 包 括： 对于任一入口点， 判断该入口点到任一入口线的距离是否在设定的第一距离阈值内， 如果是， 则判定该入口点与该入口线匹配， 遍历所有的入口点， 直至每个入口点都进 行了匹 配， 删除未匹配成功的入口点， 使得 所保留的每 个入口点仅匹配一条入口线； 遍历所有入口线， 过滤掉入口线之间斜率差异小于设定第一差异阈值的入口线、 入口 线之间的距离小于 设定第二距离阈值的入口线、 以及所匹配的入口点的数量小于设定数量 阈值的入口线， 并保留一条入口线； 对所保留的入口线， 统计该条入口线所匹配的入口点信息， 根据所统计的入口点信息 计算该入口线的第一置信度； 根据该入口线所匹配的所有入口点进行直线拟合， 并计算拟 合直线的第二置信度， 根据第一置信度、 第二置信度、 所匹配的入口点信息、 以及直线拟合 程度， 对该入口线 进行校正， 得到校正入口线。 8.如权利要求6所述的视觉定位方法， 其特征在于， 所述对于校正入口线所匹配的入口 点， 确定位于同一泊位上的两入口点的匹配点对， 包括： 根据校正入口线的长度、 泊位设定 宽度， 确定泊位的数量以及入口点的数量， 对于校正入口线所匹配的每个入口点， 若该入口点与另一入口点之间的距离在 设定的 第三距离阈值、 且该入口点所在泊位的侧边线角度与该另一入口点所在泊位的侧边线角度 之间差异在设定的第二差异阈值内， 则确定该入口点与该另一入口点为匹配点对， 并根据 匹配点对确定泊位的实际宽度； 对于未能匹配成功 的孤立入口点， 则根据泊位的实 际宽度或所述泊位设定宽度， 确定 校正入口线所匹配的入口点中与该孤立入口点相 邻的入口点， 作为该孤立入口点所匹配的 匹配点对； 其中， 匹配点对的数量 为入口点的数量减去1。 9.如权利要求6所述的视觉定位方法， 其特征在于， 所述利用匹配点对中每个入口点所 在泊位的侧边线角度信息、 以及图像位置信息， 进行泊位标识化， 包括： 根据匹配点对中每个入口点的图像位置信息、 所在泊位的侧边线角度信息、 以及所述 侧边线角度信息的置信度， 将匹配点对的图像位置校正至该匹配点对所匹配的校正入口线权　利　要　求　书 2/3 页 3 CN 115063484 A 3