(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210595284.8 (22)申请日 2022.05.28 (71)申请人 聚时科技 （上海） 有限公司 地址 200082 上海市杨 浦区杨树浦路23 00 号3B层B02- 59室 (72)发明人 国正　董欣宇　罗长志　郑军　 (74)专利代理 机构 武汉天领众智专利代理事务 所(普通合伙) 42300 专利代理师 张梦迪 (51)Int.Cl. G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种用于岸桥自动抓放箱的吊具多视角融 合定位系统 (57)摘要 本发明涉及吊具定位技术领域， 尤其涉及一 种用于岸桥自动抓放箱的吊具多视角融合定位 系统， 通过AI训练模块针对多个相机不同视角的 差异性， 定义吊具上不同的目标物类别， 为不同 视角的相机训练对应的yolov5s检测模型； 检测 模型应用于实时获取的相机图像中， 完成吊具的 多视角识别， 检测模块的输出为目标物的特征， 包括目标物类型和作业车道， 同时输出目标物在 图像中的位置， 以图像ROI的像素坐标给出； 定位 模块利用检测模块的目标物特征和ROI数据， 分 别计算吊具的每个姿态。 本发明将吊具位姿进行 有效的拆分与解耦， 并针对每个分位姿设计对应 的观测视角与检测定位算法， 在保证定位频率的 情况下， 大幅提高每 个自由度的定位精度。 权利要求书2页 说明书6页 附图4页 CN 114998430 A 2022.09.02 CN 114998430 A 1.一种用于岸桥自动抓放箱 的吊具多视角融合定位系统， 其特征在于： 包括AI训练模 块、 检测模块、 定位模块、 发布模块； AI训练模块用于针对多个相机不同视角的差异性， 定义吊具上不同的目标物类别， 为 不同视角的相机训练对应的yolov5 s检测模型； 相机安装视角的确定方式为： 用于确定吊具 平动自由度的相机， 使其光轴与对应的吊具平动轴垂 直； 用于确定吊具转动自由度的相机， 使其光轴与对应的吊具转动轴平行； 基于AI训练模块得到的检测模型， 应用于实时获取的相机 图像中， 完成吊具的多视角 识别， 所述检测模块的输出为目标物的特征， 包括目标物类型和作业车道， 同时输出目标物 在图像中的位置， 以图像ROI的像素坐标 给出； 所述定位模块利用检测模块的目标物特征和ROI数据， 分别计算吊具的每个姿态， 并由 发布模块将定位模块计算得到的吊具位姿信息对外发布。 2.根据权利要求1所述的一种用于岸桥自动抓放箱的吊具多视角融合定位系统， 其特 征在于： 所述相机包括小 车相机一、 联系梁相机二、 横梁相机三和横梁相机四， 针对吊具的3 个平动自由度， 小车相机一固定于小车底部， 相机跟小车随动， 镜头竖直向下俯视吊具； 联 系梁相机二固定于左侧联系梁， 镜头水平朝前观察 吊具的大车方向端面； 横梁相 机三和横 梁相机四分别安装于海陆侧横梁上， 镜 头水平朝前看吊具的小车 方向端面。 3.根据权利要求2所述的一种用于岸桥自动抓放箱的吊具多视角融合定位系统， 其特 征在于： 所述AI训练模块的训练步骤如下： 步骤一， 从小车相机一、 联系梁相机二、 横梁相机三和 横梁相机四的录像中各截取5000 张以上不同时刻的真实图片， 图像背 景应该至少包括晴天、 阴雨 天， 雾天以及夜间等多种工 况； 步骤二， 利用采集到的小车相机一的真实图片， 进行目标物的人工标注， 标注信 息为目 标物类别以及所在区域的图像ROI， 针对视野中吊具四个角的特征差异性， 定义4个不同的 目标物类别， 分别为： 俯视边角1 ‑1， 俯视边角1 ‑2， 俯视边角1 ‑3以及俯视边角1 ‑4； 步骤三， 利用采集到的联系梁相机二的真实图片， 进行目标物的人工标注， 标注信 息包 括目标物类别、 目标物所在车道号以及所在区域的图像ROI， 定义2个不同的目标物类别， 分 别为： 大车端面角2 ‑1， 大车端面角2 ‑2； 步骤四， 与步骤二类似， 利用采集到的横梁相机三的真实图片， 进行目标物的人工标 注， 定义2个不同的目标物类别， 分别为： 小车端面角3 ‑1， 小车端面角3 ‑2； 步骤五， 与步骤二类似， 利用采集到的横梁相机四的真实图片， 进行目标物的人工标 注， 定义2个不同的目标物类别， 分别为： 小车端面角4 ‑1， 小车端面角4 ‑2； 步骤六， 利用步骤二～步骤五标注的数据分别训练对应的yolov5s模型,获得的模型记 为yolo1， yolo2， yolo3和yolo4。 4.根据权利要求2所述的一种用于岸桥自动抓放箱的吊具多视角融合定位系统， 其特 征在于： 所述检测模块的检测步骤如下： 步骤一： 利用yolo1模型实时检测小车相机一的图像数据， 并输出4个俯视边角特征 ROI， 记为R 1‑1， R1‑2， R1‑3和R1‑4； 步骤二： 利用yolo2模型实时检测联系梁相机二的图像数据， 并输出吊具的工作车道号 ID， 以及2个大 车端面角的ROI， 记为R2 ‑1和R2‑2；权　利　要　求　书 1/2 页 2 CN 114998430 A 2步骤三： 利用yolo3模型实时检测横梁相机三的图像数据， 并输出2个小车端面角的 ROI， 记为R3 ‑1和R3‑2； 步骤四： 利用yolo4模型实时检测横梁相机四的图像数据， 并输出2个小车端面角的 ROI， 记为R4 ‑1和R4‑2。 5.根据权利要求2所述的一种用于岸桥自动抓放箱的吊具多视角融合定位系统， 其特 征在于： 所述检测模块利用检测模块的目标物特征和ROI数据， 分别计算吊具的小车坐标 tx、 大车坐标ty和绕z轴的转角 θz； 吊具绕y轴的转角 θx； 以及吊具的高度坐标tz和绕x轴的转 角 θx。 6.根据权利要求5所述的一种用于岸桥自动抓放箱的吊具多视角融合定位系统， 其特 征在于： 所述检测模块计算吊具的小车坐标tx、 大车坐标ty和绕z轴的转角 θz的过程如下： 步骤一， 利用检测模块获取的小车相机一的图像ROI(即R1 ‑1～R1‑4)， 分别计算其 中心 像素坐标， 记 为a1， a2， a3， a4； 利用上述ROI中心坐标， 计算吊具中心像素M(u， v)和平均转角 θz； 步骤二， 利用相机成像模型， 将吊具中心的像素坐标C转 化为物理空间坐标， 即 tx＝(u‑u0)·fx/Lr ty＝(v‑v0)·fy/Lr 式中， (u0， v0)是图像中心的像素坐标， fx和fy代表相机内参， Lr为PLC中读取的吊具高度 数值。 7.根据权利要求5所述的一种用于岸桥自动抓放箱的吊具多视角融合定位系统， 其特 征在于： 所述检测模块计算吊具 绕y轴的转角 θx过程如下： 利用检测模块获取的联系梁相机 二的图像ROI， 即R2 ‑1， R2‑2， 分别计算其中心 像素坐标， 记 为d1， d2； 利用上述ROI中心坐标， 计算吊具绕y轴的平均转角 θy。 8.根据权利要求5所述的一种用于岸桥自动抓放箱的吊具多视角融合定位系统， 其特 征在于： 所述检测模块计算吊具的高度坐标tz和绕x轴的转角 θx过程如下： 步骤一， 当检测模块提示吊具工作于靠陆车道时， 提取海侧横梁相机三的图像ROI(即 R3‑1， R3‑2)； 当检测 模块提示吊具工作于靠海车道时， 提取陆侧横梁相机四的图像ROI(即 R4‑1， R4‑2)， 利用提取的ROI中心坐标b1， b2， 计算吊具中心像素N(u， v)和平均转角 θx； 步骤二， 利用相机成像模型， 将吊具中心的像素坐标N 转化为物理空间坐标， 即 式中， (u0， v0)是图像中心的像素坐标， fy代表相机内参， Lx为PLC中读取的小车位置， 是对应相机距离地 面的高度。 9.根据权利要求1所述的一种用于岸桥自动抓放箱的吊具多视角融合定位系统， 其特 征在于： 所述 发布模块将视觉服务器上定位模块计算得到的吊具位姿信息由ZMQ对外发布， 包括6个定位值， 即吊具的小车坐标tx、 大车坐标ty、 吊具的高度坐标tz、 吊具绕x轴的转角 θx、 绕y轴的转角 θx、 以及绕x轴的转角 θx。权　利　要　求　书 2/2 页 3 CN 114998430 A 3