(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211471137.6 (22)申请日 2022.11.23 (71)申请人 青岛中德智能技 术研究院 地址 266000 山东省青岛市黄岛区团结路 中德生态园D-Zone中德创意设计基地 7号楼 (72)发明人 房殿军　韩孝斌　韩佳良　蒋红琰　 罗尔夫·施密特　王平　任晓霞　 (74)专利代理 机构 青岛智地领创专利代理有限 公司 37252 专利代理师 王鸣鹤 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/136(2017.01) G06T 7/60(2017.01)G06T 7/70(2017.01) G06V 10/764(2022.01) G06T 3/00(2006.01) (54)发明名称 一种用于无 人叉车的托盘 检测与定位方法 (57)摘要 本发明公开了一种用于无人叉车的托盘检 测与定位方法， 属于摄影测量学技术领域， 用于 托盘监测和定位， 包括： S1、 执行托盘目标检测， 若存在目标托盘， 则回传目标托盘位置， 若不存 在目标托盘， 则重新执行S1； S2、 回传目标托盘位 置后， 判断托盘距离是否小于阈值， 若小于， 则进 行托盘位姿检测， 若不小于， 则重新执行S1； S3、 托盘位姿检测后， 回传托盘位姿偏差， 判断位姿 偏差是否小于阈值， 若小于， 则重新执行托盘位 姿检测， 若 不小于， 则停止运行。 本发明所提出的 检测模型平均准确率为88.16%， 参数量和推理时 间分别仅为9.5M和21.5ms， 且在低 层货架仓库内 能保证准确快速地检测。 权利要求书3页 说明书7页 附图4页 CN 115546202 A 2022.12.30 CN 115546202 A 1.一种用于无 人叉车的托盘 检测与定位方法， 其特 征在于， 包括： S1、 执行托盘目标检测， 若存在目标托盘， 则回传目标托盘位置， 若不存在目标托盘， 则 重新执行S1； S2、 回传目标托盘位置后， 判断托盘距离是否小于阈值， 若小于， 则进行托盘位姿检测， 若不小于， 则重新执 行S1； S3、 托盘位姿检测后， 回传托盘位姿偏差， 判断位姿偏差是否小于阈值， 若小于， 则重新 执行托盘位姿检测， 若不小于， 则停止运行。 2.如权利要求1所述的一种用于无人叉车的托盘检测与定位方法， 其特征在于， 托盘目 标检测的网络结构包括： 输入的图像数据通过跨阶段局部深度网络提取特征， 然后得到三 个下采样分别为8、 16和 32倍的特征层， 利用三个特征层进行特征金字塔的构建， 得到三个 加强特征图， 以加强特 征图作为预测部分的输入。 3.如权利要求2所述的一种用于无人叉车的托盘检测与定位方法， 其特征在于， 所述预 测部分包括三个预测分支， 分别为判定预测框中的特征点所属类别、 预测每个特征点的坐 标信息 以及判断特征点是否是前景， 其中， 表示预测框左上角的横坐标信息， 表示预测框左上角的纵坐标信息， 表示预测框的宽度信息， 表示预测框的高度信息 。 4.如权利要求3所述的一种用于无人叉车的托盘检测与定位方法， 其特征在于， 预测分 支的第一分支使用1个维度为 的卷积进行降维， 其余分支部分使用 2个维度的卷积以减少速度上的损失， 得到三个分支的预测结果后， 将其进行堆叠得到预测 特征层， 预测特征层的通道维度包括预测坐标、 置信度和类别概率的信息， 将三个预测特征 层堆叠连接得到最终预测信息 。 5.如权利要求4所述的一种用于无人叉车的托盘检测与定位方法， 其特征在于， 目标检 测模型的损失分为 位置损失、 分类损失和置信度损失； 位置损失中， 对每个预测目标， 通过计算预测框和真实框的交并比损失 IoU作为回归损 失，IoU定义如下式： ，A表示预测框位置损失， B表示真实框位置损失； 分类损失中， 对每个预测目标， 确定其特征点所属于的种类， 通过真实类别和预测类别 来计算交叉熵作为分类损失； 置信度损失中， 损失 的计算式为： ， 其中 ， 控制正样本和负样本对损 失的权重， 是交叉熵损失的调制因子， 其中 为分类正 确的概率， 为超参数。 6.如权利要求5所述的一种用于无人叉车的托盘检测与定位方法， 其特征在于， 托盘位 姿检测包括： B1.点云预处理、 B2.分割托盘与包裹箱的点云、 B3.分割货架点云、 B4.计算托 盘姿态信息 。 7.如权利要求6所述的一种用于无人叉车的托盘检测与定位方法， 其特征在于， 点云预 处理包括： B1.1.点云图投射到二维平面得到投影图， 并对原 始点云进行比例变换； B1.2.通过二 值化阈值的方法对投影图进行阈值分割， 提取托盘前表面的投影区域；权　利　要　求　书 1/3 页 2 CN 115546202 A 2B1.3.对投影区域进行形态学变换， 对其进行膨胀运算以最大化表征需要提取区域的 特性， 让托盘区域特 征最大化； B1.4.利用最大类间方差算法Otsu让托盘、 货架的投影特征更为显著， 其中， 用下式确 定最大类间方差的阈值 ： ， ， 其中， 是方差， 是标准差， 按照Otsu所得阈值将图像像素划分为两个类别， 背景所占比例 ， 前景所占比 例 ， 背景和背景平均灰度值分别为： ， ， 其中， 为灰度等级的数量， 为两者灰度的分界等级， 为灰度等级为 i时的概率； B1.5.考虑邻接关系进行 连通域处理得到二维投影； B1.6.将二维投影转换回三维点云坐标系， 搜索并保留原始点云中托盘区域点云的临 近点云， 在原 始点云中筛 选出托盘及包裹箱前表面。 8.如权利要求7所述的一种用于无人叉车的托盘检测与定位方法， 其特征在于， 采用随 机采样一致性算法对托盘和包裹箱进行分割， 得到托盘、 包裹箱前表面的平面模型系 数以 及内点的索引值， 具体包括： B2.1.托盘、 包裹箱的前表面为平面模型， 目标拟合模型设定为 ， 是拟合后的值， 、 、 是单位方向矢量； B2.2.在点云中随机 选取三个点作为 最小的子集进行平面模型的拟合； B2.3.舍弃不在目标函数 范围的离群点云， 设定样本点对 模型的最大损失值阈值 τ； B2.4.计算点集中所有点和当前平面模型的损失值并与 τ作比较， 如果在误差允许的范 围内， 统计其数量， 否则舍弃掉； B2.5.重复B2.1到B2.4， 不断迭代 找到最佳的拟合平面模型； B2.6.根据目标点云区域的索引值提取出托盘及包裹箱的前表面点云， 将点云通过欧 拉角与旋转矩阵的关系转 正， 并将点云图进行二维投影； B2.7.根据托盘有插孔的特殊形状特性， 将托盘与包裹箱在二维平面上进行分割， 对于 B2.6所得二维投影， 假设r、 c分别为图像的行分量列分量， Count为计数器， 托盘与包裹箱分 割流程为： B2.7.1.对计数器进行初始化操作， 并且 对投影图的列分量进行遍历操作； B2.7.2.对于坐标为(x ，y)的像素点， 如果该像素点的灰度 值为255， 那么计数器进行自 增操作； B2.7.3.每进行一次迭代， 统计 计数器Count的大小占图像沿x轴像素总值的比例p； B2.7.4.判断比例p是否达到设定的比例阈值T， 如果大于指定阈值， 则记录当前坐标， 否则进入下一轮的迭代， 得到包裹箱点云投影的起始坐标和终止坐标位置， 通过两个坐标 实现托盘与包裹箱在二维投影上的分割； B2.8.将B2.7中搜索到的起始坐标和终止坐标转换到三维坐标系下， 得到在三维坐标权　利　要　求　书 2/3 页 3 CN 115546202 A 3