(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210604372.X (22)申请日 2022.05.31 (71)申请人 浙江科甬泰自动化科技有限公司 地址 315000 浙江省宁波市镇海区庄市街 道中官路7 77号 (72)发明人 张三建　邱晓杰　王财虎　 (74)专利代理 机构 深圳市创富知识产权代理有 限公司 4 4367 专利代理师 胡茄 (51)Int.Cl. G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种智能搬运车的控制方法和系统 (57)摘要 本发明公开了一种智能搬运车的控制方法 和系统， 该方法包括： 通过采集模组对搬运车的 工作场所进行拍摄， 得到货位上所有载物件的摆 放位置图片； 通过深度学习网络模 型对所得载物 件的摆放位置图片进行处理， 以实现对载物件进 行分类和定位； 通过高度估算系统对 上述分类定 位后的载物件 上的货物高度进行估算， 并判断所 得货物高度的估算值是否处于搬运车预设的标 准搬运高度范围内； 根据所述高度估算系统的判 断结果， 控制器相应控制搬运车工作。 使用本发 明的技术方案， 可以实现搬运车高智能、 高精度、 高效率、 高安全性的搬运工作。 权利要求书3页 说明书8页 附图2页 CN 115018913 A 2022.09.06 CN 115018913 A 1.一种智能搬运车的控制方法， 其特 征在于， 包括： S1： 通过采集模组对搬运车的工作场所进行拍摄， 得到货位上所有载物件的摆放位置 图片； S2： 通过深度学习网络模型对所得载物件的摆放位置图片进行处理， 以实现对载物件 进行分类和定位； S3： 通过高度估算系统对上述分类定位后的载物件上的货物高度进行估算， 并判断所 得货物高度的估算 值是否处于搬运车 预设的标准搬运高度范围内； S4： 根据所述高度估算系统的判断结果， 控制器相应控制搬运车工作。 2.根据权利要求1所述的智能搬运车的控制方法， 其特征在于， 上述S2中， 所述深度学 习网络模型对所 得载物件的摆放 位置图片进行处 理的方法包括： S21： 通过 特征提取网络将输入的载物件的摆放 位置图片转 化为特征图谱； S22： 通过区域候选网络在得到的特征图谱中对载物件可能出现的区域进行预测和计 算， 得到载物件的分类和位置信息 。 3.根据权利要求2所述的智能搬运车的控制方法， 其特征在于， 上述S21中， 所述特征提 取网络采用YOLO网络模型， 其能将输入的载物件的摆放位置图片依次经过多个卷积层、 池 化层和全连接层训练后， 得到提取 出来的特 征图谱。 4.根据权利要求2所述的智能搬运车的控制方法， 其特征在于， 上述S22中， 所述区域候 选网络对输入的特 征图谱的处 理方法为： S220： 所述区域候选网络采用滑动窗口的方式遍历输入的特征图谱， 所述特征图谱上 的每一个点均对应生成一个具有不同尺度和宽高比的锚点框， 所述锚点框的坐标是在原图 上的坐标； S221： 将所得锚点框分别输入到两个网络层中进行训练， 其中一个网络层用来对锚点 框分类， 即用来输出锚点框里面的特征图是否属于前景； 另一个网络层用来输出锚点框的 位置坐标， 即输出四个坐标值 来标识锚点框在二维图像空间中的位置； S222： 将锚点框与真实标签框进行IOU对比， 先对锚点框是否属于前景框进行分类与标 注， 再计算出 标注为前 景框的锚点框相对于真实标签框的四个位置偏移； S223： 对于上述所得的位置偏移， 通过优化网络权重的方式， 使得标注为前景框的锚点 框的坐标接近真实标签框的坐标， 由此实现对特征图谱中的载物件进行分类、 并输出其位 置信息。 5.根据权利要求1所述的智能搬运车的控制方法， 其特征在于， 上述S3中， 所述高度估 算系统对上述分类定位后的载物件上的货物高度进行估算， 并判断所得货物高度的估算值 是否处于搬运车 预设的标准搬运高度范围内， 包括： S31： 对所述采集模组进行标定， 以及对所述采集模组采集到的载物件的摆放位置图片 进行畸变校正； S32： 训练一 新的基于深度学习方法的回归网络模型； 先对经畸变校正后的载物件的摆放位置图片进行标注， 再将标注后的载物件的摆放位 置图片传输至所述回归网络模型中进 行货物高度估算， 并判断所得货物高度的估算值是否 处于搬运车 预设的标准搬运高度范围内。 6.根据权利要求5所述的智能搬运车的控制方法， 其特征在于， 上述S31中， 所述采集模权　利　要　求　书 1/3 页 2 CN 115018913 A 2组采用单目相 机模组、 双目相 机模组和深度相 机模组中的一种， 且所述采集模组的数量为 多个； 对所述采集模组进行标定的方法为： 测量多个所述采集模组中的相机之间的相对位 置， 并获得相机的内参系数、 外参系数和畸变系数； 其中， 内参系数包括相机的焦距fx、 fy， 成像原点cx、 cy； 外参系数包括相机之间的相对旋转矩阵r和平 移向量t； 畸变系数包括径向畸变系数k1、 k2、 k3， 切向畸变系数p1、 p2； 对所述采集模组采集到的载物件的摆放位置 图片进行畸变校正的方法为： 首先， 将三 维空间点投影到归一化图像平 面， 并设它的归一化坐标为[x,y]Τ； 然后， 通过以下公 式对归 一化平面上的点进行径向畸变和 切向畸变校正： xcorrected＝x(1+k1r2+k2r4+k3r6)+2p1xy+p2(r2+2x2)， ycorrected＝y(1+k1r2+k2r4+k3r6)+2p2xy+p1(r2+2y2)； 随后， 将校正后的点经过内参矩阵投影到像素平面， 使多个所述相机的成像视 图中的 成像原点 一致， 即得到该点在图像上的正确位置 。 7.根据权利要求5所述的智能搬运车的控制方法， 其特征在于， 上述S32中， 先对经畸变 校正后的载物件的摆放位置图片进行标注， 标注信息包括货物底部和顶部的像素坐标； 再 将标注后的载物件摆放位置图片传输至所述回归网络模型中， 根据标注信息中所包含的货 物高度信息作为输出， 并通过多次训练后估算出货物高度， 用以下表达式表示： Lhigh＝||f(X,h,w； θ ) ‑y||2， 其中， f为回归网络模型函数， X、 h和w分别为货物的中心点坐标、 高度和宽度， θ为旋转 角度， y为标注信息； 随后， 通过参数优化以最小化上述表达式， 所述回归网络模型便可预测出货物的高度 估算值； 待训练完成后， 将所得货物的高度估算值与预设的标准搬运高度阈值进行比较， 若货 物的高度估算 值大于预设的标准搬运高度阈值， 控制器则控制搬运车进行 搬运工作。 8.根据权利要求1所述的智能搬运车的控制方法， 其特征在于， 所述采集模组安装于厂 房内空间上部， 且所述采集模组的采集范围覆盖整个货位区域。 9.一种智能搬运车的控制系统， 其特 征在于， 包括： 搬运车， 用于搬运货位上的载物件； 采集模组， 用于对所述搬运车的工作场所进行拍摄， 得到货位上所有载物件的摆放位 置图片； 深度学习 网络模型， 用于对所得载物件的摆放位置 图片进行处理， 以实现对载物件进 行分类和定位； 高度估算系统， 用于对上述分类定位后的载物件上的货物高度进行估算， 并判断所得 货物高度的估算 值是否处于搬运车 预设的标准搬运高度范围内； 控制器， 用于根据所述高度估算系统的判断结果 来相应控制所述搬运车工作。 10.根据权利要求9所述的智能搬运车的控制系统， 其特征在于， 所述搬运车采用AGV小 车， 所述载物件 采用托盘； 所述采集模组采用单目相机模组、 双目相机模组和深度相机模组中的一种， 所述采集权　利　要　求　书 2/3 页 3 CN 115018913 A 3