(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210989203.2 (22)申请日 2022.08.17 (71)申请人 三一重机有限公司 地址 215000 江苏省苏州市昆山市昆山 开 发区环城东路 (72)发明人 李大鼎　王威　储海军　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 刘艳 (51)Int.Cl. G06T 7/50(2017.01) G06T 7/73(2017.01) G06T 3/40(2006.01) G06T 17/00(2006.01) G06V 10/22(2022.01)G06V 10/74(2022.01) E02F 9/26(2006.01) E02F 9/20(2006.01) (54)发明名称 作业机械的辅助控制方法、 装置、 系统及作 业机械 (57)摘要 本发明涉及作业机械领域， 提供一种 作业机 械的辅助控制方法、 装置、 系统及作业机械， 方法 包括： 获取作业机械所处作业环 境的图像数据以 及作业机械的姿态数据； 基于图像数据建立作业 场景， 基于作业机械的姿态数据， 确定作业机械 的关键部位的位姿信息； 将关键部位的位姿信息 与作业场景融合， 得到作业场景中关键部位的位 置信息； 基于关键部位的位置信息以及作业场景 中的作业面生成辅助控制数据， 以对作业机械进 行辅助控制。 由于辅助控制数据是将关键部位的 位姿信息与作业场景融合并结合作业场景中的 作业面生 成的， 提高了辅助控制过程的效率和可 靠性， 解决了现有的辅助控制过程， 难以高效和 可靠的辅助操作者控制作业机 械的问题。 权利要求书2页 说明书11页 附图6页 CN 115457096 A 2022.12.09 CN 115457096 A 1.一种作业机 械的辅助控制方法， 其特 征在于， 包括： 获取作业机 械所处作业环境的图像数据以及所述作业机 械的姿态数据； 基于所述图像数据建立所述作业机械的作业场景， 并基于所述作业机械的姿态数据， 确定所述作业机 械的关键 部位的位姿信息； 将所述关键部位的位姿信 息与所述作业场景融合， 得到所述作业场景中所述关键部位 的位置信息； 基于所述关键部位的位置信息以及所述作业场景中的作业面， 生成辅助控制数据， 以 对所述作业机 械进行辅助控制。 2.根据权利要求1所述的作业机械的辅助控制方法， 其特征在于， 所述获取作业机械所 处作业环境的图像数据， 包括： 获取所述作业环境中至少一个目标场景的二维图像和深度信息； 基于所述至少一个目标场景的二维图像和深度信息， 确定所述图像数据。 3.根据权利要求2所述的作业机械的辅助控制方法， 其特征在于， 所述基于所述图像数 据建立所述作业机 械的作业场景， 包括： 分别将每个所述目标场景的二维图像和所述深度信 息进行拼接， 得到每个所述目标场 景的三维图像； 将各个所述目标场景的三维图像进行拼接， 得到所述作业场景。 4.根据权利要求1所述的作业机械的辅助控制方法， 其特征在于， 所述基于所述关键部 位的位置信息以及所述作业场景中的作业 面， 生成辅助控制数据， 包括： 基于所述关键部位的位置信 息以及所述作业场景中的作业面， 在所述作业场景中确定 所述关键 部位对应的作业区域以及所述关键 部位与所述作业区域的距离信息； 基于所述关键 部位的位置信息、 所述作业区域以及所述距离信息， 生成辅助控制数据。 5.根据权利要求4所述的作业机械的辅助控制方法， 其特征在于， 所述基于所述关键部 位的位置信息以及所述作业场景中的作业面， 在所述作业场景中确定所述关键部位对应的 作业区域以及所述关键 部位与所述作业区域的距离信息， 包括： 基于所述关键 部位的位置信息， 确定所述关键 部位的作业方向； 基于所述作业方向与所述作业 面的交点， 确定所述关键 部位的落 点位置； 基于所述 落点位置以及所述作业 面， 确定所述作业区域； 基于所述关键部位的位置信 息以及所述落点位置， 确定所述关键部位与所述作业区域 的距离信息 。 6.根据权利要求4所述的作业机械的辅助控制方法， 其特征在于， 所述在所述作业场景 中确定所述关键部位对应的作业区域以及所述关键部位与所述作业区域的距离信息之后， 还包括： 基于预设对应关系， 确定所述距离信息对应的作业指导 参数； 其中， 所述预设对应关系为所述距离信息与所述作业指导 参数的对应关系。 7.根据权利要求1所述的作业机械的辅助控制方法， 其特征在于， 所述将所述关键部位 的位姿信息与所述作业场景融合， 得到所述作业场景中所述关键 部位的位置信息， 包括： 将所述关键部位的位姿信 息转换至所述作业场景对应的坐标系中， 得到所述作业场景 中所述关键 部位的位置信息 。权　利　要　求　书 1/2 页 2 CN 115457096 A 28.一种作业机 械的辅助控制装置， 其特 征在于， 包括： 获取模块， 用于获取作业机械所处作业环境的图像数据 以及所述作业机械的姿态数 据； 第一处理模块， 用于基于所述图像数据建立所述作业机械的作业场景， 并基于所述作 业机械的姿态数据， 确定所述作业机 械的关键 部位的位姿信息； 第二处理模块， 用于将所述关键部位的位姿信息与所述作业场景融合， 得到所述作业 场景中所述关键 部位的位置信息； 第三处理模块， 用于基于所述关键部位的位置信息以及所述作业场景中的作业面， 生 成辅助控制数据， 以对所述作业机 械进行辅助控制。 9.一种作业机械的辅助控制系统， 其特征在于， 包括： 环境数据采集设备、 姿态数据采 集设备以及控制器， 所述环境数据采集设备和所述姿态数据采集设备均与所述控制器连 接， 所述控制器还与所述作业机 械连接； 所述环境数据采集设备用于采集所述作业机 械所处作业环境的图像数据； 所述姿态数据采集设备用于采集所述作业机 械的姿态数据； 所述控制器用于获取所述图像数据以及所述姿态数据； 基于所述图像数据建立所述作 业机械的作业场景， 并基于所述姿态数据， 确定所述作业机械的关键部位的位姿信息； 将所 述关键部位的位姿信息与所述作业场景融合， 得到所述作业场景中所述关键部位的位置信 息； 基于所述关键部位的位置信息以及所述作业场景中的作业面， 生 成辅助控制数据， 以对 所述作业机 械进行辅助控制。 10.一种作业机械， 其特征在于， 执行如权利要求1至7任一项所述的作业机械的辅助控 制方法或者包括如权利要求8所述的作业机 械的辅助控制装置 。 11.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所 述的作业机 械的辅助控制方法。权　利　要　求　书 2/2 页 3 CN 115457096 A 3