全球首个落地无人挖掘机作业系统！百度技术成果获《ScienceRobotics》刊发
近日，由百度研究院机器人与自动驾驶实验室（RAL）团队牵头开发的全新无人挖掘机作业系统（AES）这一最新技术成果，登上了国际顶级期刊《Science》子刊 《Science Robotics》，并获得了评审专家与期刊编委的高度评价。
该研究融合了感知、运动规划和控制系统，可驱动挖掘机自主完成挖装任务，进行24小时连续无人化作业，并成为全球首个实际落地的、可长时间作业的无人挖掘机系统，在工程机械自动化、无人化作业领域具有重要价值和影响。
随着新型基础设施建设的大力推进，工程机械行业乘风而上，并不断向数字化、智能化方向演进。挖掘机被誉为工程机械“皇冠上的明珠”，在资源开采、工业生产、建设施工和抢险救灾等领域应用广泛，且拥有十分可观的全球市场份额。
为什么要将挖掘机无人化？实际上，由于工作环境和能力要求等原因，挖掘机行业普遍存在招工难的人力短缺问题；挖掘机操作手还会遇到塌方、恶劣天气等问题，这些问题为工业生产带来巨大挑战。基于此，百度无人挖掘机作业系统（AES）应运而生。
挖掘机恶劣工况和作业环境
▍通用型无人挖掘作业系统
百度RAL实验室牵头提出了百度无人挖掘机作业系统（AES）的研究，并联合马里兰大学和百度智能云事业部合作开发。AES包含一套以三维环境感知、实时运动规划、鲁棒运动控制为核心的AI算法,可在不同工作情况下进行无人化作业。
无人挖掘机系统（AES）硬件系统
技术上，AES实现了三个方面的提升：使用多种传感器融合和感知算法，感知模块可以支持无人挖掘机在不同的工况和恶劣环境下进行无人化作业，保证了AES系统的作业效率、鲁棒性和泛化能力；作业和运动规划模块融合了数据驱动的学习算法和优化算法，可以有效计算挖掘位置和挖掘机铲斗轨迹，确保作业效率；高精度运动控制系统，有效实现挖掘机各机构的精准运动控制。
无人挖掘机系统（AES）框架图
具体而言，首先，感知系统利用低成本相机和激光雷达，实时生成高精度的三维环境地图，通过计算机视觉和深度学习等算法，AES可以检测作业环境中的运输卡车、障碍物、石块、标识和人员等，并对卡车、障碍物等物体进行准确的三维姿态估计，同时也可以识别作业物料材质等信息。其次，基于感知系统的信息反馈，通过学习和优化算法，AES能够快速进行作业规划和多自由度的挖掘机各关节运动路径规划，确保提升作业效率的同时降低机械损耗。最后，通过高精度运动闭环控制算法，AES能够实现挖掘机各机构的精准运动控制，解决了传统工程机械中运动控制无法闭环、轨迹难以跟踪、跟踪精度差等难题。此外，AES还包含一整套软件和界面设计，协助终端用户完成系统的操作、部署和使用。
AES视觉感知系统功能模块
以石块操作任务为例，AES系统的操作流程如下。感知系统以“从粗到细”的方式对场景信息进行处理。首先对图像进行增强处理，消除粉尘对整个识别系统的影响；之后对作业区域的物料进行材质识别；然后将图像中石块所在区域进行语义和实例分割算法处理。通过融合二维实例分割结果和LiDAR三维点云，确定石块的精确三维位置。感知模块最后将石块三维位置反馈给规划和控制模块，AES最后通过挖掘机多自由度运动规划和运动闭环控制，实现移除石块的任务。
AES石块操作示例
目前，AES已在多种复杂的室内和室外不同工况下进行了挖装测试、石块操作及挖沟任务等，充分显示了AES系统具备处理多种挖掘机任务的能力，证明了AES系统的技术先进性、作业任务兼容性、系统稳定性和鲁棒性。
AES测试场景
▍实现落地应用 百度AI助力工业生产智能化
AES已经落地工业废料处理相关领域，在实际的无人化、自动化应用中发挥重要作用。AES实现了工业废料连续24小时自动上料功能，助力工业废料处理产线实现全程的无人化处理。在工业废料上料过程中，AES感知模块首先进行工业废料的地形三维重建，确定待挖掘区域；运动规划模块根据感知模块的信息反馈设计运动轨迹，控制模块根据运动轨迹进行工业废料处理。目前AES赋能的无人挖掘机系统已在工业废料处理产线上无故障作业了数千小时，充分显示了AES系统的稳定性和鲁棒性，有效减少了工业废料对挖掘机操作手的损害，并为客户大幅节省人力成本。
AES连续24小时无人作业
在AES系统的基础上，百度RAL联合百度智能云事业部开发的“盘古工程机械无人作业平台”，已成为国内首个基于智能云平台、软硬一体、技术领先的工程机械无人作业平台。基于盘古平台的挖掘机，在没有驾驶员操作的情况下，自主感知作业环境、规划任务并完成作业。
目前，百度盘古团队和徐工等工程机械头部厂商打磨合作，优化和落地无人化作业系统，帮助工程机械用户提升生产安全性、降本增效，推动工业生产向数字化、智能化、安全化、绿色化的目标迈进。
“百度盘古”赋能工程机械无人化作业
建设与发展是人类社会的主旋律，工业生产的自动化和智能化是未来的主流趋势。百度将继续创新与迭代AI技术，瞄准工业生产细分领域，为工业生产真实场景技术转型突破赋能，持续推动技术落地产业实际应用。
更多精彩
＊内卷化严重的机器人行业，边界到底在哪？出海能否成为新出路？
＊Shadow遥操作系统来了！隔着大陆也能控制！还能精准感知每一个细节！
＊MTBF认证到底有多难？工艺水平与生产质量管理缺一不可！这家机器人企业竟然已经拿到！
＊机器人挖煤，远没有那么简单！大数据、人工智能目前已应用！智能化是关键！
＊时代变革，人类科技史上第一款【伴随仿生机器人】发布,1.6万起！
＊松灵自主导航复合机器人亮相ICRA2021，一站式配齐，让你更懂研发！
＊国内首款工业级防水机器狗问世！云深处重磅发布工业巡检新利器
＊腾讯 Robotics X 轮腿式机器人 Ollie 亮相 ICRA 2021，花滑空翻样样行
加入社群
欢迎加入【机器人大讲堂】读者讨论群，共同探讨机器人相关领域话题，共享前沿科技及产业动态。
教育机器人、医疗机器人、腿足机器人、工业机器人、服务机器人、特种机器人、无人机、软体机器人等专业讨论群正在招募，关注机器人大讲堂公众号，发送“交流群”获取入群方式！
招募作者
机器人大讲堂正在招募【兼职内容创作者】，如果您对撰写机器人【科技类】或【产业类】文章感兴趣，可将简历和原创作品投至邮箱：LDjqrdjt@163.com
我们对职业、所在地等没有要求，欢迎朋友们的加入！
看累了吗？戳一下“在看”支持我们吧！