麻省理工开源PEAR项目实现大模型驱动机械臂
科技专栏 2026-11-16 14:52
麻省理工学院韩松团队推出名为PEAR的机器人后训练项目,基于开源Qwen3.8-27B模型完成相关技术验证,在单张RTX 5090消费级显卡上实现每秒220 token以上的解码速度,完全满足实时驱动真实双臂机器人的响应要求,目前整个项目相关资源已全部对外开源。
此前行业内不少开发者尝试将前沿大模型接入机械臂开展各类任务演示,但真正落地部署时,高昂的推理成本、难以适配实时控制需求的响应延迟,以及端侧算力上限、散热约束等问题,始终是横亘在通用大模型与实体机器人之间的现实障碍。PEAR项目的出现,为破解这一困局提供了一条全新的技术路径。
纯仿真强化学习的零真机数据训练路线
PEAR的整个训练流程完全在仿真环境中通过强化学习完成,全程没有使用任何真机采集的数据,也没有引入任何人类遥操作演示内容。这套被团队命名为Robot-Use RL的训练方案,参考了前沿模型操作电脑的智能体运行逻辑,把二维屏幕上的交互经验直接平移到三维物理空间的机械臂操控场景中。
具体到每一轮交互环节,模型会同步接收三路摄像头传回的实时画面,以及机械臂当前的关节状态数据,在内部生成完整的思维链,自主分析夹爪与目标物体的相对位置关系,最终直接输出末端执行器的下一个目标位姿,包含x、y、z三个方向的坐标以及roll、pitch、yaw三个姿态角。后续仅通过逆运动学算法解算出对应的关节角度,就能交由底层控制器直接驱动机械臂移动到指定位置,本轮交互的记录连同新拍摄的画面会被回填到上下文当中,支撑下一轮的决策生成。
这套运行链路里没有设置独立的感知模块,没有额外的抓取规划器,也没有预置的技能库,物体定位、路径规划、动作偏差修正等所有环节,全部由模型直接从摄像头画面中自主完成。

真机迁移与基准测试的实际表现
完成全部仿真训练后,研究团队直接将模型迁移到一台从未在训练过程中出现过的YAM双臂真机上开展测试,在30次抓取与积木排列任务中,模型成功完成18次,整体测试成功率达到60%,而未经过机器人操控训练的基础模型在相同测试中成功率为0。
在机器人操控领域经典的LIBERO基准测试中,PEAR将任务成功率从基础模型的1.6%大幅提升至74.4%,这一成绩已经十分接近GPT-6 Astra max档位的水平。在任务替换和布局替换等扰动测试环节,PEAR表现出远超传统模型的泛化与指令理解能力,在保持场景不变、替换全新未见过的任务指令时,仍能保持57.4%的任务成功率,远高于同场景下传统专用策略模型的表现。
不少行业从业者会好奇,在完全没有真机数据支撑的前提下,纯仿真训练得到的操控能力为什么能顺利迁移到实体机器人上,这类泛化表现的边界又在哪里。
通用能力保留与端侧部署的可行性
不同于以往针对特定任务训练的专用机器人模型,PEAR在接受完整的机器人操控训练之后,完全保留了原基础模型具备的数学推理、科学知识和编程等通用能力,在九项推理、编程与视觉基准测试中,得分与基础模型的差距不超过两分,几乎没有出现可感知的能力退化。
经过权重量化和推理栈优化后,PEAR在单张RTX 5090消费级显卡上就能实现每秒220 token以上的解码速度,完全满足机器人实时控制的响应要求,让此前需要高端专业算力才能运行的27B参数级视觉语言模型,首次在消费级硬件上实现了本地闭环运行的工程可行性。

这套技术方案验证了借助具备强推理能力的基础模型,搭配纯仿真环境下的强化学习训练,有望以更轻量的模型规模和更经济的算力门槛,实现通用机器人的具身操作能力。
目前项目的预印本论文、全部代码、模型权重以及配套博客内容均已完全开源,所有相关资源都可以公开获取,为整个具身智能领域的后续研究提供了全新的技术参考路线。
(编辑:徐松丽)

购物车