MIT Improbable AI Lab

方向: 灵巧手 / 灵巧操作 / 力觉学习 核心人物: Pulkit Agrawal（MIT EECS 副教授，实验室主任）等；核心成员/校友包括 Tao Chen、Gabriel Margolis、Marcel Torne、Anthony Simeonov、Younghyo Park、Hao-Shu Fang、Branden Romero 等 机构: MIT CSAIL（计算机科学与人工智能实验室）/ Improbable AI Lab；与 MIT LIDS、MIT-IBM Watson AI Lab、NSF AI Institute for Artificial Intelligence and Fundamental Interactions (IAIFI) 有合作 简介: Improbable AI Lab 由 Pulkit Agrawal 于 MIT CSAIL 创立并主持，专注于机器人灵巧操作、力觉（触觉/力反馈）驱动的学习、仿真到真实（sim-to-real）迁移与敏捷腿式运动。实验室在过去五年中系统性地推进了"手内重定向控制—力/触觉数据采集硬件—仿真训练管线"三条主线，并于 2025 年由 Agrawal 联合创立 Eka Robotics，将力觉驱动的操作能力推向产业化。

关键成就

• Tao Chen、Jie Xu、Pulkit Agrawal 的论文《A System for General In-Hand Object Re-Orientation》获 CoRL 2021 最佳论文奖（Best Paper Award），后扩展为 2023 年 Science Robotics 封面级研究"Visual Dexterity"。
• Pulkit Agrawal 获 2024 IEEE Early Academic Career Award in Robotics and Automation，以及 2025 IEEE/RSJ IROS Toshio Fukuda Young Professional Award（表彰其在机器人学习、自监督与 sim-to-real 策略学习、敏捷运动和灵巧操作方面的贡献）。
• RialTo（real-to-sim-to-real）项目获 2024 RSS（Robotics: Science and Systems）收录，并获 NPR《Planet Money》《Short Wave》等主流媒体报道。
• 2025 年 Pulkit Agrawal 与前 DeepMind 研究员 Tuomas Haarnoja 联合创立 Eka Robotics（总部剑桥市），已获得约 1300 万美元种子/早期融资（投资方包括 E14 Fund、Harper Court Ventures Fund、MFV Partners、Obvious Ventures 等），2026 年 4 月正式发布 "Vision-Force-Action (VFA)" 基础模型，主打以力觉（而非纯语言/视觉）作为机器人操作的"母语"。
• 实验室的 DexWrist、DEXOP 等硬件已开放"候补购买名单"（waitlist），显示出从学术原型走向小规模量产的产业化苗头。

时间线（2021-2026）

2021-11 — A System for General In-Hand Object Re-Orientation（CoRL 2021 最佳论文）

• Tao Chen、Jie Xu、Pulkit Agrawal 提出一个模型无关（model-free）的强化学习框架，用一只 24 自由度仿人机械手实现超过 2000 种不同形状物体的手内重定向，涵盖手心向上与向下两种姿态。
• 系统仅依赖单个商用深度相机的观测，采用"教师-学生"蒸馏与"重力课程学习"策略，无需针对物体形状做专门设计；论文在 2021 年 CoRL 大会上获最佳论文奖。
• 该工作后于 2023 年扩展为期刊论文 "Visual Dexterity: In-Hand Reorientation of Novel and Complex Object Shapes"，发表于 Science Robotics（2023 年 11 月），进一步展示了针对未见过物体、克服重力的动态重定向能力，硬件成本低于 5000 美元。
• 链接: MIT News 报道 ｜ arXiv (CoRL 2021) ｜ Science Robotics 论文 ｜ 项目主页
• 图片:

2022-05 — Rapid Locomotion via Reinforcement Learning（RSS 2022）

• Gabriel Margolis、Ge Yang、Kartik Paigwar、Tao Chen、Pulkit Agrawal 提出端到端强化学习控制器，使 MIT Mini Cheetah 四足机器人达到 3.9 m/s 的当时纪录速度，可在草地、冰面、碎石等自然地形上快速奔跑和急转。
• 核心方法包含"速度指令自适应课程学习"和"在线系统辨识"两个组件，训练全部在仿真中完成（3 小时仿真相当于 100 天真实数据），再零样本迁移到真实机器人。
• 该工作被 Wired、The Verge、Popular Science、Gizmodo 等媒体广泛报道，是实验室"力觉/敏捷运动"研究线的代表性早期成果，也是后续 DexWrist、EyeSight Hand 等力控硬件工作的方法论基础。
• 链接: 项目主页 ｜ arXiv ｜ MIT News 三问栏目 ｜ GitHub
• 图片:

2024-03 / 2024-07 — RialTo：Real-to-Sim-to-Real 数字孪生训练管线（RSS 2024）

• Marcel Torne、Anthony Simeonov、Zechu Li、April Chan、Tao Chen、Abhishek Gupta、Pulkit Agrawal 提出 RialTo 系统：用户仅需用手机扫描真实环境即可构建"数字孪生"仿真场景，再结合少量真实演示与强化学习进行策略微调，最后蒸馏回真实机器人。
• 相比模仿学习基线，RialTo 在物体位姿扰动、视觉干扰物、物理扰动等鲁棒性测试中提升超过 67%，涵盖开烤面包机、书本上架、盘子入架等 6 类家庭操作任务；当前训练需约 3 天算力。
• 该研究由 Sony Research Award、Hyundai Motor Co. 等资助，与华盛顿大学 WEIRD Lab 合作完成，登上 NPR《Planet Money》《Short Wave》节目及 MIT News 头条报道。
• 链接: MIT News 报道 ｜ arXiv ｜ 项目主页 ｜ 代码
• 图片:

2024-07 — ResiP：残差强化学习实现高精度装配（From Imitation to Refinement）

• Lars Ankile、Anthony Simeonov、Idan Shenfeld、Marcel Torne、Pulkit Agrawal 提出 ResiP（Residual for Precise Manipulation），在冻结的行为克隆（扩散策略）基础上叠加一个闭环残差策略，用强化学习训练以修正开环执行中的误差。
• 在 0.2mm 间隙的销孔插入（peg-in-hole）任务上成功率从 5% 提升到 99%，在家具装配基准 FurnitureBench 的 round_table、one_leg 等任务上同样有数十个百分点的提升，且仅需稀疏的任务完成奖励，无需奖励工程。
• 该方法与模型无关，可与扩散策略、ACT、MLP 等多种基座模型结合，并展示了从仿真到真实世界的策略蒸馏与联合训练。
• 链接: 项目主页 ｜ arXiv ｜ 实验室页面
• 图片:

2024-08 — EyeSight Hand：集成视觉式触觉传感的灵巧手（IROS 2024）

• Branden Romero、Hao-Shu Fang、Pulkit Agrawal、Edward Adelson 设计了一款 7 自由度仿人机械手 EyeSight Hand，指尖集成基于视觉的触觉传感器，并采用准直驱（quasi-direct drive）驱动方案实现类人的力量与速度。
• 在开瓶盖、切橡皮泥、盘子取放三项高难度任务上，结合"视觉丢弃"（vision dropout）策略训练的模仿学习模型显示：加入触觉反馈可显著提升任务成功率,证明触觉信息对灵巧操作至关重要。
• 该论文入选 IROS 2024 RoboCup 最佳论文决赛名单，是实验室"硬件+触觉"路线的代表作之一。
• 链接: 项目主页 ｜ arXiv
• 图片:

2024-11 — DexHub 与 DART：面向互联网规模的机器人数据采集

• Younghyo Park、Jagdeep Bhatia、Lars Ankile、Pulkit Agrawal 提出 DART——一个基于云端仿真与增强现实（AR，Apple Vision Pro）的众包遥操作平台，用户可在任意地点通过 AR 设备采集机器人示范数据，无需拥有实体机器人。
• 用户研究显示，20 名机器人操作新手使用 DART 采集的演示数量是传统真实世界遥操作的 2.5 倍，主要得益于降低体力疲劳、更好的接触可视化和一键式环境重置；所有数据自动汇入云端数据库 DexHub，并计划公开供研究使用。
• 该工作目标是构建类似视觉/语言领域规模的"互联网级"机器人数据集,推动机器人基础模型的训练。
• 链接: 项目主页 ｜ arXiv ｜ DexHub 平台
• 图片:

2025-01 — Pulkit Agrawal 获多项学界荣誉

• Agrawal 于 2025 年初获 2024 IEEE Early Academic Career Award in Robotics and Automation，以及 IIT Kanpur Young Alumnus Award；同年晚些时候进一步获 2025 IEEE/RSJ IROS Toshio Fukuda Young Professional Award,表彰其在"机器人学习、自监督与 sim-to-real 策略学习、敏捷运动和灵巧操作"方面的贡献。
• 这些奖项标志着 Improbable AI Lab 在机器人学习领域进入国际学界主流视野,为后续实验室技术转化为创业项目（Eka Robotics）奠定了学术声誉基础。
• 链接: MIT CSAIL 报道 ｜ MIT EECS 报道 ｜ 实验室主页

2025-07 — DexWrist：面向动态与狭窄空间操作的柔顺机器人腕部

• Martin Peticco、Gabriella Ulloa、John Marangola、Nitish Dashora、Pulkit Agrawal 设计了一款仿人运动学的柔顺机器人腕部 DexWrist，采用准直驱执行器与解耦并联运动机构，具备低阻抗、大工作空间和高速反向驱动能力。
• 相比常见的串联腕部结构，DexWrist 在仿真厨柜可达性实验中将可达目标点数量提升 88%，遥操作用户研究显示任务完成时间缩短 1.3-2.2 倍,策略学习成功率提升 50-76%,自主任务完成时间加快 3-5 倍。
• 该项目已开放"候补购买清单",是实验室从研究原型走向硬件产品化的代表性案例之一。
• 链接: 项目主页 ｜ arXiv ｜ 实验室页面
• 图片:

2025-09 — DEXOP：被动式外骨骼实现"周操作"（Perioperation）范式的力/触觉数据采集

• Hao-Shu Fang、Branden Romero、Yichen Xie、Gabriel Margolis、Edward Adelson、Pulkit Agrawal 等提出"周操作"（perioperation）新范式,并实现硬件 DEXOP——一款被动式手部外骨骼,通过机械连杆将人类手指与机器人手指相连。
• DEXOP 为使用者提供直接的接触力反馈（本体感知）,同时将人手姿态实时镜像到被动机器人手上,相比传统遥操作,采集效率与自然度更高,尤其适合采集视觉+触觉的接触密集型操作数据。
• 实验表明,使用 DEXOP 数据训练的策略,在单位时间数据采集所带来的任务表现上显著优于传统遥操作方式,是实验室"力觉驱动学习"技术栈中数据采集环节的最新硬件成果。
• 链接: 项目主页 ｜ arXiv ｜ 实验室页面

2026-04 — Eka Robotics 正式发布 Vision-Force-Action（VFA）基础模型,力觉驱动操作走向创业

• Pulkit Agrawal 与前 DeepMind 研究员 Tuomas Haarnoja 于 2025 年联合创立 Eka Robotics（总部位于剑桥市）,团队成员来自 MIT、伯克利、Boston Dynamics、DeepMind 等机构;公司已获约 1300 万美元融资,投资方包括 E14 Fund、Harper Court Ventures Fund、MFV Partners、Obvious Ventures 等。
• 2026 年 4 月 29 日,公司正式脱离隐身模式,发布"Vision-Force-Action (VFA)"基础模型——不同于业界主流的 Vision-Language-Action（VLA）路线,Eka 将"力"视为物理世界的"母语",依靠高保真仿真与定制触觉夹爪而非人类模仿视频数据进行训练。
• 公开演示包括拧灯泡装配、传送带上分拣鸡块（含"抛投"动作）、感知物体打滑并实时调整抓力等接触密集型任务,直接延续了 Improbable AI Lab 在 RialTo（仿真训练）、DEXOP/DexWrist（力/触觉硬件）上积累的技术路线。
• 链接: Humanoids Daily 报道 ｜ India Tech Report 报道 ｜ Pulkit Agrawal LinkedIn
• 图片: