UC Berkeley BAIR × Meta FAIR

方向: 灵巧手 / 灵巧操作（In-Hand Manipulation / Dexterous Manipulation） 核心人物: Jitendra Malik（UC Berkeley 教授，几乎每篇论文的共同作者）、Pieter Abbeel（UC Berkeley 教授 / BAIR 联合主任）、Haozhi Qi（前 Berkeley 博士生，现 Meta FAIR，多篇领衔作者）、Zhao-Heng Yin（Berkeley 博士生，DexterityGen/GeoRT/Twisting Lids 领衔作者）、Yi Ma（Berkeley/HKU）、Roberto Calandra（TU Dresden，原 Meta AI）、Mustafa Mukadam（Meta FAIR）、Toru Lin、Brent Yi（Berkeley 博士生）、Sergey Levine（UC Berkeley 教授）、以及 UCSD Xiaolong Wang 实验室（Ying Yuan、Haichuan Che、Yuzhe Qin 等）的跨校合作者 机构: UC Berkeley BAIR（Berkeley Artificial Intelligence Research）/ Meta FAIR（原 Meta AI Research）/ 部分工作合作方包括 CMU、TU Dresden - CeTI、UC San Diego 简介: 这是一条自 2022 年起持续演进的研究脉络，核心是以 Allegro Hand 等多指灵巧手为载体，通过仿真强化学习 + Sim-to-Real 迁移，逐步攻克"仅凭指尖旋转物体""视触融合感知""双手协同拧盖""转笔"等长期悬而未决的灵巧操作难题。该脉络由 Jitendra Malik 和 Pieter Abbeel 在 UC Berkeley BAIR 的多名博士生（Haozhi Qi、Zhao-Heng Yin、Toru Lin、Brent Yi 等）主导，并与 Meta FAIR（前身 Meta AI Research）保持长期"BAIR Open Research Common Project with Meta"合作关系，多名作者具有 Berkeley/Meta 双重身份。2025 年起，工作重心从单纯的仿真训练转向"基础灵巧控制器"（DexterityGen）与"人手到机器人手的高速重定向算法"（GeoRT），推动遥操作与仿真训练的融合。

关键成就

• 该系列奠基作 HORA（2022，CoRL）GitHub 仓库 234 星、41 fork（HaozhiQi/hora），是后续几乎所有 Berkeley 灵巧手论文的技术基座（RotateIt、NeuralFeels、Robot Synesthesia 均在其基础上复现/对比）。
• NeuralFeels with Neural Fields（Suresh, Qi, Malik 等）于 2024 年 11 月发表在顶级期刊 Science Robotics，是该方向少数登上 Science 系列期刊的成果。
• 会议收录密集：CoRL 2022（HORA）、CoRL 2023（RotateIt）、ICRA 2024（Robot Synesthesia）、CoRL 2024（Twisting Lids Off with Two Hands、Lessons from Learning to Spin "Pens"）、ICRA 2025（From Simple to Complex Skills）。
• 2025 年发布的 DexterityGen / GeoRT 由 Zhao-Heng Yin 在 Meta FAIR Labs 实习期间完成，将 Berkeley 的仿真强化学习成果与 Meta 的遥操作硬件栈（Allegro Hand + 触觉传感）结合，GeoRT 代码已开源至 facebookresearch/GeoRT。
• 长期资助方包括 DARPA Machine Common Sense (MCS)、ONR MURI（N00014-21/22 系列）、InnoHK Centre for Logistics Robotics，以及 Meta FAIR 内部资助，体现该方向在军方与工业界的双重关注。
• 关于背景资料中提到的 "AnyRotate (CoRL 2024)"：经核实，AnyRotate（arXiv:2405.07391，CoRL 2024）作者为 Max Yang、Chenghua Lu 等，隶属 University of Bristol（英国布里斯托大学），并非 Berkeley BAIR 团队成果，可能与命名高度相似的 Berkeley 论文 RotateIt（"General In-Hand Object Rotation with Vision and Touch", CoRL 2023, Haozhi Qi 等）混淆。本文档已将 RotateIt 纳入时间线，并在此处特别注明澄清。

时间线（2021-2026）

2022-10 — HORA: In-Hand Object Rotation via Rapid Motor Adaptation

• 该系列的奠基性工作：设计了一个仅通过指尖接触即可实现物体绕 Z 轴旋转的自适应控制器，完全在仿真中用圆柱体训练，无需微调即可迁移到真实 Allegro Hand 上旋转数十种不同尺寸、形状、重量的物体。控制器通过在线读取本体感受（proprioception）历史实现对物体属性的快速自适应（Rapid Motor Adaptation），旋转过程中自然涌现出稳定的"指态步态"（finger gait）。该工作被列为 BAIR 与 Meta 的 Open Research Common Project。
• 作者：Haozhi Qi*、Ashish Kumar*、Roberto Calandra、Yi Ma、Jitendra Malik（UC Berkeley、Meta AI）
• 会议：Conference on Robot Learning (CoRL) 2022
• 链接: 论文 (arXiv:2210.04887) ｜ 项目主页 ｜ 代码 (234★)
• 图片:

2023-09 — RotateIt: General In-Hand Object Rotation with Vision and Touch

• 在 HORA 基础上引入多模态感知：系统在仿真中可访问真实物体形状与物理属性，随后蒸馏为仅依赖仿真视触觉与本体感受的策略，通过一个视触觉 Transformer 融合多模态输入，在部署时在线推断物体形状与物理属性。相比此前工作，可实现绕任意轴（而不仅是 Z 轴）的旋转，并在多种物体形状上取得显著性能提升。
• 作者：Haozhi Qi、Brent Yi、Sudharshan Suresh、Mike Lambeta、Yi Ma、Roberto Calandra、Jitendra Malik（UC Berkeley、Meta AI、CMU、TU Dresden、CeTI）
• 会议：Conference on Robot Learning (CoRL) 2023
• 链接: 论文 (arXiv:2309.09979) ｜ 项目主页
• 图片:

2023-12 — Robot Synesthesia: In-Hand Manipulation with Visuotactile Sensing

• 受人类"视触联觉"（tactile-visual synesthesia）启发，提出一种基于点云的触觉表示方法，将视觉点云与触觉点云无缝融合，为强化学习策略提供更丰富的空间信息。策略完全在仿真中针对单/多物体绕轴旋转任务训练，无需任何真实数据即可零样本迁移到真实机械手，并在双球、双物体旋转等任务上做了详尽消融实验。该工作由 UCSD Xiaolong Wang 实验室主导，Berkeley 博士生 Zhao-Heng Yin 参与。
• 作者：Ying Yuan*、Haichuan Che*、Yuzhe Qin*、Binghao Huang、Zhao-Heng Yin、Kang-Won Lee、Yi Wu、Soo-Chul Lim、Xiaolong Wang（UC San Diego、清华大学、UIUC、UC Berkeley、Dongguk University）
• 会议：International Conference on Robotics and Automation (ICRA) 2024
• 链接: 论文 (arXiv:2312.01853) ｜ 项目主页 ｜ 代码
• 图片:

2023-12 — NeuralFeels with Neural Fields: Visuo-Tactile Perception for In-Hand Manipulation

• 将视觉、触觉与本体感受融合进一个在线学习的神经场（neural field），通过优化位姿图问题联合跟踪物体的位姿与形状，在重度视觉遮挡下相比纯视觉方法可将跟踪精度提升最高 94%。发布了包含 70 组真实/仿真旋转序列的 FeelSight 基准数据集，并复用了 Berkeley 的 HORA 策略作为旋转控制器。该工作发表于顶级期刊 Science Robotics，是本系列少见的期刊级成果。
• 作者：Sudharshan Suresh、Haozhi Qi、Tingfan Wu、Taosha Fan、Luis Pineda、Mike Lambeta、Jitendra Malik、Mrinal Kalakrishnan、Roberto Calandra、Michael Kaess、Joseph Ortiz、Mustafa Mukadam（CMU、Meta FAIR、UC Berkeley、TU Dresden、CeTI）
• 期刊：Science Robotics（2024 年 11 月正式发表），arXiv 预印本发布于 2023 年 12 月
• 链接: 论文 (arXiv:2312.13469) ｜ 期刊版 (Science Robotics) ｜ 项目主页 ｜ 代码

2024-03 — Twisting Lids Off with Two Hands

• 首个实现"双手多指灵巧手协同拧瓶盖"的 Sim-to-Real 强化学习系统。提出了基于"刹车关节"（Brake Link）的物理建模方法来模拟瓶身与瓶盖之间的静摩擦，仅用稀疏的两点式物体表示（通过 Segment Anything + XMem 跟踪）即可完成感知，策略可零样本泛化到训练分布外的家用容器（如花生酱瓶、乳液瓶），并对外部扰动具有较强鲁棒性。
• 作者：Toru Lin*、Zhao-Heng Yin*、Haozhi Qi、Pieter Abbeel、Jitendra Malik（UC Berkeley）
• 会议：Conference on Robot Learning (CoRL) 2024
• 链接: 论文 (arXiv:2403.02338) ｜ 项目主页 ｜ 代码

2024-04 — HATO: Learning Visuotactile Skills with Two Multifingered Hands

• 针对"双臂多指手遥操作系统昂贵且难以获取触觉数据"的问题，将两只义肢手（prosthetic hands）改造为兼具触觉传感的低成本双臂遥操作平台 HATO（日语"鸽子"之意），并配套开发了多模态数据采集、处理与策略学习的完整软件栈。基于采集到的视触觉演示数据，训练出的策略可完成拔茶包、倒酒、拧瓶盖等长时程高精度任务，并系统研究了数据规模、传感模态和视觉预处理对策略学习的影响。
• 作者：Toru Lin、Yu Zhang*、Qiyang Li*、Haozhi Qi*、Brent Yi、Sergey Levine、Jitendra Malik（UC Berkeley）
• 发布形式：arXiv 预印本
• 链接: 论文 (arXiv:2404.16823) ｜ 项目主页 ｜ 代码
• 图片:

2024-07 — Lessons from Learning to Spin "Pens"

• 攻克了在灵巧手研究中长期未解决的"转笔"（spin pen-like objects）任务：先用强化学习训练一个具有特权信息的 oracle 策略，在仿真中生成高保真轨迹数据集，用于（1）预训练感觉运动策略、（2）在真实世界中做开环轨迹重放收集成功数据；再用不到 50 条真实轨迹微调策略以适应真实动力学。最终策略可让十余种物理属性各异的笔状物体连续旋转多圈，论文详细总结了纯 Sim-to-Real 为何在该任务上完全失效的原因。
• 作者：Jun Wang*、Ying Yuan*、Haichuan Che*、Haozhi Qi*、Yi Ma、Jitendra Malik、Xiaolong Wang（UC San Diego、Carnegie Mellon University、UC Berkeley）
• 会议：Conference on Robot Learning (CoRL) 2024
• 链接: 论文 (arXiv:2407.18902) ｜ 项目主页 ｜ 代码
• 图片:

2025-01 — From Simple to Complex Skills: The Case of In-Hand Object Reorientation

• 提出分层策略（hierarchical policy）架构：复用此前训练好的单轴旋转技能（低层技能），由高层策略根据环境反馈与低层技能自身的反馈来选择该执行哪个低层技能，相比从零训练更能抵御分布外变化、更容易完成 Sim-to-Real 迁移。同时提出了一个可泛化的物体位姿估计器，利用本体感受、低层技能预测与控制误差来持续估计物体位姿，实现了对包括对称、无纹理物体在内的多种物体的目标位姿重定向。
• 作者：Haozhi Qi、Brent Yi、Mike Lambeta、Yi Ma、Roberto Calandra、Jitendra Malik（UC Berkeley、FAIR at Meta、TU Dresden、CeTI）
• 会议：International Conference on Robotics and Automation (ICRA) 2025
• 链接: 论文 (arXiv:2501.05439) ｜ 项目主页
• 图片:

2025-02 — DexterityGen (DexGen): Foundation Controller for Unprecedented Dexterity

• 该系列迄今最具"基础模型"色彩的成果：核心洞见是强化学习擅长学习底层运动基元（如指尖旋转、平移），而人类擅长为复杂长时程任务提供粗粒度的运动指令。DexGen 先用强化学习在大规模仿真数据（Anygrasp-to-Anygrasp 数据集）上预训练出多样化的灵巧操作运动基元，再训练成一个"基础控制器"；在真实世界中，用人类遥操作提供的粗糙、甚至不安全的动作指令作为 prompt，DexGen 将其转化为安全且精细的动作。实验显示其可将物体持握稳定性提升 10-100 倍，并首次实现了用笔、注射器、螺丝刀等工具的高难度操作。该工作由 Zhao-Heng Yin 在 Meta FAIR Labs 实习期间完成。
• 作者：Zhao-Heng Yin、Changhao Wang、Luis Pineda、Francois Hogan、Krishna Bodduluri、Akash Sharma、Patrick Lancaster、Ishita Prasad、Mrinal Kalakrishnan、Jitendra Malik、Mike Lambeta、Tingfan Wu、Pieter Abbeel、Mustafa Mukadam（BAIR, Berkeley EECS ／ FAIR at Meta）
• 发布形式：arXiv 预印本（2025 年 2 月）
• 链接: 论文 (arXiv:2502.04307) ｜ 项目主页
• 图片:

2025-03 — Geometric Retargeting (GeoRT): A Principled, Ultrafast Neural Hand Retargeting Algorithm

• 作为 DexterityGen 遥操作管线的"幕后英雄"，GeoRT 解决了人手关键点到机器人手关键点的实时重定向问题：以神经网络实现 1kHz 推理速度，训练仅需 5-10 分钟；提出了运动保真（Motion Preservation）、机器人效用最大化（Utility Maximization）、高平坦度控制（High Flatness Control）、捏合对应（Pinch Correspondence）、碰撞最小化（Collision Minimization）五条几何原则，并以无监督方式（无需人工标注人手-机器人手配对数据）训练可微分的重定向网络，显著提升了遥操作时操作者对机器人手的"临场感"和可控性。
• 作者：Zhao-Heng Yin、Changhao Wang、Luis Pineda、Krishna Bodduluri、Tingfan Wu、Pieter Abbeel、Mustafa Mukadam（BAIR, Berkeley EECS ／ FAIR at Meta）
• 发布形式：arXiv 预印本（2025 年 3 月），代码已开源至 Meta FAIR 官方仓库
• 链接: 论文 (arXiv:2503.07541) ｜ 项目主页 ｜ 代码 (facebookresearch/GeoRT)
• 图片: