Humanoid & Embodied AI · 灵巧手 创业公司

MIT / Ted Adelson / GelSight Inc.

MIT CSAIL(Perceptual Science Group)/ MIT Department of Brain and Cognitive Sciences / GelSight Inc.(美国马萨诸塞州Waltham) · Te

灵巧手 / 触觉感知

产品线9

机器人触觉传感器

  1. 2021

    DIGIT(与 Meta AI 联合)

    开源指尖式传感器,学术界最广泛使用之一

  2. 2022

    GelSight Mini

    499 美元,人类级分辨率,五分钟开箱即用

  3. 2024

    Digit 360(与 Meta AI 联合)

    18 种以上感知能力,可探测低至 1 毫牛的力

MIT 实验室原型

  1. 2022

    GelSight Fin Ray / Baby Fin Ray

    软体夹爪嵌入触觉,可抓玻璃杯与薯片

  2. 2023

    GelSight EndoFlex

    三指手单次抓取即以约 85% 准确率识别物体

  3. 2023

    GelSight360

    十字交叉打光实现指尖全向高分辨率深度重建

  4. 2023

    GelSight Svelte

    人指形长条曲面传感器,兼顾精细捏取与力量抓握

工业表面计量

  1. GelSight Mobile / Max

    航空航天/汽车级微米精度检测,Rolls-Royce 等采用

  2. 2025

    GelSight Modulus

    可换镜头设计,2026 年销量突破 100 台

项目与产品时间线 14 个节点

  1. 2021
    1. 产品

      与Meta AI推出开源触觉传感器Digit

      指尖形状视觉触觉传感器,设计文件免费开放,成为学术界最广泛使用者之一。

    2. 06 机构

      Youssef Benmokhtar出任CEO

      联合创始人Kimo Johnson转任首席产品官,公司迈向规模化商业运营。

  2. 2022
    1. 01 机构

      与Beyond Imagination试点

      首次将GelSight触觉传感器用于VR遥操作人形机器人的表面检测。

    2. 04 研究

      GelSight Fin Ray 软体夹爪

      ICRA 2022;把触觉传感嵌入仿生鳍条结构,可抓玻璃杯等易碎异形物体。

    3. 09 产品

      GelSight Mini发布

      售价499美元,人类级触觉分辨率,开箱五分钟即可采集数据,支持ROS/PyTouch。

  3. 2023
    1. 03 研究

      GelSight Baby Fin Ray

      IEEE ICRA 2023;小型化坚固版本,可不压碎薯片地抓取。

    2. 04 研究

      GelSight EndoFlex 机械手

      RoboSoft;三指机械手单次抓取即可以约85%准确率识别物体。

    3. 04 研究

      GelSight360 全向指尖传感器

      ICRA 2023;十字交叉LED打光首次实现指尖全方位高分辨率深度重建。

    4. 10 机构

      Adelson获Rosenfeld终身成就奖

      IEEE PAMI技术委员会2023年度奖,表彰其计算机视觉与GelSight触觉成像贡献。

    5. 10 研究

      GelSight Svelte 手指形传感器

      IROS 2023;平面镜+曲面镜让单摄像头覆盖整根手指,三指手兼顾捏取与力量抓握。

  4. 2024
    1. 10 产品

      与Meta AI联合发布Digit 360

      集成超18种感知能力,可探测低至1毫牛的力,实现指尖全方位形变捕捉。

  5. 2025
    1. 02 研究

      物理渲染视触觉传感器设计框架

      发表于Nature旗下《Communications Engineering》,凸字识别性能提升约5倍。

    2. 07 产品

      计量新品GelSight Modulus发布

      可热插拔镜头的SLR式设计,把微米级检测延伸至孔洞、管道等难触达部位。

  6. 2026
    1. 04 里程碑

      Modulus销量突破100台

      客户涵盖美国陆军维修仓库与商业制造企业,完成从军工试点到工业量产落地。

方向: 灵巧手 / 触觉感知 核心人物: Ted (Edward) Adelson(MIT CSAIL / BCS,Perceptual Science Group)、Kimo Johnson(联合创始人,现首席产品官 Chief Product Officer / 曾任CEO)、Janos Rohaly(联合创始人,CTO)、Youssef Benmokhtar(现CEO,2021年6月加入) 机构: MIT CSAIL(Perceptual Science Group)/ MIT Department of Brain and Cognitive Sciences / GelSight Inc.(美国马萨诸塞州Waltham) 简介: Ted Adelson教授发明了基于弹性凝胶薄膜+摄像头成像的GelSight触觉传感技术,2011年与博士后Kimo Johnson、Janos Rohaly创立GelSight Inc.。公司业务分为两条线——面向航空航天/汽车/国防的高精度表面计量产品(GelSight Mobile/Max/Modulus)与面向机器人灵巧操作的触觉传感器(GelSight Mini、Digit、Digit 360等),MIT实验室持续产出Svelte、Baby Fin Ray、GelSight360等新一代传感器研究。

GelSight Mini 触觉传感器

关键成就

  • 公司融资与规模: GelSight由Anzu Partners、Hexagon、Scout Ventures、Mass Innovation Network等机构投资,据Crunchbase/PitchBook/Tracxn等第三方数据库估算历史累计融资约1600万–3000万美元(不同数据源统计口径不一,最近一轮公开披露为2020年1月的1000万美元B轮);GelSight产品被Rolls-Royce等航空航天龙头企业采用为标准检测工具。
  • 产品里程碑: 2026年4月,防务/工业检测新品GelSight Modulus销量突破100台(覆盖美国陆军仓库到商业工厂产线)。
  • 学术影响力: Ted Adelson于2023年获IEEE PAMI技术委员会颁发的"Azriel Rosenfeld终身成就奖",并当选IEEE Fellow;GelSight系列传感器(Svelte、Baby Fin Ray、GelSight360、EndoFlex等)持续在ICRA/IROS/RoboSoft等顶级机器人会议及《Communications Engineering》(Nature旗下期刊)发表。
  • 产业合作: 2021年起与Meta AI(前Facebook AI Research)联合开发开源触觉传感器Digit,2024年10月共同发布新一代全向指尖传感器Digit 360。
  • 媒体报道: Finger-shaped sensor enables more dexterous robots (MIT News); GelSight and Meta AI Introduce Digit 360 Tactile Sensor (BusinessWire)

时间线(2021-2026)

2021-06 — GelSight迎来新任CEO,联合创始人Kimo Johnson转任首席产品官

  • GelSight宣布资深影像技术高管Youssef Benmokhtar(此前任职Magic Leap、FotoNation、OmniVision、STMicroelectronics)出任CEO,负责推动触觉成像技术的市场化;联合创始人Kimo Johnson转任Chief Product Officer(此后一度也称Chief Science Officer),继续负责客户与产品关系。这标志着公司从MIT技术转化早期阶段迈向规模化商业运营。
  • 链接: GelSight Welcomes New CEO to Drive Market Adoption of Tactile Imaging and Sensing Technology

2021 — 与Meta AI联合推出开源触觉传感器"Digit"

  • GelSight与Meta AI(Facebook AI Research, FAIR)合作,基于GelSight的凝胶成像技术开发指尖形状的开源触觉传感器Digit,向机器人研究社区免费开放设计文件,成为学术界最广泛使用的视觉触觉传感器之一。此次合作在2024年10月的Digit 360发布中被明确追溯为"合作起点"。
  • 链接: GelSight and Meta AI Introduce Digit 360 Tactile Sensor(文中回顾2021年Digit发布)

2022-01 — 与Beyond Imagination达成人形机器人远程操作触觉传感试点

2022-04 — GelSight Fin Ray:将触觉传感嵌入软体机械爪

  • MIT博士生Sandra Liu与Ted Adelson教授将GelSight传感器集成进"Fin Ray"仿生软体夹爪结构中,使机器人手指既能像鱼鳍一样顺应物体形状变形抓取,又能通过内置摄像头+LED感知物体几何形状、表面粗糙度与受力大小,成功抓取玻璃杯、草莓模型等易碎/异形物体。论文发表于ICRA 2022 Soft Robotics会议。
  • 链接: A flexible way to grab items with feeling (MIT News) | 论文 arXiv:2204.07146
  • 图片: GelSight Fin Ray夹爪抓取玻璃罐

2022-09 — GelSight Mini发布:面向工程师与科研人员的"人类分辨率"触觉传感器

2023-03 — GelSight Baby Fin Ray:更紧凑坚固的柔顺高分辨率手指

  • 在2022年Fin Ray基础上推出小型化改进版"Baby Fin Ray",采用柔性反光镜与刚性电子元件后置设计提升鲁棒性,并合成高延展性硅胶荧光涂层改善2D触觉定位精度。该设计可在不压碎薯片的情况下抓取,也能在杂物堆中拨找出单个坚果,面向农业采摘、居家护理等场景。发表于IEEE ICRA 2023。
  • 链接: 论文 arXiv:2303.14883

2023-04 — GelSight EndoFlex机械手:单次抓取即可识别物体

  • MIT团队(Sandra Liu、Leonardo Zamora Yañez、Ted Adelson)发布软硬结合内骨骼手指GelSight EndoFlex,将两枚GelSight传感器嵌入透明硅胶"皮肤"下方并沿指长连续覆盖,组装的三指机械手仅需一次抓取即可以约85%准确率识别物体,兼具举起电钻等重物与轻捏空塑料瓶不压瘪的能力。发表于RoboSoft会议。
  • 链接: Robotic hand can identify objects with just one grasp (MIT News) | 论文 arXiv:2303.17935
  • 图片: GelSight EndoFlex机械手抓取魔方

2023-04 — GelSight360:全向指尖触觉传感器

  • MIT团队(Megha Tippur、Ted Adelson)发布GelSight360,通过创新的十字交叉LED打光方案,首次实现指尖形态传感器"全方位"(而非仅单面平坦区域)的高分辨率深度图重建,解决了以往摄像头式触觉传感器只能感知单一平面、体积笨重的局限,服务于灵巧手多角度接触任务。发表于ICRA 2023。
  • 链接: 论文 arXiv:2304.04268

2023-10 — Ted Adelson荣获IEEE PAMI技术委员会"Azriel Rosenfeld终身成就奖"

  • IEEE模式分析与机器智能技术委员会(PAMI TC)授予Adelson教授2023年度Azriel Rosenfeld终身成就奖,表彰其在计算机视觉领域(拉普拉斯金字塔多尺度图像表示、运动能量、可控滤波器等基础理论贡献)及近年发明的GelSight触觉成像技术方面的长期学术影响力。此前获奖者包括MIT教授Thomas Poggio。
  • 链接: Ted Adelson wins the 2023 Azriel Rosenfeld Lifetime Achievement Award
  • 图片: Ted Adelson教授肖像

2023-10 — GelSight Svelte:人手指形长条曲面触觉传感器与三指灵巧手

  • 针对以往触觉传感器体积小、只能贴在指尖的局限,MIT研究生Alan (Jialiang) Zhao与Adelson教授设计了长条弯曲、形似真实人类手指的GelSight Svelte传感器,利用一块平面镜+一块曲面镜将单个摄像头(置于指根)的视场折射覆盖至整根手指;由三根Svelte手指组成的机械手既能做精细捏取,也能像人一样用整根手指做"力量抓握"举起重物。研究成果将在IEEE IROS 2023发表。
  • 链接: Finger-shaped sensor enables more dexterous robots (MIT News) | 论文 arXiv:2309.10885Hand论文 arXiv:2309.10886
  • 图片: GelSight Svelte三指机械手抓取橙色弹珠

2024-10 — GelSight与Meta AI联合发布新一代全向指尖传感器Digit 360

  • 双方在2021年Digit开源传感器基础上推出Digit 360,集成超过18种感知能力,可探测低至1毫牛(millinewton)的微小作用力,并首次实现指尖表面全方位形变捕捉。GelSight负责量产与分发,Meta AI将开源全部代码与设计,目标面向机器人灵巧操作、假肢、远程呈现、虚拟现实等应用场景,被视为"机器人外周神经系统"。
  • 链接: GelSight and Meta AI Introduce Digit 360 Tactile Sensor

2025-02 — 《Communications Engineering》发表基于物理渲染的视触觉传感器设计框架

  • Arpit Agarwal、Achu Wilson、Timothy Man、Ted Adelson、Ioannis Gkioulekas、Wenzhen Yuan在Nature旗下期刊《Communications Engineering》发表论文,提出使用物理精确光照仿真器(physically based rendering)对GelSight类视触觉传感器进行数字化模块设计与参数优化的框架,无需真实传感器数据即可复现触觉成像效果,在真实机器人凸字识别任务上比此前人工专家设计方案性能提升约5倍。
  • 链接: Vision-based tactile sensor design using physically based rendering, Communications Engineering 4, 21 (2025)

2025-05 —《International Journal of Robotics Research》发表GelSight家族模块化设计方法综述

  • Arpit Agarwal、Mohammad Amin Mirzaee、Xiping Sun、Wenzhen Yuan在IJRR发表论文,系统总结GelSight系列传感器(自2009年原始版本至Svelte、GelSight360、Baby Fin Ray等)的模块化设计方法论,为后续新形态视触觉传感器的快速迭代提供设计范式参考,反映GelSight技术谱系在学术界的持续影响力。
  • 链接: A modularized design approach for GelSight family of vision-based tactile sensors

2025-07 — GelSight发布新一代计量产品Modulus,切入国防/难触达部位检测市场

2026-04 — GelSight Modulus销量突破100台,从陆军仓库走向工厂产线

2026-05 — GelSight Modulus拓展高分辨率(HR)镜头系列

← 返回人形机器人