机器人前沿全景Robotics Frontier
World Models · 世界模型 创业公司

NVIDIA Cosmos

NVIDIA（NVIDIA Research / Deep Imagination Research Group / Spatial Intelligence Lab） · Jensen Huang（黄仁勋，创始人兼CEO，历次发布会主讲人

世界模型（World Foundation Model）
NVIDIA Cosmos发布配图NVIDIA Cosmos Tokenizer架构图NVIDIA Cosmos GTC 2025配图CES 2026全球机器人合作伙伴配图Alpamayo自动驾驶推理模型配图NVIDIA Cosmos 3发布配图NVIDIA Halos for Robotics配图NVIDIA Cosmos日本合作配图 1 / 8
NVIDIA Cosmos发布配图

产品线9

基础组件

  1. 2025

    Cosmos Tokenizer

    压缩率最高提升 8 倍、处理速度提升 12 倍

世界生成/预测

  1. 2025

    Cosmos Predict

    多模态输入生成虚拟世界状态与运动轨迹预测

  2. 2025

    Cosmos Predict 2.5 / Transfer 2.5

    统一架构，2 亿视频片段训练，2B 与 14B 两档

可控合成数据

  1. 2025

    Cosmos Transfer

    由分割/深度/激光雷达等结构化输入生成真实感视频

时空推理

  1. 2025

    Cosmos Reason

    思维链推理理解视频并预测交互结果

  2. 2026

    Cosmos Reason 2

    登顶 Physical AI Bench，CES 2026 发布

自动驾驶

  1. 2026

    Alpamayo 1 / R1

    首个开放的自动驾驶推理 VLA 模型家族

全模态基础模型

  1. 2026

    Cosmos 3（Super / Nano / Edge）

    混合专家 Transformer，20 万亿 token 训练

安全系统

  1. 2026

    Halos for Robotics

    业界首个面向物理 AI 的全栈安全验证系统

项目与产品时间线 10 个节点

  1. 2025
    1. 01-06 产品

      CES 2025发布Cosmos平台

      面向物理AI的世界基础模型平台，以开放模型许可发布，首批15家采用者。

    2. 01-06 研究

      Cosmos论文与Tokenizer同步发布

      arXiv:2501.03575；分词器压缩率最高提升8倍、速度提升12倍。

    3. 03-18 产品

      GTC 2025推出三大模型线

      首次推出开放可定制推理模型，形成世界生成、可控合成数据、时空推理三大产品线。

    4. 10-06 产品

      Cosmos Predict/Transfer 2.5发布

      统一Text2World/Image2World/Video2World架构，基于2亿条视频片段训练，含2B与14B。

    5. 11-04 研究

      视频基础模型世界仿真论文

      arXiv:2511.00062；阐述统一视频基础模型架构与强化学习后训练方法。

  2. 2026
    1. 01 产品

      Alpamayo自动驾驶推理模型家族发布

      含Alpamayo 1与首个开放自动驾驶推理VLA模型Alpamayo R1。

    2. 01-05 产品

      CES 2026发布Cosmos Reason 2

      开放推理视觉语言模型登顶Physical AI Bench，同期发布Isaac GR00T N1.6。

    3. 05-31 产品

      GTC Taipei发布Cosmos 3

      混合Transformer全模态架构，20万亿token训练；同步成立Cosmos联盟。

    4. 06-22 产品

      发布Halos for Robotics安全系统

      业界首个面向物理AI的全栈安全系统，从芯片到云端提供安全验证框架。

    5. 07-15 产品

      Cosmos 3 Edge发布，日企集体入盟

      40亿参数边缘模型可约一天完成适配；FANUC、Sony、软银等22家日企加入Cosmos联盟。

方向: 世界模型（World Foundation Model） 核心人物: Jensen Huang（黄仁勋，创始人兼CEO，历次发布会主讲人）；Ming-Yu Liu（刘洺堉，NVIDIA副总裁，负责生成式AI研究，Deep Imagination研究组负责人，Cosmos论文第一梯队作者/项目技术负责人）；Sanja Fidler（NVIDIA AI研究副总裁，多伦多AI实验室/Spatial Intelligence Lab负责人，Cosmos论文核心作者）；其他关键论文作者还包括 Jinwei Gu、Yin Cui、Seung Wook Kim、Huan Ling、Tsung-Yi Lin 等（详见 arXiv:2501.03575 完整作者列表） 机构: NVIDIA（NVIDIA Research / Deep Imagination Research Group / Spatial Intelligence Lab） 简介: NVIDIA Cosmos 是面向"物理AI"（Physical AI）——即机器人与自动驾驶汽车——的世界基础模型平台，整合了生成式世界模型、视觉分词器（Tokenizer）、护栏（Guardrails）与加速视频处理流水线。黄仁勋在2025年1月CES上称其为机器人领域的"ChatGPT时刻"，此后平台以开放模型许可（Apache 2 / NVIDIA Open Model License / OpenMDW-1.1）持续快速迭代，衍生出 Cosmos Predict（世界生成/预测）、Cosmos Transfer（可控合成数据生成）、Cosmos Reason（时空推理）三大产品线，并于2026年推出统一多模态架构的 Cosmos 3。

关键成就

  • 学术影响力：核心技术论文《Cosmos World Foundation Model Platform for Physical AI》（arXiv:2501.03575）发布当日（2025年1月8日）即登上Hugging Face"每日论文"（Papers of the Day）榜单第2名，获得84次社区点赞（Upvote）；截至2026年7月，已有48个Hugging Face模型、10个Spaces及25个论文合集引用该工作。（来源：Hugging Face Papers）
  • 开源社区规模：主代码仓库 NVIDIA/Cosmos 已获约8.5k GitHub star、542次fork；早期发布、现已归档只读的 NVIDIA/Cosmos-Tokenizer 仓库获1.7k star、89次fork（数据截至2026年7月19日实时查询）。
  • 合作伙伴生态规模：2025年1月CES首发时已披露1X、Agile Robots、Agility、Figure AI、Foretellix、Fourier、Galbot、Hillbot、IntBot、NEURA Robotics、Skild AI、Virtual Incision、Waabi、XPENG、Uber等15家首批采用者；至2026年7月，仅"Cosmos联盟"面向日本市场的单次扩张就新增AIRoA、FANUC、Fujitsu、Hitachi、Honda R&D、Kawasaki Heavy Industries、Kubota、NEC、SoftBank、Sony、Yaskawa Electric、OMRON等22家机器人/制造业领军企业，同期ABB Robotics、KUKA、Universal Robots、Doosan Robotics、Boston Dynamics等全球工业机器人巨头也相继宣布接入NVIDIA技术栈。
  • 媒体头条：黄仁勋"机器人的ChatGPT时刻"论断被主流科技媒体广泛引用为头条报道，包括Newsweek《NVIDIA unveils new AI models to seize "ChatGPT moment" in robotics》与Computerworld《Robots get their 'ChatGPT moment'》。
  • Cosmos联盟规模：2026年5月GTC Taipei发布Cosmos 3时同步成立"Cosmos联盟"（Cosmos Coalition），首批创始成员6家（Agile Robots、Black Forest Labs、Generalist、LTX、Runway、Skild AI）；仅两个月后的2026年7月，单次即新增22家日本机器人与制造业企业申请加入，联盟持续快速区域化扩张。

时间线（2021-2026）

2020-2023 — 早期生成式世界建模研究（背景铺垫）

2025-01-06 — CES 2025：NVIDIA正式发布Cosmos世界基础模型平台

2025-01-06 — Cosmos技术论文与Cosmos Tokenizer同步发布

2025-01 — 首批机器人/自动驾驶厂商合作案例落地

2025-03-18 — GTC 2025：Cosmos重大版本更新，推出Predict / Transfer / Reason三大模型线

  • 在GTC 2025大会上，NVIDIA宣布Cosmos世界基础模型的重大版本更新，首次推出开放且完全可定制的推理模型，赋予开发者对世界生成前所未有的控制力。此次发布包含三条产品线：Cosmos Predict（从文本/图像/视频等多模态输入生成虚拟世界状态，支持多帧生成与运动轨迹预测）、Cosmos Transfer（接收分割图、深度图、激光雷达扫描、姿态估计图等结构化视频输入，生成可控真实感视频，用于合成数据放大）、Cosmos Reason（具备时空感知能力、采用思维链推理理解视频数据并以自然语言预测交互结果的开放可定制模型，当时为早期访问阶段）。同时发布两个基于Omniverse+Cosmos的Blueprint，用于机器人和自动驾驶的规模化合成数据后训练。1X、Agility Robotics、Figure AI、Foretellix、Skild AI、Uber为首批采用者。
  • 链接: NVIDIA Announces Major Release of Cosmos World Foundation Models and Physical AI Data Tools（NVIDIA Newsroom）
  • 链接: GitHub - nvidia-cosmos/cosmos-predict1
  • 链接: GitHub - nvidia-cosmos/cosmos-transfer1
  • 图片: NVIDIA Cosmos GTC 2025配图

2025-03 — GTC 2025期间更多机器人/AV合作深化

  • 1X使用Cosmos Predict与Cosmos Transfer训练新一代人形机器人NEO Gamma；Agility Robotics将Cosmos Transfer与Omniverse用于大规模合成数据生成以训练机器人模型（CTO Pras Velagapudi公开表态）；Skild AI利用Cosmos Transfer增强合成数据集；Nexar与Oxa使用Cosmos Predict推进自动驾驶系统；Parallel Domain将Cosmos Transfer用于传感器仿真变化生成；Virtual Incision探索将其用于未来手术机器人；Uber与Waabi则借助NeMo Curator推进自动驾驶开发。NVIDIA同时宣布与Google DeepMind合作，将SynthID水印技术集成到Cosmos NIM微服务中以标识AI生成内容。
  • 链接: NVIDIA Announces Major Release of Cosmos World Foundation Models（合作方细节段落）

2025-10-06 — Cosmos Predict 2.5 与 Cosmos Transfer 2.5 发布

2025-11-04（论文提交，2026-02更新版）— 《World Simulation with Video Foundation Models for Physical AI》技术论文

2026-01-05 — CES 2026：Cosmos Reason 2 发布，"ChatGPT时刻"宣告到来

2026-01 — CES 2026：Alpamayo自动驾驶推理模型家族发布（与Cosmos协同）

2026-05-31 — GTC Taipei：Cosmos 3发布，统一"混合专家Transformer"架构

2026-05 — Cosmos 3发布后行业采用扩展（机器人/制造/AV）

  • Cosmos 3发布同期，多家企业公开宣布基于该平台构建应用：Agile Robots、Doosan Robotics、LG Electronics、Samsung Electronics与Skild AI用于机器人领域；理想汽车（Li Auto）用于自动驾驶；Centific、Fogsphere、Linker Vision、Milestone Systems与Yuan用于视觉AI智能体，服务工业AI与智慧空间应用；推理云服务伙伴包括Baseten、CoreWeave、Microsoft Azure、Nebius、Deep Infra与Classmethod。
  • 链接: NVIDIA Launches Cosmos 3（"Developers Build on Cosmos"段落）

2026-06-22 — NVIDIA Halos安全系统发布（基于Cosmos的物理AI安全层）

2026-07-15 — Cosmos 3 Edge发布，日本机器人/制造业巨头集体加入Cosmos联盟

  • NVIDIA宣布Cosmos 3 Edge——基于NVIDIA Nemotron的40亿参数模型，可在约一天内针对特定机器人/车辆/传感器完成适配，部署于NVIDIA RTX、DGX与Jetson（含新发布的T2000/T3000模块）等边缘设备，帮助机器人本地实时感知、推理并生成动作。同时，日本物理AI生态核心企业——AIRoA、FANUC、Fujitsu、Hitachi、Kawasaki Heavy Industries、Kubota、NEC、SoftBank、Sony、Yaskawa Electric、Honda R&D、OMRON等——宣布计划加入Cosmos联盟，将Cosmos世界模型整合进日本制造业与机器人产业链，标志Cosmos合作网络首次大规模区域化扩展。
  • 链接: Japan's Robotics and Manufacturing Leaders Build on NVIDIA Cosmos to Advance Physical AI Frontier（NVIDIA Newsroom）
  • 图片: NVIDIA Cosmos日本合作配图

同组团队

Google DeepMind Genie

Google DeepMind · Jack Parker-Holder（项目负责人/Research Scientist，Open-Endedness Team）、Stephen Spencer（技术负责人）、Shlomi Fruchte

World Labs

World Labs（2024年4月成立，总部旧金山） · 李飞飞（Fei-Fei Li，创始人兼CEO）、Justin Johnson（联合创始人，前密歇根大学教授/Meta FAIR）、Ben Mildenhall（联合创始人，NeRF

Yann LeCun / JEPA / AMI Labs

原Meta FAIR（Fundamental AI Research）→ AMI Labs（Advanced Machine Intelligence Labs，总部巴黎，2026年） · Yann LeCun（图灵奖得主）、Alexand

智谱AI（Zhipu AI）— CogVideoX与世界模型方向

智谱AI / Z.ai（国际品牌，2025年7月启用）；主体公司北京智谱华章科技有限公司，2026年更名为"智谱华章科技股份有限公司"（Knowledge Atlas Technology），港交所代码2513.HK · 张鹏（CEO）、唐
← 返回世界模型