chore: initial commit — import worldmodel workspace (plans/, research/)

research/world_models_review.md

@@ -0,0 +1,66 @@
+# AI世界模型（World Models）技术综述
+
+## 1. 引言
+
+“世界模型”（World Model）这一概念最初在认知科学和强化学习中被提出，近年来随着生成式AI的爆发，它成为了迈向通用人工智能（AGI）的核心路径之一。世界模型旨在让AI不仅能生成文本或像素，更能“理解”和“模拟”现实世界的物理规律、因果关系和时空一致性。
+
+本综述基于arXiv上的最新学术论文以及GitHub上的开源项目动态，对当前国际与中国在AI世界模型领域的发展进行系统梳理和对比分析。
+
+## 2. 国际主流研究与开源进展
+
+国际顶尖机构在世界模型的探索上呈现出多模态、大模型与强化学习深度结合的趋势。
+
+### 2.1 理论基础与联合嵌入预测架构 (JEPA)
+Yann LeCun 提出了基于目标驱动的AI架构（Objective-Driven AI），其中的核心就是世界模型。其团队（Meta FAIR）在GitHub上开源了 **I-JEPA** 和 **V-JEPA**。这类架构通过在隐空间（Latent Space）中预测缺失的视频或图像片段，让模型学习世界的高级语义和动态规律，而过滤掉不必要的像素级噪音。
+*   **相关项目**: `facebookresearch/jepa`, `facebookresearch/v-jepa`
+
+### 2.2 视频生成与物理世界模拟
+OpenAI的 **Sora** 是生成式世界模型的一个里程碑。Sora采用Diffusion Transformer (DiT) 架构，证明了当模型规模（Scaling Law）足够大时，AI能够在一定程度上涌现出对3D一致性、物体持久性和基础物理规律的模拟能力。此外，Runway的Gen-2、Pika等产品也在商业和应用层面对现实世界模拟进行了探索。
+*   **技术关键词**: DiT (Diffusion Transformer), Space-Time Latent Patches.
+
+### 2.3 具身智能与自动驾驶世界模型
+在自动驾驶和具身智能（Embodied AI）领域，英国自动驾驶公司Wayve提出了 **GAIA-1** 和 **LINGO-1**，这是一个生成式自动驾驶世界模型，能够根据文本、视频和动作条件生成未来的驾驶场景。而在强化学习领域，Danijar Hafner等人提出的 **Dreamer** 系列（目前演进到DreamerV3）通过在想象的隐空间世界模型中进行策略训练，极大地提高了样本效率。
+*   **相关项目**: `danijar/dreamerv3`
+
+## 3. 中国在世界模型领域的研究与发展
+
+中国科研机构和科技企业在世界模型，尤其是基于视频生成的物理世界模拟和开源生态建设上，展现出了极强的追赶和创新能力。
+
+### 3.1 视频生成商业与技术双轮驱动
+中国业在视频生成方向推出了多个对标Sora的重磅产品，这些模型不仅在生成时长和分辨率上取得了突破，更在物理规律的遵循上进行了深度优化。
+*   **Vidu** (生数科技 & 清华大学): 采用U-ViT架构，强调一键生成长视频及多镜头语言的理解。
+*   **Kling (可灵)** (快手): 采用了3D时空联合注意力机制（3D VAE），能较好地模拟复杂物理动作和材质变化。
+*   **CogVideoX** (智谱AI): 开源了多尺寸版本，通过结合3D Causal VAE和专家DiT结构，大幅降低了推理和训练成本，相关论文在arXiv上引起广泛关注。
+
+### 3.2 繁荣的GitHub开源生态
+相比于OpenAI的闭源，中国的高校和社区在开源世界模型复现上做出了巨大贡献。
+*   **Open-Sora** (`hpcaitech/Open-Sora`): 潞晨科技开源的Sora全面复现方案，大幅降低了DiT模型的训练门槛。
+*   **Open-Sora-Plan** (`PKU-YuanGroup/Open-Sora-Plan`): 北京大学袁粒团队牵头的开源项目，提供了详细的数据清洗、模型架构和训练代码，成为GitHub上极具影响力的世界模型社区资源。
+
+## 4. 核心技术路径对比
+
+当前世界模型的发展主要存在两条并行的技术路径：
+
+1.  **基于生成的全像素模拟 (Generative World Models)**
+    *   **代表**: Sora, Open-Sora, CogVideoX
+    *   **方法**: 主要基于Diffusion或Autoregressive模型，直接在像素或低维像素潜空间（Latent Space）进行未来帧的生成。
+    *   **优势**: 直观，可解释性强（所见即所得），能直接用于影视和多媒体创作。
+    *   **劣势**: 极其消耗算力，难以保证长时间的严格物理规律（常出现穿模、反直觉物理现象）。
+2.  **基于隐状态预测的抽象模型 (Latent Predictive World Models)**
+    *   **代表**: JEPA系列, Dreamer系列
+    *   **方法**: 不重建具体像素，而是预测未来状态的抽象表征。
+    *   **优势**: 计算效率高，更容易学习到核心因果关系和动作条件（Action-conditioned），非常适合具身智能和机器人。
+    *   **劣势**: 难以直接生成高保真视觉结果以供人类检查。
+
+## 5. 挑战与未来展望
+
+综合arXiv上的最新研究，世界模型在迈向成熟的道路上仍面临以下挑战：
+*   **物理因果律的幻觉 (Hallucination of Physics)**: 当前模型更多是在“拟合”物理规律的外观，而非“理解”物理方程。玻璃破碎、流体动力学等复杂场景依然容易出错。
+*   **长时一致性 (Long-horizon Consistency)**: 生成或预测跨度超过几分钟的事件时，实体特征和环境状态容易发生偏移。
+*   **高质量数据集缺乏**: 带有丰富物理交互（如碰撞、形变）的高质量视频数据以及带有高质量文本标注的数据极其稀缺。
+
+未来，结合3D引擎（如Unreal Engine）渲染的合成数据，以及结合隐空间预测（JEPA路线）与像素生成（Diffusion路线）的混合架构，将是世界模型发展的重要趋势。
+
+## 6. 结论
+
+从国际视角来看，世界模型正从单纯的视觉生成向“行动条件预测”和“具身智能”演进。Meta、OpenAI和Wayve等分别从预测架构、视觉生成和自动驾驶三个维度定义了世界模型。而在中国，学术界与产业界深度结合，凭借Vidu、Kling等惊艳的商业产品，以及Open-Sora等蓬勃发展的GitHub开源生态，正迅速缩小差距甚至在某些垂直领域实现超越。世界模型不仅是视频生成的底层引擎，更是通往拥有常识与推理能力的AGI的关键踏板。