世界模型：智驾新时代的关键技术挑战与突破

文｜肖漫

编辑｜李勤

近年来，智能驾舱的革新离不开各种尖端技术名词的加持。

其中，“世界模型”作为智驾领域的最新潮流，被不同公司赋予了独特标签，如小鹏的“世界基座模型”、蔚来的“端到端世界模型”以及华为的“世界行为模型”（WA）。但仅凭发布会上的宣传，我们很难明确这些所谓的“世界模型”是否如出一辙，以及它们在智能驾驶架构中的具体作用。

更广泛的视角中，“世界模型”的核心在于在虚拟世界中重构真实世界，使人工智能能够像人类一样理解现实，掌握物理规律和事物间的因果关系，并应对环境动态变化。

科学家和科技公司普遍认为，“世界模型”是迈向“物理世界 AI”的关键步骤。斯坦福大学教授李飞飞曾断言，空间智能将是AI未来十年的关键领域，而“世界模型”正是构建空间智能的核心技术。

尽管前沿科学家和科技公司仍在探索中，但中国汽车业已通过各种新颖概念抢占市场。

实际上，当前所谓的“世界模型”在技术路径上并无太大差异。它们主要对行业的传统仿真工具进行技术升级，旨在创建更逼真、更详细、更丰富的虚拟环境，以进行端到端模型的测试和验证。这一切都是为了训练出更高效、更人性化的端到端智能驾驶模型。

换句话说，智驾厂商和车企并非要打造完整的数字物理世界，而是利用“世界模型”的思路构建仿真器。

尽管各家对世界模型的期待不尽相同，但据我们所知，目前这些模型仅应用于云端，尚未在车辆上实现。

端到端的普及凸显仿真器的不足

过去几年，头部智驾方案从规则栈转向AI驱动，在形式上实现了统一。感知、预测、规划被整合到一张网络中，配合更大的模型和更高的算力，使智驾体验更加接近人类驾驶。

然而，在实际应用中却出现了一个反直觉的现象：端到端升级后的新版本OTA并不一定变得更好，甚至可能倒退。

问题的核心不在于模型变差，而是AI驱动使得评估和回归变得困难。

许多智驾从业者曾认为，只要前端训练得当，车辆就能像人一样驾驶。这一路径确实有效，但端到端的“黑盒”特性也带来了副作用。当模型出错时，研发人员很难确定原因及如何防止再次出错。

因此，为了评估模型性能，需要一个更强大的仿真器。头部公司大多利用“世界模型”作为仿真器的应用。

端到端时代，“世界模型”是智驾模型的“教练”

“目前国内车企的世界模型与特斯拉相比仍有一定差距，但差距正在迅速缩小。”一位业内人士表示。

特斯拉并未使用“世界模型”的概念，而是称之为“世界模拟器”。该模拟器基于特斯拉自建的海量数据集进行训练，根据当前状态与下一步动作生成未来状态。与车端的端到端基础模型形成闭环，进行真实效果的评估。

特斯拉神经网络闭环仿真（图片来源：

一位业内人士指出，特斯拉更倾向于用神经网络“拟合”世界。渲染过程通过计算生成，尽量减少显式物理规则的堆砌。而这样做的好处是模型具备更强的泛化能力。

国内车企则选择了另一条更“可控”的道路。与36氪汽车交流的一家供应商表示，理想采用3D高斯重建——这也是大多数车企的选择。

无论哪种路线，“世界模型”在工程上最终都指向同一目标：作为验证与反证系统，在云端重现、修改和扩展实际驾驶中可能发生的情境。检验车端大模型的输出是否稳定、可复现，并将错误原因转化为可追踪的证据链。

“世界模型”的角色就像教练一样，优秀的教练能培养出优秀的运动员。“随着云端世界模型越来越强，理论上训练出来的端侧模型能力也会越来越强。”一位研发人员表示。

“世界模型”的核心能力主要体现在两个方面：一是对物理世界的数字化建模和抽象；二是基于这样的建模产生对物理世界的合理想象和预测。例如通过给定图片预测未来世界的演变。

“世界模型”的好坏取决于能否在云端生成足够真实、足够多样的数据。“如果车企只用真实数据做仿真那只是在重复数据流程。”一位供应商产品经理表示。

世界模型算法未成熟，存在诸多“幻觉”

行业目前处于“初级阶段”。

一位车企研发人员告诉36氪汽车国内厂商最长能生成30-60秒的视频片段但动态物体一致性较差无论是时空一致性还是多视角一致性都存在较大问题。

“世界模型”的底层是生成式模型而这类模型天生带有“幻象”的风险。“如何保证生成的内容是真实的如果生成一个人如何保证其行为轨迹在真实世界中可能发生。”一位供应商产品经理表示。“如果生成错误会导致模型学到的内容都是错的进而影响到车端的模型效果。”

瓶颈在于数据与算力

“在很多人看来世界模型的瓶颈在于数据与算力但前理想汽车辅助驾驶‘端到端’模型负责人夏中谱更同意Lecun的观点：“世界模型算法层面没有大突破图像模型的自监督训练还没有像语言那样找到一个比较顺的范式。”

“语言模型之所以能迅速规模化一个原因是语言本身信息密度高每个词都携带明确的语义约束。而图像信息密度低对‘驾驶决策’而言有用信息只占极小部分。”

“目前智驾算法提取不出足够对驾驶有用的图像信息。”夏中谱表示。一张图像可能有上百万个像素点但跟决策相关的只有20多个像素点其他都是噪音。“模型需要学会从噪音中抓取那1‰甚至1‱的有效信号才能组织成可用于推理与预测的结构。”

“端侧部署世界模型是最难的。”夏中谱说道。

“目前还没有任何一家公司在端侧应用世界模型。他同时指出使用大模型方法建模物理世界通过自身与物理世界的交互预测世界发展变化进而通过决策影响世界朝着对自身有利方向发展。如果世界模型做到这个层面自动驾驶和机器人相关问题都是可以解决的。”