强化学习：智能驾驶的进化之路

智能驾驶的发展，并非简单的技术直线上升，而是一系列技术范式、工程约束与现实场景不断博弈的复杂过程。

从无图、端到端、世界模型到VLA，每一种路径都承载着厚望，但在实际落地过程中，它们各自的局限性也逐渐显现。

随着行业逐渐从概念验证阶段走出，单一的技术名词已无法全面解释真实能力的差异。

算力规模、数据质量、系统架构以及工程稳定性，正在共同决定智能驾驶的上限与下限。

在工程与产品的交汇点，汽车之心特此策划了“智驾进化论”系列文章，旨在理解不同技术选择背后的现实条件，洞察技术热词背后的真实进展，并理解这场长期竞赛中的关键变量。

将近两年智能驾驶的技术讨论拆解来看，可以发现一个现象：无论是端到端、VLA还是世界模型，这些看似路径各异的方案，最后几乎都指向了同一个词：强化学习。

理想基于“VLA+强化学习”构建新的护城河；小鹏也强调，“云端基座模型+强化学习”的组合是模型性能突破天际的最佳途径；Momenta则通过押注强化学习，打造出R6飞轮大模型……越来越多的玩家都在将资源投向这一领域。

强化学习，正在从“技术选项”转变为“必选项”。

有趣的是，这个词在过去并不那么性感。

在早期的深度学习体系中，它只是一种小众、冷门的训练流派，长期存在于学术与实验系统中。

直到AlphaGo、ChatGPT等产品的出现，行业才突然意识到：原来让AI通过试错来自我进化，才是最快的方式。

2025年，理查德·萨顿和安德鲁·巴托拿下图灵奖，彻底为强化学习正名。

现在，强化学习已成为行业公认通向人工智能的必经之路。在智能驾驶这一最难落地且最注重安全的场景中，它正悄悄成为决定上限的底层能力。

然而，如何用好强化学习这一重磅级武器，以及它能将智能驾驶带到哪一步？还需要更确切的答案。

01

理解强化学习，需先理解模仿学习

在强化学习成为行业热词之前，智能驾驶真正流行的其实是模仿学习。

简单来说，模仿学习的思路是让AI反复观看“老司机”的驾驶录像，然后不断刷题、照着学。红灯刹车、路口减速、变道打灯等，都变成了“标准答案”。

这就像给AI刷驾考题库，题库够大，成绩就不会太差。

在任何“学习”语境中，模仿都是一种快速、稳定且成本相对可控的方式。AI发展的早期阶段在很大程度上正是建立在模仿学习之上。

典型案例是AlphaGo。在进入强化学习阶段之前，AlphaGo先看了大量人类高手的棋谱，学会了“人一般怎么下”。那时候的AlphaGo已达到顶级业余棋手的水准。

但问题也恰恰在于此。模仿学习的上限往往只能是“接近人类平均水平”。

其训练逻辑会带来的弊病包括：在学习开车这件事上，“师父不行，徒弟就废”；如果训练数据中的人类司机存在坏习惯，模型也会原样继承；如果遇到录像里从未出现过的情况，AI则无答案可抄；只是在模仿表象，而不是真正理解交通背后的物理规律和安全原则。

这也是为什么自动驾驶依赖模仿学习可以解决90%的场景，但剩下的10%极端、罕见的长尾场景却始终难以克服。

而AlphaGo给出的解法正是强化学习。

在完成模仿学习打底后，AlphaGo进入“自我对弈”阶段。在数百万盘棋局中，它不再照搬人类经验，而是通过试错探索全新的落子策略，最终发现了大量超越人类直觉的下法并击败了世界顶级棋手李世石。此后，迭代版AlphaGo Zero更是完全从零开始训练不再依赖人类棋谱通过强化学习式自我对弈棋力远超此前所有版本。

从中可以提炼出强化学习的三条奥义：不再是AI学人类而是AI教AI；AI自己试错答对奖励答错惩罚；在大量实践中总结出比示范更优的解法。

• 不再是AI学人类而是AI教AI；
• AI自己试错答对奖励答错惩罚；
• 在大量实践中总结出比示范更优的解法。

> 02

> 奖励函数：强化学习最严厉的老师