当前位置:首页 > 科技资讯 > 正文

英伟达发布开源VLA大模型Alpamayo,全面进攻自动驾驶

马年伊始,汽车行业的从业者们就收到了英伟达CEO黄仁勋送上的重磅开年礼物。

在刚刚落幕的CES展会上,英伟达一反常态,并未发布新款显卡,而是推出了针对数据中心打造的Rubin平台,以及专攻自动驾驶领域的VLA大模型Alpamayo

英伟达发布开源VLA大模型Alpamayo,全面进攻自动驾驶 英伟达 VLA 自动驾驶 Alpamayo 第1张

VLA是Vision-Language-Action的缩写,中文意为“视觉-语言-行动”。在自动驾驶场景下,该模型首先将传感器采集的数据转化为语言和符号,随后基于推理做出决策并指挥车辆执行。其优势在于理解能力强,且推理过程可追溯,有效避免了“黑箱”问题。

去年,VLA接替BEV与端到端,成为自动驾驶领域最炙手可热的话题。理想、小鹏、Momenta、地平线等企业纷纷布局类似技术。而英伟达推出的Alpamayo,则是业界首个开源的VLA大模型。

英伟达汽车业务负责人吴新宙在接受采访时透露,Alpamayo与特斯拉FSD“非常接近”,在一对一对比测试中,两者的内部接管率不相上下[1]。

不少网友立即在社交平台@马斯克,戏称这下他可能夜不能寐了。而拥有“6G网速”的马斯克迅速回应,表示自己睡眠质量尚可,并“真心祝愿英伟达取得成功”。

英伟达发布开源VLA大模型Alpamayo,全面进攻自动驾驶 英伟达 VLA 自动驾驶 Alpamayo 第2张

英伟达与特斯拉的较量仍需时日观察,但无论马斯克能否安睡,一个不争的事实已然清晰:这一次,英伟达将对自动驾驶领域发起全面总攻。

VLA大模型“预制菜”

作为当前自动驾驶领域最前沿的技术路径之一,VLA模型早在英伟达推出Alpamayo之前,就已吸引了众多玩家布局。

据悉,小鹏汽车早在2024年便着手研发VLA模型,在Alpamayo发布后不久,便跳过第一代,直接推出了自研的第二代VLA模型。理想、长城、奇瑞等车企也纷纷选择了VLA技术路线。

特斯拉虽未完全披露其技术路线,但从FSD V14透露的信息来看,其也采用了与VLA类似的技术架构。

早期的自动驾驶算法严重依赖人工打补丁,工程团队需要尽可能枚举所有路况并编写相应规则,效率极为低下。特斯拉的端到端方案极大地简化了架构,通过高强度训练,实现了传感器数据输入→算法直接输出决策的效果,不再依赖人工穷举。

然而,端到端也存在局限:首先,输入与输出的中间过程如同黑箱,无法追溯;其次,由于“黑箱化”,算法优化只能依靠不断投喂数据训练,效果难以控制。

VLA的核心理念是将语言模型融入中间过程,使算法决策变得可追溯、可解释。相较于端到端单纯“模仿”正确驾驶行为,VLA赋予了算法自主推理与决策能力,效果更为可控。

英伟达Alpamayo之所以引发轰动,并非因为VLA技术本身,而在于其开源特性。

VLA技术虽优,但开发成本不菲。车企自研VLA模型需跨越三座大山:高质量数据获取、推理能力训练、算力与成本,归根结底是成本高昂。

英伟达Alpamayo相当于为车企提供了一套完整的底层基础模型,车企可基于自身数据和需求进行微调,形成个性化技术方案。此举既降低了开发门槛,又保障了算法的差异化。

形象地说,英伟达提供了“预制菜”,车企只需根据自身口味调整火候与调味,稍加翻炒即可“出锅”装车。英伟达官方表示[4]:

Alpamayo并非直接部署在车端的模型,而是作为大规模的教师模型,供开发者进行调优、蒸馏,最终成为其完整辅助驾驶技术栈的核心基石。

除了Alpamayo开源模型,英伟达还“送佛送到西”,附赠仿真框架AlpaSim用于闭环测试,以及包含超过1727小时驾驶数据的Physical AI开放数据集。可谓“预制菜、锅碗、燃气灶”一应俱全,从另一个维度实现了“智驾平权”。

英伟达发布开源VLA大模型Alpamayo,全面进攻自动驾驶 英伟达 VLA 自动驾驶 Alpamayo 第3张

Alpamayo(模型)+ AlpaSim(测试)+ Physical AI(数据)

在CES展会当天的媒体采访中,黄仁勋谈及特斯拉FSD时仍不吝溢美之词,连用“世界级标杆”、“表现完美”、“我自己都在用”三大赞美[2]。然而马斯克并不买账,在回应完睡眠质量担忧后再次开火,一边盛赞特斯拉自身技术,一边暗讽英伟达:

英伟达发布开源VLA大模型Alpamayo,全面进攻自动驾驶 英伟达 VLA 自动驾驶 Alpamayo 第4张

“英伟达为汽车行业提供了有用的工具,但对汽车行业本身却作为甚少。”

无论马斯克是否在嘴硬,他这番话确实点出了要害。

英伟达的隐忧

英伟达的汽车业务,远看光鲜亮丽,近看却难掩尴尬。

从市场份额来看,英伟达DRIVE系列长期称霸L2+及以上中高阶智驾市场,其Drive Thor的量产延迟一度导致头部车企新车发布节奏被打乱,其霸主地位可见一斑。

但从实际营收贡献来看,汽车业务虽保持一定增长,但相较于其在数据中心市场的绝对统治力,显然未能达到黄仁勋的预期。而加速抢占高速增长的汽车市场,也正是英伟达从小鹏挖角吴新宙的关键动因。

英伟达发布开源VLA大模型Alpamayo,全面进攻自动驾驶 英伟达 VLA 自动驾驶 Alpamayo 第5张 英伟达发布开源VLA大模型Alpamayo,全面进攻自动驾驶 英伟达 VLA 自动驾驶 Alpamayo 第6张

作为一家“卖铲人”芯片公司,英伟达在软件上的所有投入,最终目的都是为了卖出更多芯片。

从游戏到数据中心,再到人形机器人,英伟达的商业模式始终如一:为客户提供标准化的工具箱(如CUDA)和开发环境,并将这些软件服务与自家硬件深度绑定,核心目标仍是销售芯片。

然而在汽车业务上,英伟达却面临一个严峻问题:卖铲人自己不会用铲子。

英伟达仅销售芯片,具体的自动驾驶算法需由车企基于芯片自行研发。因此,其汽车业务的主要客户一直是小鹏、蔚来等具备较强软件与算法能力的国内新势力。

但问题在于,这些客户或多或少都有自研芯片以摆脱英伟达的打算,蔚来的芯片已实现上车,小鹏的图灵芯片也即将量产。而大众、奔驰、宝马等销量更高的传统车企,大多缺乏自动驾驶算法研发能力,难以成为英伟达的大规模订单来源。

而英伟达自身作为顶级卖铲人,对自动驾驶算法的研发却涉足不深。

于是黄仁勋痛定思痛,既然传统车企不会用铲子,那就为他们写一份详尽的使用说明书,让车企在既有基础上发挥能动性。吴新宙加盟英伟达,正是肩负这一使命。

Alpamayo正是英伟达痛定思痛的成果之一:不会写代码?那就提供一个代码模板,虽不能完全照搬,但稍作修改即可用。同时,从硬件到开发工具,英伟达全面升级为“保姆式服务”。

最新的DRIVE Orin/Thor硬件平台,不仅提供芯片,还附赠完整的车载计算机硬件设计蓝图;物理级精确仿真平台NVIDIA DRIVE Sim,可为企业生成合成数据,并进行极端场景的安全测试。

再加上最新一代数据中心芯片Vera Rubin、世界模型Cosmos,英伟达真正构建起“云端训练(Rubin+Cosmos)+车端推理(Thor+Alpamayo)”的智能驾驶工具链闭环,可谓“饭已喂到嘴边,闭眼吃即可”。

英伟达发布开源VLA大模型Alpamayo,全面进攻自动驾驶 英伟达 VLA 自动驾驶 Alpamayo 第7张

英伟达智能驾驶形成完整工具链闭环

Alpamayo的推出,也标志着英伟达在“标准化”与“定制化”之间的一次重新平衡。

对英伟达而言,最理想的商业模式是销售标准化芯片,如此毛利率最高,估值空间也最大。一旦涉足定制化算法开发,便沦为干一个项目结一次钱的“施工队”。

因此,过去数年,英伟达汽车业务的经营思路始终是不断提升软件工具箱的丰富度,降低车企使用自家芯片的门槛,但坚决不亲自下场承接车企的自动驾驶项目。

Alpamayo正是这一策略的最新体现:英伟达宁愿研发一套开源算法交给汽车行业,也不愿屈就充当乙方。

英伟达发布开源VLA大模型Alpamayo,全面进攻自动驾驶 英伟达 VLA 自动驾驶 Alpamayo 第8张

基于英伟达平台构建的全球L4及robotaxi生态

换言之,为了卖出自家“燃气灶”,英伟达配套开发了“抽油烟机、锅碗瓢盆、各式调味料”,甚至研发了系列“预制菜”,距离亲自下厨仅一步之遥。

参考资料

[1] I rode along in Nvidia’s AV pilot. It made better decisions than me,Quarts[2] Nvidia, Tesla Chase Same Self-Driving Goal Via Varying Paths,Bloomberg[3] 当自动驾驶与机器人共振:详解VLA与世界模型,华源证券[4] NVIDIA推出Alpamayo系列开源AI模型与工具,加速安全可靠的推理型辅助驾驶汽车开发,英伟达