当前位置:首页 > 科技资讯 > 正文

苏茨克沃论AI未来:Scaling时代终结,研究回归核心

苏茨克沃论AI未来:Scaling时代终结,研究回归核心 人工智能  Scaling 泛化能力 SSI 第1张

近期,OpenAI前首席科学家伊利亚·苏茨克沃(Ilya Sutskever)为推广其新创公司安全超级智能公司(SSI),进行了一次深度访谈。尽管访谈带有明显的公关意图,但这仍是过去半年来关于人工智能产业演进最富洞察力的公开论述。即便核心观点已广泛传播,其价值仍值得再度强调和深入探讨。

苏茨克沃认为,当前的人工智能热潮已偏离正轨,这不是细微偏差,而是方向性错误。

他提出一个让忙于签署数十亿美元计算合同的实验室负责人不寒而栗的观点:依赖堆计算力、拼模型规模的时代已经结束。未来前进之路,需整个行业重拾被遗忘已久的元素——真正的研究。

“我们生活在一个公司比创意更多的世界,”苏茨克沃直言不讳,“且多得多。”这话出自他口,分量十足。要知道,他参与打造的AlexNet、GPT-3,曾用十年时间为“规模至上”理念投下赞成票。如今,这位规模扩张的信徒却宣布此路不通。

其核心观点可归结如下:

  • 依赖堆算力、拼规模的Scaling时代(2020-2025)已告终结
  • 算力悖论:理论正确时,所需算力可控;理论错误时,再多算力也无济于事
  • 现有方法无法产生真正智能,根本问题在于模型泛化能力远逊人类,显示基础架构存在缺陷
  • 突破大模型时代的首个平台期,产业竞争将回归“真正的研究”

通常,对个人理论观点的理解因人而异、和而不同。但苏茨克沃的最新观点应被特别重视,因谷歌在大模型领域的最新进展基本印证了他的思考:谷歌在各技术栈上追平甚至超越OpenAI的事实证明,理论正确不仅使所需算力可控,算力模式也可控(从GPU到TPU)。这进一步预示,谷歌在大模型理论研究上取得了三年来产业最重要的突破,可见“软硬一体”(硬件设计制造+算法演进突破)的公司竞争模式已成所有AI公司的必由之路。

这在很大程度上为2026年全年AI产业竞争定下基调、划清主线。在展开未来基调与主线研究前,不妨先复述访谈主干内容。

01 Scaling的尽头

苏茨克沃的论证起点从语言切入。“Scaling”一词逐渐成为行业战略指南。人们认为,只要向计算和数据投入资金,回报就必然稳定。预训练提供了清晰配方:按固定比例混合算力、数据和模型参数,性能就能持续提升。

这种确定性吸引了巨额投资。研究有风险,扩张只需花钱——当涉及数十亿美元时,这一区别至关重要。

但配方会过时。高质量训练数据即将耗尽,互联网文本几乎被采集一空。合成数据虽能缓解,但如苏茨克沃所言,收益递减的拐点已至。所有大型实验室都面临同一问题:当扩张曲线趋平,下一步该如何?

他的答案令人警醒。现有路径“能继续走一段,但后劲不足。它会改进,却无法成为真正智能。”我们渴望的、能展现真实智能的系统,需要不同方法。“而我们尚未学会如何构建它们。”

这并非抱怨“算力不足”。他是在质疑当前智能架构本身。

02 泛化,那个老难题

苏茨克沃理论的技术核心是泛化能力。当前模型在基准测试中表现出色,但一遇真实场景,就以各种方式失败,暴露底层缺陷。

他描述了一个代码助手用户熟悉的挫败场景:遇到程序漏洞,让模型修复,它带着近乎表演的诚恳道歉,然后引入完全不同的新漏洞。指出新问题后,原始漏洞又重现。模型似乎未意识到自己陷入死循环。但同一系统在编程竞赛排行榜上却能碾压人类。这不合逻辑。

他给出两种解释。

第一,强化学习训练出狭隘专注,模型为特定奖励信号过度优化,却丧失更广泛能力。第二更棘手:研究者不自觉地“为考核而训练”。团队设计的强化学习环境,无形中受评估方式影响。待基准测试与实际效用脱节时,往往为时已晚。

他用类比点明关键:想象两名学编程的学生。一人花一万小时钻研竞赛编程,熟记所有算法和证明技巧,成特定领域顶尖高手。另一人花一百小时学到不错水平,便转向其他学习。谁未来前景更好?几乎总是通才。

当前模型像偏执专才。在狭窄领域投入巨量强化学习,产出基准测试冠军,却在相邻任务上举步维艰。

人类智能并非如此。我们用极少数据快速学习、广泛适应,在不同情境保持一致性。

这些模型的泛化能力,不知何故远逊人类,”苏茨克沃说,“这太明显,感觉是个根本问题。”

他相信,理解可靠泛化机制是核心未解之谜。其他问题,包括AI对齐,皆衍生于此。价值学习脆弱,因泛化本身脆弱;目标优化失败,因泛化失败。修复底层机制,许多表面问题自会解决。

03 SSI的另类算法

对苏茨克沃“研究优先”思路的最直接质疑是:SSI(Safe Superintelligence Inc.,苏茨克沃创建的公司)筹集30亿美元,但听说OpenAI一年仅实验就花费50到60亿美元(不含推理成本)。小团队如何竞争?

他的算法挑战行业默认假设。在他看来,前沿实验室开支被多样需求分散:推理基础设施吞噬巨额资本,产品工程、销售团队和功能开发占用大量研究预算,多模态研发再分走资源。

“当你查看真正留给研究的剩余部分,差距就小多了。”

历史也支持他。AlexNet用两块GPU训练而成,初始Transformer模型仅用2017年水平的8到64块GPU。真正范式突破研究,从不需要最大算力规模,它需要洞察力。

SSI结构体现这一理念:无产品、无推理负载,不受任何事干扰研究重心。这家公司只为验证一个泛化技术理论而存在。理论正确,验证所需算力可控;理论错误,再多算力也徒劳。

这是一场纯粹战略豪赌。苏茨克沃并非说SSI会比谁花钱多,他赌的是当范式转变时,思想比预算重要

04 AGI,一个被高估的概念?

访谈中埋藏更激进观点:人类本身也不是AGI(通用人工智能)。这听来离谱,但细思有深意。

AGI概念最初为区别于“窄AI”——那些下棋、玩游戏强却无法举一反三的系统。AGI承诺相反:一个什么都能同时处理的系统。预训练强化了这一想法,因更多训练似乎均匀提升所有任务能力,通用性仿佛通过规模实现。

但人类智能不这样工作。我们先掌握基础能力,然后通过经验学习具体技能。你妹妹可能花十小时学会开车,而医学生需近十年成合格诊断医生。这些技能复杂度天差地别,却源自同一套底层学习机器。知识是在与世界持续互动中积累,非一次性前置灌输。

这一新理解直接影响部署策略。若超级智能是“无所不知的系统”,你需在发布前完全造好。若它是“能快速学会任何事的系统”,部署就变成持续教育过程。你要发布的是“超级智能的15岁少年,充满渴望,虽当前知识有限,但是极佳学生”。

05 未来的模样

苏茨克沃给出具体预测:具备当前模型所缺泛化能力的类人学习系统,将在5到20年内出现。这一时间范围体现“哪条路能走通”的不确定性,而非“有无解决方案”的怀疑。

他预言,随AI能力日益凸显,行业行为将改变:激烈对手会在安全上合作(OpenAI和Anthropic已宣布联手),政府更深介入,当AI开始“让人感受到其强大”时,公司会对安全“变得偏执得多”。

他个人倾向的对齐目标是:关心所有感知生命的AI,而不仅是人类。理由很务实:一个自己可能拥有感知能力的AI,去关心所有感知生命,会比只关心人类更自然。

他提到人类自身就有跨物种共情——尽管进化主要筛选群体内合作。我们会为关于狗的电影流泪,踩到蚂蚁时至少偶尔愧疚。苏茨克沃推测,这是因为大脑使用同一套神经机制理解他人和理解自己,效率至上,共情成副产品。

这理论站得住脚吗?难说。神经科学本身争议不断,从生物共情到机器对齐的跳跃,包含太多可能被未来证伪的假设。但苏茨克沃在这些问题上挣扎思考的时间,比领域内几乎所有人都长,他抵达的结论,至今鲜有人跟随。

06 关于“品味”

访谈尾声,帕特尔问了一个可能决定AI未来走向的问题:什么是研究品味?苏茨克沃合作完成的开创性论文,在深度学习领域可能无人能及,他如何嗅到值得追寻的想法?

他的回答透出美学追求。有希望的方向通常优美、简洁,并从生物智能中获得正确灵感。人工神经元重要,因大脑有无数神经元,且它们感觉是根基;从经验中学习重要,因大脑显然这么做。方法若显“丑陋”,通常预示问题。

但光靠美感撑不过一次次失败。实验总推翻看似完美的想法,漏洞总藏代码中。如何知道该继续调试,还是放弃方向?

“靠那种自上而下的信念,”苏茨克沃解释,“你可以认定,事情必须这样。类似东西一定得行,所以我们必须坚持。”

这是一种研究者信仰,是任何规模算力无法替代的。是对“某些路径必然有效”的强烈信念,强到足以支撑穿越所有反面证据,直到找到漏洞或打磨好理论。规模扩张曾为这种信仰提供替代品——当任何方法只要放大规模就能改进时,你无需对特定方向有如此强烈信念。

若苏茨克沃关于规模扩张已达极限的判断正确,那么这替代品就消失了。剩下的,将是2020年前我们所熟知的研究本身:充满不确定性,由想法驱动,并依赖那种花钱买不来的品味。