AI范式革命：从规模扩张到科研深化的战略转折——Ilya Sutskever专访精粹

人工智能领域正经历一场深刻转型：从依赖「规模扩张」的旧范式，重新回归「科研创新」的新时代。

这是OpenAI联合创始人Ilya Sutskever在最新专访中阐述的核心观点。

此次访谈中，Ilya以近两万字的篇幅畅所欲言，信息量极为密集，几乎覆盖了当前AI领域所有热点议题：

AI为何在泛化能力上始终落后于人类？如何确保AI系统的安全性与价值对齐？主流的预训练范式存在哪些根本性局限？

Ilya指出，当下盛行的「预训练 + 规模缩放」技术路径已遭遇明显瓶颈。与其盲目追求更大规模，不如将重心转移至「研究范式本身」的系统性重构。

这一判断获得了众多网友的共鸣。

然而，对于多年来一直宣称「大语言模型已死」的Yann LeCun而言，这一幕或许令他倍感无奈。

他甚至在社交平台X上转发了一张梗图，大意是：

为何当初我提出类似观点时，无人认真对待？

以下为访谈全文，在忠实原意的基础上，对语言进行了优化与丰富。

访谈全文

Ilya Sutskever

你知道最令人惊叹之处吗？这一切正在变为现实。

Dwarkesh Patel

你具体指什么？

Ilya Sutskever

难道你不觉得吗？所有关于AI的讨论，整个硅谷正在发生的一切——这简直像是科幻小说情节成真。

Dwarkesh Patel

另一个不可思议之处在于，「缓慢起飞」在感知上显得如此自然。理论上，人类将GDP的1%投入AI，本应是震撼全球的事件，但实际感受却颇为平淡。

Ilya Sutskever

事实证明，人类适应新事物的速度极快。而且目前这一切仍有些抽象。这意味着什么？

你仅仅在新闻中看到：某公司宣布投入天文数字的资金。但感知仅止于此，尚未以其他方式真正「冲击日常生活」。

Dwarkesh Patel

我们可以从此切入讨论？我觉得这个话题颇具启发性。

我认为你刚才的观点——即使抵达技术奇点，普通人的生活也「不会感觉迥异」——很可能持续成立。

Ilya Sutskever

不，我不同意。我说「感知差异不大」，仅指那种「好吧，又有公司宣布了难以想象的巨额投资」。公众对此无从体会，它仅是一个数字，普通人不知如何解读此类信息。

但我相信AI的影响必将被切实「感知」。AI将渗透整个经济体系，强大的经济动力将推动这一进程，我认为其冲击将异常显著。

Dwarkesh Patel

你认为这种冲击何时到来？现状是：模型看似比其经济体现的影响「聪明得多」。

Ilya Sutskever

正是，这是当前模型最令人困惑的谜题之一。如何调和两种现象：一方面，它们在各类评测中表现卓越——审视这些评测你会感叹「题目相当困难」，模型却应对自如；

另一方面，经济层面的实际影响明显滞后。难以理解：一个模型为何能在某些任务中展现惊人能力，却在另一些场景中犯下「重复相同错误」的简单失误？

举例而言：假设你通过所谓的vibecoding进行编程，在某处编写了一段代码，随后遇到一个错误。你告知模型：「请修复这个错误。」模型回应：「天啊，你说得对，确实存在错误，我立即修复。」

然后它引入了第二个错误。你再次指出：「现在你新增了一个错误。」它又表示：「我怎么会这样做，你又说对了。」随后竟将第一个错误重新引入。双方便在这两个错误间循环往复。

为何如此？我尚未确定。但这确实暗示了某些异常。

我有两种可能的解释。较为「天马行空」的解释是：也许强化学习训练使模型变得过于单一目标、过于「线性」，在某些方面反而丧失了觉察力——尽管在其他领域其觉察力更强。正因这种过度的单向专注，导致其在基础事务上表现不佳。

但另一种解释是：在仅进行预训练的时代，「应使用何种数据」的问题已有答案——即「所有数据」。预训练需要全部数据，越多越好，因此你不必纠结「选择这份或那份数据」。

然而当人们开始强化学习训练时，便不得不思考此问题。

大家会说：「我们希望通过这种强化学习提升某项能力，通过另一种强化学习提升另一项能力。」据我所知，各公司均有专门团队持续生成新的强化学习环境，并将其纳入训练组合。

问题是：这些环境究竟是什么？此处存在巨大的自由度——你可以设计形形色色的强化学习环境。

我认为现实中「无意间发生」的一种做法是：人们从评估指标中汲取灵感。「我希望我们的模型在发布时评测表现优异。我们应设计何种强化学习训练以提升其在此任务上的性能？」

我相信这类情况确实存在，它可以解释当前诸多现象。

若将此点与「模型的泛化能力实际不足」结合，便很可能解释我们观察到的大部分状况：即评测表现与现实世界表现之间存在显著落差。而「这种落差究竟意味着什么」，我们至今仍未明晰。

Dwarkesh Patel

我欣赏这个观点：真正的「奖励黑客」并非模型，而是那些过度聚焦评估指标的人类研究者。

你提及的此问题，我认为可从两种视角理解。

一种视角是：若事实证明「在编程竞赛中达到超人类水平」并不会自动使模型在实际代码库中更具品味、更善判断，那么答案或许是：你应扩展环境集合，不仅测试其在竞赛题中能否取得高分，还需测试其能否为X场景开发最佳应用？能否为Y场景、Z场景编写真正实用的代码？

另一种视角是：「为何我们最初假定：在编程竞赛中成为超人，就必然能在更广泛意义上成为更有品味的程序员？」

换言之，或许正确策略并非不断叠加不同环境，而是探索一种方法：使模型从一个环境中学到的知识能迁移至其他任务，从而真正提升「广义能力」。

Ilya Sutskever

我有一个类比，或许有助于理解此问题。既然你提到竞赛编程，我们便以其为例。

假设现有两名学生。学生A立志成为顶尖竞赛程序员，因此投入一万小时专攻此领域。他刷遍所有题目，熟记所有证明技巧，极其擅长快速且准确地实现各种算法，最终确成为顶级选手。

学生B则认为：「竞赛编程颇有乐趣。」他也进行练习，但仅投入约一百小时，远少于前者，然成绩依然不错。

你认为这两人中，谁的未来职业发展会更佳？

Dwarkesh Patel

是第二位。

Ilya Sutskever

正确。我认为当前模型的状况，基本类似学生A——甚至更为极端。

因为我们会说：「好，我们要让模型在竞赛编程中表现出色，那就投入所有竞赛题目。」随后还进行数据增强，生成更多变体题目，再用这些海量竞赛题训练。结果便是，你获得了一个极其优秀的「竞赛程序员型模型」。

在此类比下，许多事情更为直观。

当你在细分领域训练得如此极致，所有算法、所有证明技巧信手拈来，便更容易理解：为何此类训练未必能良好泛化至其他任务。

Dwarkesh Patel

那么在人类世界中，第二位学生在那一百小时「微调训练」之前，究竟在做什么？类比至模型又是什么？

Ilya Sutskever

我认为那就是所谓的「灵气」——那种「独特天赋」。我本科时期便结识过此类人物，因此我知道这种存在是真实的。

Dwarkesh Patel

我认为有趣的一点在于，区分这种「灵气」与「预训练究竟做了什么」。

理解你关于预训练数据选择的一种方式是：其与「一万小时练习」并无本质不同，只是你可将那一万小时「免费打包」进预训练，因为这些内容本就存在于预训练的数据分布中。

但或许你在暗示：预训练并未带来我们预期中的大量泛化，它仅依赖海量数据，而这种泛化未必强于强化学习。

Ilya Sutskever

预训练的最大优势在于两点：第一，数据量极其庞大；第二，你不必纠结「选择哪些数据」，因为目标就是——全部都要。

这些数据非常「自然」，涵盖了人类各种活动：思想、经验，以及大量世界特征。可以说，它是「人类将世界投射至文本的层面」。预训练的目标便是：用巨量数据捕捉此层投射。

预训练之所以难以彻底理解，是因为我们很难弄清：模型究竟以何种方式利用这些预训练数据。

每当模型犯错，你都会思考：「是否因为某些内容在预训练数据中支持不足？」此处的「被预训练数据支持」表述较为松散，我亦不确定能否将其阐释得更好。

我认为人类世界中不存在真正对应「预训练」的类比。

情绪与价值

Dwarkesh Patel

以下是一些关于人类「前期训练」的常见类比。我愿聆听你的见解，为何这些类比可能存在缺陷。

一种类比是考量一个人生命的前15至18年，此阶段他们可能不具备经济生产力，但其活动有助于更深入理解世界等。另一种类比是将进化视为持续30亿年的探索，最终塑造成人类形态。

我好奇你是否认为这两者类似于预训练。若非预训练，你如何看待人类的终身学习？

Ilya Sutskever

我认为这两者与预训练存在某些相似之处，预训练试图同时扮演这两种角色。但它们之间亦有显著差异。预训练数据的数量极为庞大。

Ilya Sutskever

不知何故，即使人类仅接触预训练数据的极小部分，经过15年训练，其掌握的知识仍远不及AI。但无论掌握何种知识，他们的理解都更为深刻。到达那个年龄，你绝不会犯AI常犯的错误。

另有一点。你或许会问，这是否与进化相关？答案或许是肯定的。但就此而言，我认为进化可能更具优势。我记得阅读过相关案例。神经科学家研究大脑的一种方法是观察脑部不同区域受损的患者。有些人会出现意想不到的奇特症状。这确实引人深思。

我想到一个相关案例。我曾读到一位患者，其脑部受损，可能因中风或事故，导致情感处理能力丧失。因此他不再体验任何情绪。他仍能言善辩，可解决简单谜题，考试成绩一切正常。

但他感受不到情绪。他不会悲伤、愤怒或兴奋。不知何故，他变得极不擅长决策。他甚至需花费数小时决定穿哪双袜子。他在财务方面亦会做出非常糟糕的决策。

这揭示了与生俱来的情绪在使我们成为合格行动主体方面的作用。谈及你提到的预训练，若能充分发挥预训练优势，或许能达到类似效果。但这似乎……预训练是否真能达成此效果尚难断言。

Dwarkesh Patel

「那」究竟是什么？显然不仅是情绪。它似乎是一种类似价值函数的事物，告知你任何决策的最终回报应是什么。你认为这不会在某种程度上隐含于预训练中吗？

Ilya Sutskever

我认为有可能。我只是说这并非百分之百确定。

Dwarkesh Patel

但那是什么？你如何看待情绪？机器学习中情绪的类比是什么？

Ilya Sutskever

它应是一种价值函数之类的事物。但我认为目前尚无恰当的机器学习类比，因为价值函数在人们的实际行为中并未扮演非常重要角色。

当前强化学习的训练方法较为简单：首先需要一个神经网络，随后给予其问题，并指示模型「解决此问题」。模型可能需要成千上万次动作、思考或其他操作，最终生成解决方案。随后，此解决方案会被评分。

然后，此分数被用于为轨迹中的每个动作提供训练信号。这意味着，若你执行一个持续时间极长的任务——若你训练一个需极长时间解决的任务——那么在找到建议的解决方案前，它根本不会进行任何学习。这便是强化学习的简单实现方式。此即o1与R1的实现方式。

价值函数传达的讯息类似于：「我或许能不时告知你做得好坏。」价值函数的概念在某些领域比其他领域更有用。例如，当下棋失去一个棋子时，我犯了错误。你无需下完整盘棋便知我刚才的走法不佳，因此之前的任何走法亦不佳。

价值函数允许你缩短等待时间，直至最终做出决策。假设你正在进行数学运算或编程，试图探索特定解决方案或方向。经过约一千步思考后，你得出结论此方向无望。

在你得出此结论的瞬间，你便可提前一千步接收奖励信号，即在你决定沿此路径前进时。换言之，在你真正想出解决方案的很久之前，你已告知自己：「下次遇到类似情况，我不应再走此路。」

Dwarkesh Patel

这正是DeepSeekR1论文中提及的——轨迹空间如此广阔，以至于从中问轨迹与价值间学习映射关系可能极为困难。

此外，例如在编程中，你可能产生错误想法，随后回头修改，再调整其他部分。

Ilya Sutskever

这听起来像是对深度学习缺乏信心。当然，它可能很难，但深度学习无所不能。

我预期价值函数将非常有用，且完全相信它们未来会被应用，即便现在尚未实现。

我之前提到的情感中心受损患者，或许更准确而言，这表明人类的价值体系在某种程度上受情绪调节，且此调节方式由进化预先设定。或许这对于人类在社会中有效运作至关重要。

Dwarkesh Patel

这正是我想询问的问题。关于价值函数中的情感因素，有一点确实极为有趣：它们既实用又相当易于理解，此点令人印象深刻。

Ilya Sutskever

我同意，与我们学习和讨论的事物及当前AI相比，情绪相对简单。它们甚至简单到可用人类可理解的方式描绘。我认为这样做会很酷。

但就实用性而言，我认为存在复杂性与稳健性之间的权衡：复杂事物可能非常有用，但简单事物在更广泛情境下同样有效。

我们可如此解读观察到的现象：这些情绪主要源自哺乳动物祖先，随后在我们进化成原始人类的过程中略作调整。

我们确实拥有相当数量的社会情绪，而哺乳动物可能缺乏这些。但这些情绪并不十分复杂。

正因其不复杂，在与此前生活世界截然不同的现代环境中，它们才能如此有效地辅助我们。

实际上，它们亦会犯错。例如，我们的情绪……嗯，饥饿算是一种情绪吗？此点尚存争议。但我认为，在此食物充裕的世界，我们凭直觉感受到的饥饿感并未正确引导我们。

我们在扩展什么？

Dwarkesh Patel

人们持续讨论数据扩展、参数扩展与计算扩展。是否存在更通用的扩展思路？还有其他扩展维度吗？

Ilya Sutskever

我认为有一个可能正确的观点。过去的机器学习基本依赖人们不断尝试各种方法，观察能否获得有趣结果——这是早期模式。

随后，「规模化」的洞见出现。规模化法则、GPT-3……突然之间，所有人意识到：我们应推进规模化。此乃语言如何影响思维的例证。「规模化」仅是一个词，却极具力量，因其直接告知众人应做之事——「持续扩大」。

于是问题浮现：扩大什么？预训练，恰恰是最需规模化的部分。它是一种非常清晰的「配方」。

预训练的最大突破，在于证明了此配方的可行性：只需将一定量的数据与算力注入足够大规模的神经网络，便会获得良好结果。你自然相信：持续放大，效果将持续提升。

此方法的优势在于，公司愿为其投入资源——因其属「低风险投入」。相比之下，将资源投入研究则困难得多。研究意味着：「研究人员请持续探索，争取突破」，而非「再获取些数据、增加些算力」。但预训练几乎能保证特定收益，此种确定性极具吸引力。

根据某些推特讨论，Gemini似乎找到了使预训练更高效的方法。但预训练终将遭遇硬上限：数据有限。此后怎么办？要么寻找新的「强化预训练」方式，要么探索强化学习，或其他完全不同路径。当算力巨大至一定程度，我们将重新回归「科研时代」。

若划分时代：2012—2020为研究时代；2020—2025为规模化时代。

此期间众人几乎皆呼喊「持续扩大！再扩大！」但当规模已如此庞大时，你真相信再扩大一百倍便能彻底改变一切吗？

会有变化，但我不认为仅凭更大规模便能带来根本性转折。我们正重新回归研究时代，只不过此次，我们手握巨型计算机。

Dwarkesh Patel

你刚才提及一个概念——「配方」。那我们究竟在扩展什么？此配方到底意味着什么？在预训练中，数据、算力、参数量、损失函数间并无如物理定律般明确的关系。那我们应追求什么？新配方应如何构思？

Ilya Sutskever

我们已经看到规模化路径的迁移：从预训练转向强化学习。

如今众人正扩展的是强化学习。从外界讨论看，近期强化学习消耗的计算量可能已超越预训练，因其天生「消耗算力」——它需要极长的迭代过程，而每次迭代的学习增益又很小。结果便是，它极其耗损算力。

我甚至不愿称其为「扩展」。我更愿询问的是：「你的做法是否最有效率？能否找到更经济的方式利用算力？」此点回归至之前提及的价值函数。若人们真能掌握价值函数，或许资源利用效率将大幅提升。

但当你提出一个全新的训练方法时，又会产生另一问题：「这究竟是扩展，还是在浪费算力？」二者间的界限正变得日益模糊。从某种意义上说，我们正回归从前那种科研模式：「尝试这个，再尝试那个……哦，此处有些意思。」我认为此种局面将再次出现。

Dwarkesh Patel

若我们真进入新的研究时代，哪些部分最值得重新审视？你提及的价值函数当前被广泛应用，众人亦将大语言模型引入作为评判者。但这似乎仅是在现有流程末端做加法。是否应重新思考预训练，而非仅在其后叠加更多步骤？

Ilya Sutskever

我认为关于价值函数的讨论极有意思。我想强调，价值函数确实能使强化学习更高效，我相信这将带来显著提升。但我同样认为，只要给予足够时间与算力，任何价值函数能达成之事，无需价值函数亦能达成——只是速度会慢许多。

最根本的问题是：这些模型的泛化能力远不及人类。此点显而易见，且我认为它是最核心、最棘手的问题所在。

为何人类比模型更擅长概括

Dwarkesh Patel

因此关键在于泛化能力。此处实际包含两个子问题。

第一个问题更偏向样本效率：为何这些模型需要比人类多得多的数据才能掌握一项能力？

第二个问题是：即使不谈数据量，为何让模型真正理解「我们期望其做何事」比让人类理解同一事务要困难得多？

对人类而言，学习并不依赖明确的奖励信号。例如，你现在可能正指导一群研究人员，你与他们交流、展示代码、阐释思考方式，他们便能从中学会如何进行研究；你无需为其设立可验证的奖励环节，如：「这是课程下一部分」「此轮训练不太稳定」之类的人工流程。

这两个问题或许相关，但我想分别探讨：第二个更像「持续学习」，第一个更像「样本效率」本身。

Ilya Sutskever

关于人类样本效率，最可能的解释之一是进化。进化在视觉、听觉、运动等核心能力上，为我们提供了少量但极其有用的「先验知识」。

例如，人类的灵巧度远超机器人。即便机器人可通过大量模拟训练变得灵巧，但让机器人在现实世界中像人一样快速掌握新技能，几乎不可能。你或许会说：「哦，是的，移动能力是我们祖先数百万年来极度依赖的能力，因此我们拥有某些不可思议的进化先验。」

视觉亦类似。Yann LeCun曾说，孩子练习十小时便能学会驾车。确实如此——但这是因为孩子的视觉系统极其强大。我记得自己五岁时，对汽车极为着迷。我可以肯定，五岁时我对汽车的视觉认知已足够支持基本驾驶操作。但五岁孩子的信息摄取量实际非常有限，大部分时间仅在父母身边。这表明视觉能力可能深植于进化，而非后天学习。

但当我们论及语言、数学、编程时，它们出现得太晚，不太可能是进化带来的。

Dwarkesh Patel

但即使在这些「近期才出现的能力」上，人类似乎仍比模型更强。模型虽然在语言、数学、编程上已优于普通人类，但其学习能力真更优秀吗？

Ilya Sutskever

是的，当然如此。语言、数学、编程——尤其是数学与编程——表明，人类擅长的学习能力，可能并非源于复杂的进化先验，而是某种更基础、更普遍的能力。

设想某项能力，若它对我们的祖先在数百万甚至上亿年间都极为重要，那么人类在此方面可靠而稳定的表现，很可能源自进化层面的先验知识——某种隐秘编码于神经系统中的事物。

但若人类在一些「近期才被发明的能力」上——如数学、编程——依旧展现极强的学习能力与稳健性，那这更像是人类天生拥有一种「通用的机器学习能力」。

换言之：若连不依赖进化积累的领域，人类仍能快速学习，那真正的关键可能并非先验知识，而是人类学习机制本身的效率。

Dwarkesh Patel

那我们应如何理解这种「学习能力」？它似乎具备某些特别特征，例如：所需样本量很少，更似无监督学习。青少年学驾车，并非通过预设奖励体系学习，而是通过与环境的互动。

他们的样本量很低，却能快速掌握，且学习过程极为稳健。是否存在机器学习的类比？

Ilya Sutskever

你刚才提及青少年司机如何在无外部指导下自我纠正、从经验中学习。我认为答案在于他们拥有自身的价值体系。

人类有一种极其强大的普遍感知能力。无论价值体系是什么——除少数被成瘾行为破坏的例外——它在绝大多数情况下都极为稳固。

因此，对正学驾车的青少年而言，他们一坐上驾驶座，立即能感知自己驾驶得多差、何处不稳。他们立即拥有内在反馈，于是自然开始改进。再加上年轻人本身学习速度极快，十小时后，他们基本便能熟练驾驶。

Dwarkesh Patel

我好奇的是，他们究竟如何做到？为何对我们如此自然，而对模型却如此困难？我们需如何重新构思模型训练方式，才能逼近此能力？

Ilya Sutskever

这是个极好的问题，我对此亦有许多思考。但遗憾的是，我们正处于一个并非所有机器学习理念皆可公开讨论的时代，而此正是那些无法轻易公开讨论的想法之一。

我相信存在路径可实现。我认为这是可达到的。而且，人类的这种直觉，本身便暗示了此方法的可行性。

当然，可能存在另一难点：人类神经元的计算能力，可能比我们预想的还要强许多。若此是事实，且对学习过程至关重要，那么我们要做的事情将更复杂。

但无论如何，我相信这确实指向某种机器学习的根本原理。只是出于某些原因，我无法进一步详述。

超级智能

Dwarkesh Patel

我很好奇。若你认为我们已重新进入「科研时代」，那么作为曾经历2012–2020那段时期的人，你觉得现在的科研氛围会如何？

例如，即使在AlexNet之后，人们用于实验的计算量仍持续增长，前沿系统的规模亦不断扩大。你认为如今的科研时代是否同样需要庞大的计算资源？需要重新翻阅旧论文吗？

你曾在谷歌、OpenAI、斯坦福大学工作，那些皆属学术氛围最浓厚之地。你认为未来的研究社区将呈现何种景象？

Ilya Sutskever

规模化时代的一个结果，是规模本身挤压了创新空间。由于「扩大规模」被证明有效，所有人皆做同一件事，最终变成「公司数量远超创意数量」的局面。

硅谷有句老话：「创意不值钱，执行力才重要。」此语有理。

但后来我在推特上看到一句反讽：「若创意如此廉价，为何无人有创意？」我认为此语同样准确。

若从「瓶颈」视角看科研，会发现存在数个瓶颈：一是想法本身，二是将想法变为现实的能力，而后者往往依赖计算资源或工程能力。

例如，上世纪90年代许多研究者实际有不错想法，但受限于算力，他们只能进行小规模演示，无法说服任何人。因此当时真正的瓶颈是计算资源。

在规模化时代，算力暴涨，瓶颈便转移了。当然，我们仍需一些计算资源，但并不意味着科研一定要用到极限规模。

举例而言：AlexNet仅用两块GPU。Transformer刚出现时的实验规模，大多在8至64块GPU范围内。按今日标准看，那甚至相当于几块GPU的规模ResNet亦然。没有哪篇论文依赖庞大集群才能完成。

你可说，若要构建一个「最强系统」，更多算力必有帮助——尤其在众人遵循同一范式的情况下，算力自然会成为差异化因素之一。但科研本身，实际无需无限的大规模计算。

Dwarkesh Patel

我问这些，是因为你当时就在现场。当Transformer刚提出时，它并未立即爆红。它成为入门工具，是因后来在越来越大的算力上不断被验证，模型规模提升后效果亦持续提升，众人才开始真正基于它进行实验和扩展。

那假设SSI有五十个不同方向的想法，在无其他顶尖实验室那种巨大算力的情况下，你们如何判断哪个是可能的「下一次变革」，哪个想法太脆弱？

Ilya Sutskever

此处我可稍作解释。你提及了SSI——事实上，我们的研究算力比外界想象的要多。

原因很简单：SSI虽然「仅有」三十亿美元，但需注意，对大多数大公司而言，它们巨额的算力预算主要用于推理。这些资金、贷款、GPU资源，皆须用于产品推理服务。

其次，若你要打造面向市场的AI产品，便需庞大的工程、销售团队，需大量资源执行产品相关功能。真正能用于纯研究的资源，扣除这些之后，实际并无想象中那么高。

反观SSI，我们的资金绝大部分用于研究，因此可用于实验的算力并不少。

更重要的是：若你在做「与众不同」的研究，真需要极限规模来证明它吗？我不这么认为。对于我们要验证的方向，目前的算力完全足够让我们说服自己，亦说服世界。

Dwarkesh Patel

公开估计显示，例如OpenAI此类公司，仅在实验上的年度开销便达五十至六十亿美元，还不含推理服务成本。他们每年在研究实验上的投入甚至比你们的总经费还高。

Ilya Sutskever

关键不在于「有多少算力」，而在于「如何使用算力」。

他们的系统规模巨大，模态更多，工作流更繁杂，因此算力需求自然庞大且分散。你要构建一个能推理、能多模态、能产品化的系统，需在非常多环节投入计算资源。

但这不代表研究一定需要那种规模。

Dwarkesh Patel那SSI未来将如何盈利？

Ilya Sutskever目前我们仅专注于研究。商业化问题届时自然水到渠成，我认为会有许多可能路径。

Dwarkesh PatelSSI的计划仍是直接研发超级智能吗？

Ilya Sutskever或许吧，此方向确实有意义。避免卷入市场竞争是一件好事。但有两个原因可能促使我们改变策略：

第一，实际时间表可能比预期更长；第二，真正强大的AI造福世界的价值巨大，我认为这是非常重要的事。

Dwarkesh Patel

那为何默认策略要「直接研发超级智能」？

OpenAI、Anthropic等公司强调要逐步增强能力、让公众慢慢适应。为何直接冲向超级智能反而可能更好？

Ilya Sutskever

正反两方面皆有道理。

正方观点是：参与市场竞争会迫使公司做出艰难权衡，可能偏离长期目标。完全专注于研发极具优势。

反方观点是：让大众真正看到强大的AI，本身就是一种价值。你无法通过一篇论文或一套理念来「阐释」AI的冲击力——只有亲眼目睹它在做什么，人们才会真正理解。这便是为何大规模部署AI会带来巨大社会收益。

Dwarkesh Patel

我同意，不仅是理念，更是让人真正「接触AI本身」。另一原因在于：几乎所有工程领域皆依靠「现实世界中的部署」不断提升安全性。

例如：飞机的事故率随每一代机型不断下降；Linux漏洞越来越难寻获；系统越来越稳健。因为它们被全球范围使用，问题被发现，随后被修补。

我不确定AGI或超级智能为何应是个例外。尤其是——超级智能的风险远不止「回形针恶魔」那样的故事。它太强大了，我们甚至不知人们将如何使用它，更不知它将如何与人类互动。

逐步普及似乎是让社会做好准备的更安全方式。

Ilya Sutskever

我认为，即使采取「直接实施」的路线，也必然是一个循序渐进的过程。任何计划皆须分阶段推进，关键是你最先推出的是什么。

第二点，你比他人更强调「持续学习」，我认为此点极为重要。我想用一个例子来说明语言如何影响我们的思维。有两个词几乎定义了整个行业的认知：一个是「AGI」，另一个是「预训练」。

先说AGI。此词为何会出现？其目的并非为描述某种「最终形态」的智能，而是对「狭义AI」的一种反应。在AI的早期，大家谈论的是「跳棋AI」、「国际象棋AI」、「游戏AI」。它们确实很强，但人们会说：它们太狭窄了，没有通用能力。因此，「我们需要通用AI」此概念逐渐流行起来。

第二个词是「预训练」。尤其在今日的强化学习工作流下，「预训练」此概念可能正变得模糊。但它曾经非常重要：预训练越充分，模型在各方面的能力皆会提升。换言之，预训练促成了「通用AI」此想法的流行。

问题在于，这两个词——AGI和预训练——实际皆带来某种误导。若你仔细思考，便会意识到：在人类身上不存在所谓的「通用AI」。人类确实在一些基本能力上很强，但真正的知识储备极其有限，而我们真正依赖的是「持续学习」。

因此，当我们设想「创造出一种安全的超级智能」时，关键问题并非它「已掌握多少技能」，而是：它在持续学习的曲线上处于哪个阶段？

想象一个非常聪明、求知欲旺盛的十五岁少年。他懂得不多，但学习能力极强，可在不同领域持续扩展技能。若你将这样一个系统部署出去，它亦会经历学习与试错的过程。这不是一个「成品」，而是一段学习旅程。

Dwarkesh Patel

明白了。你说的「超级智能」并非一种已掌握所有技能、能胜任所有工作的成熟系统，而更像是一个能够学习完成所有工作的「可成长心智」。它和一些组织对AGI的定义不同，后者强调「能做任何人类可以做的工作」，而你强调的是「能够学会任何工作」。

而只要拥有此种学习能力，它便能像人类一样，被部署至世界各地，从事不同工作，并在工作中不断学习。

接下来可能有两种情况——亦可能皆不发生。

第一种是：此学习算法强到不可思议，它在研究方面甚至能超越你，随后不断提升自身能力。

第二种是：即便未出现此种递归增强，只要你有一个统一的大模型，它的不同实例在全球范围内执行不同任务，不断学习，再将彼此的学习成果整合起来——那么你最终亦获得了一种「功能性超级智能」。它几乎能胜任经济体系里的所有工作，且不同于人类，它可以完美共享知识。

那么，你是否预期此种模型的广泛部署会引发某种形式的「智能爆炸」？

Ilya Sutskever：

我认为我们极有可能看到经济的快速增长。关于广泛部署的AI，业内有两种相反的观点。

一种认为：只要AI具备快速学习和执行任务的能力，且数量足够多，经济体系便会强烈地推动它们被部署，除非监管阻止其发生——而监管很可能会出现。

另一种观点认为，即便有监管，在足够大的规模部署下，经济都会在一段时间内进入高速增长。问题只是：增长能快到什么程度？此点极难预测。世界足够大，系统复杂，各行业的运行速度不同，但AI的劳动效率极高，因此经济快速增长是完全可能的。

我们可能会看到不同国家因监管尺度不同而出现增长差异。哪些国家更早允许部署，哪些国家的经济增长更快——极难提前判断。

对齐

Dwarkesh Patel

在我看来，这是一个极其危险的局面。从理论上讲，它完全可能发生：若一个系统既具备接近人类的学习能力，又能以人类无法做到的方式「融合多个大脑实例」，那它的潜力就会远超任何生命形式。人类可以学习，计算机能扩展，而这东西可以同时具备两者。

此种智能的威力几乎难以想象。经济增长只是其中一种表现方式——若它真强大到能建造戴森球，那将带来巨大的增长。而在更现实的层面，若SSI雇佣这样的智能体，它可能在短短六个月内达到净生产力。人类学习已经够快了，但它会进步得更快。

因此关键问题是：如何安全地让它发生？SSI又凭什么认为自己有能力做到此点？我真正想问的是，你们对此种局面的计划是什么？

Ilya Sutskever

我的思维方式确实发生了一些变化，其中一个重要方面是，我现在更强调AI的逐步部署与提前规划。AI的困难之一在于：我们讨论的是尚不存在的系统，很难真正想象它会是什么样子。

现实是，如今我们几乎无法在日常实践中真实“感受到”AGI的存在。我们可以讨论它，但想象它的力量，就像让年轻人体会衰老的感觉一样——可以尝试，但最终发现根本无法真正理解。

围绕AGI的很多争议，本质上皆来自一种想象力的缺失。未来的AI将与现在截然不同，强大得多。AI和AGI的核心问题究竟是什么？就是力量。根本问题就在于它的力量。

那么，当此种力量真正出现时会发生什么？过去一年里，我的想法有了变化——此种变化可能会影响我们公司的计划。我的结论是：若难以想象，那就必须把它展示出来。我认为，绝大多数从事AI研究的人亦难以想象未来系统的形态，因为它与我们熟悉的东西相距甚远。我仍坚持我的预测：随着AI变得越来越强大，人类的行为会随之改变。我们会看到许多前所未有的现象，而这些现象现在尚未发生。

第一，我认为未来无论好坏，前沿公司与政府都会在其中扮演极为重要的角色。我们已经看到一些迹象：原本的竞争对手开始在AI安全上合作，例如OpenAI与Anthropic的一些动作。这在过去是不可想象的。我在三年前的演讲中就预测过这一幕。我相信，随着AI力量变得更明显，政府与公众亦将强烈要求采取行动。这是一种关键力量：向世界展示AI的真实面貌。

第二，随着AI不断提升，人们对它的理解亦会发生转变。目前许多从业者之所以觉得AI还不够强，是因为模型仍会犯错。但我认为，某个时刻我们会真正“感受到”它的力量。

当此种感受出现时，所有AI公司的安全观念都会发生巨大转变，变得更为谨慎。此点我非常确定。因为他们会亲眼看到AI能力的跃升。而今日的讨论之所以看不到此种谨慎，是因为人们只能看到当下的系统，而难以想象未来版本的样子。

第三，从更宏观的角度来看，有一个问题是：企业究竟该构建什么？长期以来，业界皆执迷于“能自我改进的AI”。这背后的理由是想法比公司少——换言之，让AI自己想。但我认为，还有更重要、更值得构建的东西，而且未来每个人都会想要它。

那就是：以关怀有感知生命为核心的AI。

我认为，构建一个关心所有具备感知能力生命体的AI，比构建只关心“人类生命”的AI更容易。原因在于AI本身亦将具备感知能力。

想想镜像神经元，以及人类对动物的同理心——或许此种同理心不够强烈，但它确实存在。我们之所以能理解他者，是因为我们用模拟自身的回路来模拟对方，这样最有效。

Dwarkesh Patel

所以，即便你让AI关心有感知能力的生物——实际上，若你解决了阵营问题，我并不确定这是否是你应该努力的方向——大多数有感知能力的生物仍然是AI。

AI的数量将达到数万亿，最终甚至达到千万亿。人类在有感知能力的生物中所占的比例将非常小。因此，我不确定若目标是让人类控制未来的文明，这是否是最佳标准。

Ilya Sutskever

没错，这可能并不是最佳标准。我想强调三点。

第一，“关爱有感知能力的生命”依然非常重要，此点应该被纳入考量。

第二，若能提前整理出一份包含多种可选方案、可供公司在关键时刻参考的建议清单，将会十分有价值。

第三，我认为，若能以某种方式对最强大的超级智能体施加能力上的限制，会非常有益，因为这能解决许多潜在问题。

至于如何实现，目前我尚无明确答案，但我相信，一旦讨论的是“真正强大”的系统，此种限制的重要性将变得更加突出。

Dwarkesh Patel

在我们继续讨论对齐问题之前，我想先深入探讨一下。

顶层还有多少空间？你如何看待超级智能？你认为，若运用学习效率的概念，它是不是只是学习新技能或新知识的速度极快？或者它只是拥有更庞大的策略库？是否存在一个位于中心、更强大或更庞大的单一「它」？

若是如此，你认为它相对于人类文明的其他部分会像神一样吗？还是仅仅感觉像是另一个主体，或者另一个主体群？

Ilya Sutskever

在此领域，每个人的直觉皆不同。我的直觉是：未来的AI将会极其强大。而且最有可能的情形不是某一个单体率先出现，而是多个同等级别的AI几乎同时被创造出来。

若计算集群大到相当于一个“大陆级规模”，那样的系统就会真正意义上变得极其强大。我只能说，当我们谈论的是真正强大的AI时，最好能限制它们的能力，或让它们在某种协议下运行，否则风险显而易见。

究竟是什么让“超级智能”如此令人担忧？问题的核心在于：即便你让它做一件看似合理的事——例如全心全意关怀所有有感知生命——我们亦可能并不会喜欢它最终采取的方式。这才是真正的症结。

或许答案部分在于：你无法用通常意义上的方式构建强化学习智能体。几点原因：

人类本身也是“半强化学习智能体”：我们追求奖励，但情绪会让我们厌倦并转向新的奖励。

市场是一种短视的智能体。

进化亦是如此：在某些方面极其聪明，在另一些方面却极其愚蠢。

政府被设计成三个部门持续制衡的结构，亦会创造出复杂且难以预测的后果。

这些例子说明：我们熟悉的智能体类型，本身就带有结构性的限制与偏差。

讨论变得困难，还有另一原因：我们谈论的是尚未存在的系统，也不知应当如何构建这样的系统。

在我看来，当下所有研究都会持续推进、不断改进，但永远达不到“最终版本”。我们根本不知该如何构建那种“最终版本的智能体”。许多关键问题最终皆指向一个核心：我们仍不理解真正可靠的概括机制。

再补充一点。一致性难以实现的原因之一，可能在于：

我们学习“人类价值观”的能力本身非常脆弱，

我们优化这些价值观的能力亦非常脆弱，

而我们恰恰是在学习如何“优化它们”的过程中逐渐形成的。

于是，这引出一个更深的问题：

难道这些不是“不可靠的概括”的例子吗？

为何人类的概括能力似乎更强？

若未来的系统拥有异常强大的概括能力，会怎样？其影响是什么？

这些问题，目前皆无法回答。

Dwarkesh Patel

如何想象AI发展顺利的样子？你已经展望了AI可能的发展方向。我们将拥有这类持续学习的智能体。

AI将非常强大。或许会出现许多不同的AI。你如何看待大量体量堪比大陆的计算智能体？这有多危险？我们如何降低此种危险？我们又该如何做到此点，才能在可能存在失衡的AI和恶意行为者的情况下，维护一种平衡？

Ilya Sutskever这正是我强调「关爱有感知生命的AI」此概念的原因之一。它是否绝对正确可以讨论，但若最早出现的那批强大系统能真正关心、保护人类或其他有感知的生命，那么此点就必须实现。只要前N个系统做到此点，我认为至少在相当长的时间里，局面会保持良性。

那长期会发生什么？如何实现一种稳定均衡？此问题其实有答案，尽管我本人并不喜欢，但它值得严肃考虑。

从短期看，若世界中存在强大的AI，几乎可以预见的是：全民收入提升，每个人都过得更好。但佛教有一句话：「唯一不变的是变化本身。」政治结构、政府形态、社会秩序皆会不断变化，它们皆有生命周期。新的结构出现，运行一段时间，又会在某个阶段失效，我们已经无数次看到此种循环。

因此从长期来看，一种可能的模式是：每个人都拥有一个属于自己的AI，它替你赚钱、替你争取政治利益、替你处理社会竞争，并定期给你提交一份简短的报告：「这是我为你做到的。」而你只需点头：「很好，继续吧。」

问题在于：人类完全退出了参与。这是一种高度危险的局面。

我并不喜欢下面这个方案，但它确实是一种可行路径：让人类通过某种类似Neuralink的技术，成为「半AI」。如此一来，AI所理解的，我们亦能理解；AI所经历的，我们亦能参与，因此种理解会被完整地传递给人类。在此种情况下，AI若处于某个复杂情境中，人类可以真正「在场」，而非旁观者。

Dwarkesh Patel

我想知道，数百万年前（甚至在很多情况下是数十亿年前）在完全不同的环境中形成的情感，是否仍然如此强烈地指导着我们的行为，这是否是协调一致的成功例证。

为了更清楚地说明我的意思——我不知道称之为价值函数还是奖励函数更准确——脑干有一个指令，它会说：「和更成功的人交配。」大脑皮层理解在现代语境下成功的含义。但脑干能够协调大脑皮层，并说：「无论你如何定义成功——我没那么聪明，无法理解那是什么——你仍然要遵循这个指令。」

Ilya Sutskever

我认为此处还有一个更普遍的观点。进化如何编码高级欲望，此点其实非常神秘。我们很容易理解进化如何赋予我们对香味食物的渴望，因为气味是一种化学物质，所以我们会去追求此种化学物质。我们很容易想象进化是如何做到此点的。

但进化亦赋予了我们所有这些社交欲望。我们非常在意能否被社会正面看待。我们渴望拥有良好的社会地位。我强烈地感觉到，我们拥有的所有这些社交直觉皆是根深蒂固的。我不知进化是如何做到此点的，因为这是一种存在于大脑中的高层次概念。

假设你关心某种社会现象，它并非像气味那样的低级信号，亦非某种有传感器可以感知的东西。大脑需要进行大量处理，才能将众多信息碎片拼凑起来，理解社会上正在发生的事情。进化似乎在告诉你：「这才是你应该关心的。」它是如何做到的呢？

而且进化速度也很快。所有这些我们所珍视的复杂社会现象，我认为皆是近期才出现的。进化轻而易举地便将此种高层次的欲望写入了程序。至于进化是如何实现的，我目前还未找到一个合理的解释。我之前亦有一些想法，但都不太令人满意。

Dwarkesh Patel

尤其令人印象深刻的是，欲望是你后天习得的，这很合理，因为你的大脑很智能。你能习得智能欲望也合情合理。或许这并非你的重点，但理解此点的一种方式是，欲望根植于基因组之中，而基因组本身并不智能。但你却能够描述此种特性。你甚至不清楚自己是如何定义此种特性的，而且你还能将其构建到基因中。

Ilya Sutskever

本质上来说，或者我换个说法。想想基因组可用的工具，它就像在说：「好了，这里有一份构建大脑的配方。」你可以说：「这里有一份将多巴胺神经元连接到嗅觉感受器的配方。」若此种气味是某种令人愉悦的气味，你就想吃它。

我能想象基因组会这样做。但我认为更难想象。很难想象基因组会告诉你，你应该关心你整个大脑，或者说你大脑的很大一部分，皆在进行的某些复杂计算。这便是我的观点。我可以推测一下它是如何实现的。让我提出一个推测，然后解释为何此推测很可能是错误的。

因此大脑有不同的脑区。我们有大脑皮层，它包含了所有这些脑区。大脑皮层本身是均匀的，但脑区以及皮层中的神经元主要与其邻近的神经元进行交流。这就解释了为何会有脑区。因为若你想进行某种语音处理，所有负责语音处理的神经元皆需相互沟通。而由于神经元只能与其附近的神经元交流，因此大多数情况下，它们必须位于同一个脑区内。

每个人大脑中这些区域的位置基本相同。所以，或许进化在大脑中硬编码了一个特定的位置。它就像在说：「哦，当大脑的某个特定区域（比如某个神经元）的GPS坐标被激活时，你就应该关注这个区域。」这或许就是进化的运作方式，因为这符合进化的逻辑。

Dwarkesh Patel

是的，虽然亦有一些例子，例如先天失明的人，他们大脑皮层的失明区域会被其他感官所取代。我不知，但若大脑皮层的不同区域被其他感官所取代，那些需要视觉信号的欲望或奖励功能是否会失效，我会感到惊讶。

例如，若你失去了视力，你还能感受到你想让周围的人喜欢你等等此种感觉吗？通常情况下，这些感觉亦会有视觉线索。

Ilya Sutskever

我完全同意。我认为此理论还有更强有力的反驳论点。有些人童年时期切除了半个大脑，但他们仍保留着所有的大脑区域。然而，这些区域却都以某种方式集中到了大脑的一侧半球，这表明大脑区域的位置并非固定不变，因此此理论是不成立的。

若这是真的就好了，可惜不是。所以我觉得这真是个谜。不过，这的确是个有趣的谜。事实是，进化不知怎么地赋予了我们非常可靠地关注社会事务的能力。即使是那些患有各种奇怪精神疾病、缺陷和情绪问题的人，亦往往很关心这些。

SSI

Dwarkesh Patel

SSI有什么与众不同的计划？你们显然希望站在时代前沿。创办SSI的初衷，或许正是因为你认为自己掌握一种能够安全推进此项工作的方式，而其他公司没有。那么，此种不同究竟在哪里？

Ilya Sutskever

在我看来，我只是有一些值得探索的想法，想验证它们是否真正有效。就是这样。这是一场尝试。若这些关于「理解与概括」的思路最终被证明是正确的，那我们就能有所收获。

我们正在调查、验证这些想法。我们是一家真正意义上的「研究型公司」。过去一年取得了不错的进展，但还需要继续推进。我认为这本质上就是一种尝试，一种让自己发出声音、参与其中的方式。

Dwarkesh Patel

你们的联合创始人兼前CEO最近去了Meta。有人认为，若公司当时取得了很多突破，此种离开似乎不太可能发生。你怎么看？

Ilya Sutskever

我只想简单回顾一些可能被忽视的事实。当时我们正以三百二十亿美元估值进行融资，其后Meta提出了收购，我拒绝了，但前联合创始人某种程度上同意了。结果是，他获得了大量短期流动资金，而且他是SSI唯一加入Meta的人。

Dwarkesh Patel

听起来SSI的计划，是希望在人类迈入超人类智能时代的关键节点处于前沿位置。你们对如何有效利用超人类智能有自己的思路，但其他公司亦在尝试不同想法。SSI的独特之处是什么？

Ilya Sutskever

我们的主要特点在于技术路径。我们采用了一种我认为有价值且行之有效的方法，并正努力推进。

我觉得最终各种策略会趋于一致。随着AI变得足够强大，大家大概都会意识到应该采取怎样的路线。原则上，就是找到一种可靠的沟通方式，并确保第一个真正意义上的超级智能能够以协调、关怀、有益的方式行事——关心有感知能力的生命、关心人类，尊重民主理念，或多者兼具。

我认为这是所有公司皆应追求的目标，亦是我们正在追求的目标。甚至若其他公司现在还没意识到，我相信它们最终亦会朝着同一方向前进。随着智能增强，世界将发生巨变，人们的行为方式亦会随之彻底改变。

Dwarkesh Patel

你对此种系统的时间预测是什么？一种能像人类一样学习，并最终达到人类水平的系统。

Ilya Sutskever

大概五到二十年。

Dwarkesh Patel

你认为未来几年会发生什么？若其他公司继续沿用现有做法，最终会「停滞」？此处的「停滞」具体意味着什么？营收停留在几千亿美元？

Ilya Sutskever

停滞的情形可能是各家公司的状况会非常相似。我并不确定，但即使「停滞」，他们仍可能获得惊人的收入。或许利润不高，因为彼此需要努力差异化，但收入不会低。

Dwarkesh Patel

但你似乎暗示，一旦出现正确的方法，各家公司最终都会趋同。为何这么认为？

Ilya Sutskever

我主要指战略协调上的趋同。技术路径最终可能亦趋同，但我指的是战略层面：大家会逐渐清晰地意识到应该采取怎样的做法。

Dwarkesh Patel

现在许多公司采用不同思路，你期待他们继续创造收入，但达不到类人学习。未来或许只有少数公司找到正确方法，一旦发布，其他人就会明白应该怎么做？

Ilya Sutskever

确切的做法目前不明朗，但另一种可能性是：信息会被研究、被破解，人们会试图弄清其原理。不过，随着能力不断提升，我认为某些方面会发生根本性的变化，只是现在还无法具体描述。

Dwarkesh Patel

按理说，率先建立持续学习循环的公司会获得所有收益。为何这些收益会被广泛分享，而非集中在头部企业？

Ilya Sutskever

若回顾AI的历史模式，会发现通常是一家公司率先突破，随后其他公司迅速跟进，推出类似产品，在市场上竞争、压低价格。我认为未来亦会如此。

此外，在理想情况下，你亦可将超级智能限定在非常具体的窄领域，使其既强大又专业化。市场中本来就偏好多样化、细分化。

因此，一家公司可能在某个复杂经济活动领域表现突出，而另一家公司擅长另一个领域，还有公司可能专门在诉讼方面极具优势。

Dwarkesh Patel

但这与类人学习的含义似乎矛盾。类人学习意味着能学任何事情。

Ilya Sutskever

确实可以。但你已经为特定领域投入大量计算、资源和经验，积累了深厚知识，达到了极高水准。别人可能会说：「我没必要重复你已经学过的一切。」

Dwarkesh Patel

要实现此种分化，前提是多家公司同时训练类人学习智能体，在不同分支上展开搜索。若只有一家率先获得这样的学习器，它亦可以让一个实例学习所有岗位。

Ilya Sutskever

这确实是一个合理的论点。但我的强烈直觉告诉我，事情不会这样发展。理论上似乎是这样，但实践中未必如此。这便是理论与现实不一致的典型例子。

Dwarkesh Patel

很多递归自我改进模型认为，服务器里会有上百万个「伊利亚」，不断探索不同想法，从而导致超级智能迅速出现。你对并行化的收益有什么直觉？复制「你」有什么意义？

Ilya Sutskever

我不确定。我倾向认为会出现收益递减，因为真正需要的是「思维方式不同的人」，而非成千上万个思维方式相同的复制体。只复制我一个人，我不认为价值会提升多少。你需要的是多样化的思考方式。

多智能体

Dwarkesh Patel

为何即使查看完全不同公司发布、用可能不重叠的数据集训练出来的模型，大语言模型之间的相似度仍然高得惊人？

Ilya Sutskever

或许这些数据集并不像表面上看起来那样完全不重叠。

Dwarkesh Patel

但从某种意义上说，即便单个人类的生产力远不如未来的AI，人类团队的多样性或许仍比AI团队更高。我们该如何在AI中实现此种意义上的「多样性」？

我认为仅仅提高温度只会让模型胡言乱语。我们真正需要的，是类似不同科学家拥有不同偏见、不同想法的那种结构性差异。那么，怎样才能在AI代理中产生此种多样性？

Ilya Sutskever

我认为缺乏多样性主要来自预训练。所有预训练模型最终皆非常相似，因为它们皆来自类似的数据。而差异更多出现在强化学习和后训练阶段，因为不同团队会采用不同的强化学习训练方法。

Dwarkesh Patel

我之前听你提过，自博弈或许是一种获取数据，或让智能体与同等智能体匹配以启动学习的方式。那么，我们应如何理解那些当前还未公开、试图将自博弈应用到LLM生命周期学习中的提案？

Ilya Sutskever

我想强调两点。

第一，自博弈之所以有趣，是因为它提供了一种仅依靠计算而非数据来创建模型的方法。若你认为数据最终是瓶颈，那能只靠算力推进，就非常值得关注。

第二，问题在于传统形式的自博弈——让不同个体彼此竞争——其实只能培养少数特定技能。它的适用范围过于狭窄，只对谈判、冲突处理、社交互动、策略制定之类的能力有帮助。若你看重这些技能，自博弈当然有价值。

实际上，我认为自博弈已经找到了新的归宿，只是形式不同。例如辩论机制、证明者–验证者机制，它们皆包含某种「由LLM担任裁判」的结构，裁判的目标是发现你的错误。虽然这未必是严格意义上的自博弈，但确实是一种相关的对抗式机制。

更一般地说，自博弈其实是主体之间更广泛竞争的一种特例。在竞争环境里，自然的反应就是追求差异化。

若你把多个主体放在一起，让他们皆尝试解决同一个问题，并观察彼此的做法，他们会产生这样的想法：「其他主体皆在用这种方法；我是否有必要换一种完全不同的方式？」

因此，我认为类似的机制亦能激励主体发展出多样化的方法。

研究品味

Dwarkesh Patel

最后一个问题：什么是「研究品味」？你被广泛认为是AI领域品味极高的研究者，曾参与过AlexNet、GPT-3等深刻影响历史的成果。你的研究品味是什么？你是如何产生那些想法的？

Ilya Sutskever

我可以分享一些自己的看法。不同研究者的方法各不相同，而对我而言，一个始终指引我的原则是：AI应当具有怎样的「美学特征」。

这意味着要思考人类本质，但要以一种正确的方式思考。我们很容易误解什么是「人类本质」，那么什么才是「正确理解」呢？

举几个例子。人工神经元的概念直接源自大脑，而且这是一个极好的想法。为何？大脑有很多结构，比如褶皱，但那些可能并不关键；真正重要的是神经元数量庞大。

因此我们亦需要大量神经元，需要某种局部学习规则去更新连接，因为大脑似乎也是这样运作的。

再比如分布式表征。大脑会根据经验改变自身，因此神经网络亦应该从经验中学习。这不只是模拟，而是要追问：这些特征究竟是本质性的，还是偶然的？它们是否反映了「智能的根基」？

正是此种追问，在很大程度上指导了我的研究。

我倾向于从多个角度寻找「纯粹的美」——美、简洁、优雅，以及来自大脑的正确灵感。丑陋的东西没有容身之处。若缺乏这些元素，我就不会感到踏实；这些元素越齐全，我越能建立自上而下的信念。

此种自上而下的信念，是当实验结果与你的直觉相矛盾时支撑你的力量。若总是完全依赖数据，你可能会在正确的方向上因为一个未知漏洞而被绊倒，却不知应该坚持还是放弃。

那么你如何判断？如何知道是继续调试，还是该换方向？此时，自上而下的信念就变得至关重要。

它告诉你：「事情应该是这样的。这样的路径必须能奏效，我们必须坚持。」此种信念来自你对大脑的理解、对美和简洁的偏好、来自多方面的直觉与灵感。

它会在真正关键的时刻起作用。

访谈视频：https://www.youtube.com/watch?v=aR20FWCCjAs