AI进化新篇章：萨顿预言经验时代将超越人类数据红利

据智东西9月11日消息，在2025年外滩大会的开幕仪式上，荣获2024年图灵奖的强化学习先驱理查德·萨顿进行了主题演讲。他指出，人类数据红利正接近天花板，人工智能（AI）即将迈入以持续学习为驱动的“经验时代”，其发展潜力将远超当前水平。

智能源于经验，并能从经验中不断汲取知识。一个智能体的智慧水平，取决于其预测和控制自身输入信号的能力，尤其是奖励信号。因此，经验构成了所有智能的核心与根基。

强化学习引领我们步入全新的经验时代，但要充分释放其潜能，还需依赖两项尚未成熟的技术——持续学习（continual learning）与元学习（meta-learning）。

面对外界对AI可能引发偏见、失业乃至人类灭绝的忧虑，萨顿强调，这类恐惧被过度放大，部分是由从中获益的组织和个人煽动所致。

“人类最杰出的超能力，体现在比其他生物更善于协作。”萨顿认为，AI与人类的共同繁荣将依赖于去中心化的协作模式。即使目标各异，智能体也能通过去中心化互动实现共赢。

他预测当前人类的智力水准，很快将被超级人工智能或经智能增强的人类远远甩开，权力与资源将流向最聪慧的智能体。

在人类演进历程中，AI的取代已成必然趋势。

萨顿指出，人类的独特之处在于“将设计推向极致”，即创造出能自主设计的事物，这正是当前AI探索的目标。

人类至少扮演着催化剂、助产士的角色，更是开启宇宙第四纪元——“设计时代”的先锋。

“AI是宇宙演化的必然阶段，我们应以勇气、自豪和探险精神拥抱它。”萨顿总结道。

以下是理查德·萨顿演讲的完整内容：

很荣幸在2025年外滩大会上发言，我将聚焦人工智能，从科学趋势、政治影响及哲学意义三个维度展开探讨。

01.

数据红利触及瓶颈，AI迎来“经验时代”

我们正处于“人类数据时代”。AI被训练用于预测人类语言和标签，并依赖专家持续微调。

现今多数机器学习的目标，是将人类已有知识迁移至静态、缺乏自主学习的AI系统。

然而，我们逐渐触及人类数据的极限，并意识到这种方法难以生成新知识，不适合持续学习，而持续学习对智能效能至关重要。

播客主持人Dwarkesh Patel洞察到这一点。他在节目中提到：“根本问题在于，大语言模型不会随时间变得更聪明，这与人类不同。缺乏持续学习能力是一个巨大瓶颈。尽管大模型在某些任务上表现优于人类平均水准，但我们无法提供高层次反馈，只能依赖其固有能力或调整提示词，这远达不到人类在实践中反思失败、逐步改进的学习水平。”

关于“智能”的核心科学争议在于：它是大量知识的堆积，还是快速学习的能力。

当然，智能只是一个术语，但我们需要理解其传统用法。

观察传统智力测量方式，如“智商”（IQ），它等于知识掌握量除以经验积累量。因此，这一定义实质上衡量的是学习速度，而学习速度正是常识中“智力”的关键。

如今我们正迈入“经验时代”，需要一种新型数据源，它能随智能体能力提升而增长优化，如同电脑游戏中的自我博弈。

这类数据也可源自智能体以第一视角与世界互动，我称之为“经验”。这正是人类和动物的学习方式，也是AlphaGo创造“第37步”及AlphaProof近期在国际数学奥赛获银牌的基础。

观察婴儿玩耍视频，可见其获取数据取决于自身行为。孩子探索不同玩具，数据由行动决定。关键在于，数据需匹配智能体的智力与发展阶段，这正是经验所能提供的。

经验思维模式指智能体与世界交换信号，这些信号构成其“经验”。

这里的“经验”并非抽象概念，而是具体包含观察、行动和奖励三项要素。这三种信号在智能体与世界间传递，我定义为“经验”——这是生命的数据。

因此我坚信，知识源自经验，故可从经验中学习。智能体的智能程度，取决于其预测和控制输入信号的能力，尤其是奖励信号。经验是所有智能的基础，强化学习领域便根植于此。

总之，在AI科学趋势上，未来超级智能体或智能增强人类的出现，将为世界带来纯益。

完全智能的智能体必须从经验中学习，这超越了大语言模型的范畴，将成为世界知识的可定制接口，兼具惊艳与实用性。

强化学习已引领我们进入新的经验时代，但要充分释放经验潜力，还需我们尚未掌握的持续学习和元学习技术。

02.

AI高度政治化，恐惧情绪被夸大

现在，谈谈AI的政治影响。

首先需指出，AI已成为高度政治化议题。它是国家地缘竞争的焦点，公众也充满担忧。除政治竞争外，公众恐惧AI带来偏见、失业甚至人类灭绝。

一些国家正立法限制AI模型能力，更有人呼吁暂停研究，将其与核武和生物武器类比。

总之，对AI的规制、管控和对齐呼声四起，这反映AI已被高度政治化。

我的观点是，这种恐惧被夸大，且部分由从中获利的组织和个人煽动。

实际上，这些问题与人类几千年应对的挑战并无二致。

让我们思考：在由智能体构成的社会，类似人类社会，“目标是唯一还是多元？”

在强化学习中，这很明确：每个智能体自有目标和奖励。自然界中，每只动物也有其痛苦与快乐。

回顾经济体系，只有当个体拥有不同目标和能力时，经济才能最佳运行。经济并不真依赖共同目标，尽管我们常如此宣称。

审视现实世界、经济和社会，可见智能体可和平共存，即便目标不同，我们无需所有智能体对齐同一目标。

为深入探讨，需定义两个词：“去中心化”指每个智能体追求自身目标，这正是经济体系的运作方式；“协作”指目标不同的智能体通过互动实现双赢。

我认为，协作是我们的伟大超能力，人类最卓越之处在于比其他动物更擅长协作。

协作的实现依赖语言和货币——这两者皆人类独有。

人类最伟大的成功在于协作本身：经济、市场与政府。

人类的重大失败正是协作失败：战争、偷窃与腐败。

“去中心化协作”是“共同目标”的优雅替代，它更可持续、强韧、灵活、适应性强，无需控制个体目标。

正如所述，人类比其他动物更善协作，但仍有不足。我们仍有战争、盗窃、腐败和欺诈。协作之路艰难，总有人从中获利：军火商、独裁者、骗子、盗贼。

因此，协作需制度支撑：既要促进协作，又要惩治欺诈和勒索者。中心化机构可助协作实现，惩罚作弊者，但若机构僵化，长远会阻碍协作。

当前，许多呼声主张对AI进行中心化控制：对齐目标、暂停研究、限制算力或竞争，以确保安全。这些主张源于恐惧，基于“我们对他们”的思维，妖魔化他人。

我认为这是人类天然倾向，必须清醒认识其正向AI领域蔓延。

因此，关于AI政治议题的核心结论是：AI与人类繁荣皆源自去中心化协作。

协作并非总能实现，却是世间美好之源。我们必须寻求、支持协作，并将其制度化。

此外，通过观察，易见谁在鼓吹不信任、呼吁非协作和中心化控制。我们应努力抵制这些声音。

这为我们审视所有人类与AI互动呼吁提供了有益视角。

03.

四原则预测AI未来，人类智能将被超越

最后，探讨AI的哲学意义。

我认为，AI是人类最古老的追求之一，并非外来技术，而与人类本性高度相似。

数千年来，哲学家和普通人努力理解自身，对心智运作充满好奇：我们如何思考？如何改进？这不是自恋，而是宏大探索。

智能是宇宙最伟大的力量之一，理解它将使人类更强大、更有能力。

理解智能，是科学与人文共同追寻的圣杯，是伟大而荣耀的奖赏。

然而，我们仍心怀恐惧与忧虑。

让我们暂搁“想要什么”的担忧，以最现实方式预测未来。

我提出四条原则，以现实展望AI未来：

第一，关于世界应如何运转，全球无统一意见，无哪种看法能凌驾一切。

第二，人类终将真正理解智能，并借技术创造它——我们必能做到。

第三，此进程不会止于当今人类智能水平。很快，它将被远超——无论是超级AI还是增强人类，当前人类智能将被大幅超越。

第四，随时间推移，权力和资源必流向最聪明的智能体。

因此，我们必然得出结论：在人类发展中，AI的替代不可避免。

但这仍是以人类为中心的视角。

从宇宙视角看，一切又如何？

我倾向将宇宙史划为四时代：粒子时代、恒星时代，接着是通常称“生命时代”，但我更愿称“复制者时代”，因当今生命本质是生物机器——能自我复制的系统。

在第四时代——机器与设计时代——被设计的事物越来越像生命。我更愿称“复制者时代”，因生物系统本质是自我复制、繁衍的体系。

我们正走向一个时代：周围越来越多事物由人类设计。

“设计”指事物最初仅存于设计者脑海——人或机器——然后被创造。

环顾房间，几乎所有事物皆设计产物：建筑、椅子、屏幕皆然。唯一未经设计的是人类自身，我们是复制产物。设计事物正占据主导。

现在可直入问题：我们的角色是什么？人类是什么？在宇宙中何位？我们能否冷静、不傲慢地回答？人类感觉特殊，不只另一种复制品，那么特殊在哪？

我认为人类独特在于：作为复制者，我们将设计提升到前所未有高度。

将设计推向极致意味着什么？我认为答案明确，至少在可预见的未来，推向极致就是创造出能自主设计的事物。这正是当前AI追求的目标。

因此，我对“人类是什么”的答案是：人类至少是催化剂、助产士，更是开启宇宙第四时代——“设计时代”的先驱。

04.

结语：以勇气、自豪和冒险精神迎接AI

总结今日分享三点：

在科技趋势上，2020年代的AI——人类数据时代——表现卓越。但我相信，我们正进入全新“经验时代”，潜力将远超以往，因它能通过经验持续学习新知识。

关于AI政治议题，我认为，AI政治议题是人类的映射。

最后，哲学层面，AI是宇宙演化的必然下一步，我们应以勇气、自豪和冒险精神迎接它。

感谢聆听。