Transformer创造者呼吁AI领域创新回归自由

近期，一篇报道在 Hacker News 上引发了热议，来自 VentureBeat 的报道揭示了 Sakana AI CTO Llion Jones 在 TED AI 大会上的惊人言论。

作为颠覆性论文《Attention is all you need》的作者之一，Jones 在大会上表示，他已经对 Transformer 架构感到厌倦。

是什么让这位 Transformer 的创造者发出了如此言论？

在旧金山举行的 TED AI 大会上，Llion Jones 表示：尽管 AI 领域的投资和人才前所未有，但该领域却陷入了单一的架构方法，这可能会让研究人员忽视下一个重大突破。

他说道：「尽管（该领域）从未有过如此多的关注、资源、资金和人才，但这在某种程度上导致了我们正在进行的研究变得狭隘。」他认为，造成这一现象的原因是投资者的回报要求以及研究人员在竞争激烈的环境中面临的「巨大压力」。

尽管这一言论并不新鲜，但考虑到 Jones 的身份，还是颇为让人惊讶且引人重视。

如前所言，Jones 是论文《Attention is all you need》的作者之一，并且正是他将这个后来改变了世界的 AI 架构命名为「Transformer」。

现如今，这篇发表于 2017 年的论文已经收获了超过 20 万引用量，无疑是本世纪最具影响力的计算机科学论文之一。

现在，作为 Sakana AI 的 CTO 和联合创始人，Jones 正在放弃自己的「孩子」。他说道：「我个人在今年年初做出了一个决定，我将大幅减少我在 Transformer 上花费的时间。我现在正明确地探索和寻找下一个重大突破。」

资金更多，创新却更少？

在 Llion Jones 的演讲中，AI 领域正面临着一个重大悖论：资源更多了，但创造力却在下降。

他说，研究者们正在不断检查自己是否被研究相同想法的竞争对手「抢先」(scooped)，学者们也选择安全、易于发表的项目，而不是高风险、具有潜在变革性的项目。

实际上，我们在近期的报道中也发现了两个显著的案例。

其一是有 4 篇不同论文几乎同时提出了与谢赛宁表征自编码器（RAE）类似的思想，我们也报道了其中两个（另外两篇是 arXiv:2509.25162 和 arXiv:2510.18457），参阅：

VAE 时代终结？谢赛宁团队「RAE」登场，表征自编码器或成 DiT 训练新基石

无 VAE 扩散模型！清华 & 可灵团队「撞车」谢赛宁团队「RAE」

其二则是智谱的 Glyph 与深度求索的 DeepSeek-OCR 撞车，都研究了用视觉方式来 token 化文本的方法。

针对这种情况，Llion Jones 进一步解释说：「如果你现在正在做标准的 AI 研究，你必须假设大概有三、四个其他团队在做非常相似，甚至完全一样的事情。不幸的是，这种压力损害了科学，因为人们仓促发表论文，这降低了创造力。」

《Attention is all you need》诞生于自由，而非压力

为了强调他的观点，Jones 描述了 Transformer 得以诞生的条件，这与当今的环境形成了鲜明对比。他说，这个项目是「非常有机的、自下而上」的，诞生于「午餐时的交谈或在办公室白板上的随意涂鸦」。

Jones 回忆道：「关键在于，我们最初实际上并没有一个成熟的想法，但我们有自由真正花时间去研究它…… 更重要的是，我们没有来自管理层的任何压力 —— 没有压力要求我们必须做某个特定项目，或者必须发表多少篇论文来提升某个特定指标。」

研究自由胜过百万美元年薪？

Jones 提出了一个解决方案：调高「探索旋钮」(explore dial)，并公开分享研究结果。他承认自己立场的讽刺性。「听到 Transformer 的作者之一站在舞台上告诉你他已经受够了 Transformer，这可能听起来有点争议…… 但这在某种程度上是合理的。」

Transformer 很成功，但也可能正在阻碍 AI 的下一个突破

不仅如此，Llion Jones 还暗示 Transformer 可能已成为其自身成功的受害者。他说：「当前技术如此强大和灵活的事实阻止了我们去寻找更好的（技术）。不难理解，如果当前的技术更差，就会有更多的人去寻找更好的替代品。」

AI 探索问题的高风险

这番言论发表于 AI 发展的关键时刻。

现在有越来越多的证据似乎表明：简单地构建更大的 Transformer 模型可能正接近收益递减的瓶颈