OpenAI预训练陷入停滞，GPT-5核心技术根基被曝仍为GPT-4o

OpenAI正急切需要一场逆转局势的胜利！据网络广泛传闻，GPT-5的底层架构实际上建立在GPT-4o基础之上。自GPT-4o问世后，内部大规模预训练项目持续遭遇挑战，几乎沦为被放弃的选项。

OpenAI的核心预训练过程是否接连失败？

有消息指出，GPT-5的基石模型仍然是GPT-4o，并且GPT-4.5之后的所有预训练版本均被OpenAI搁置！

这一说法并非毫无根据，核心爆料来源于权威分析机构SemiAnalysis的最新报告——

OpenAI顶尖团队自GPT-4o发布以来，至今未能成功完成一次专为下一代前沿模型设计的大规模预训练。

报告中，高级分析师强调：谷歌正凭借TPUv7这一利器，向英伟达的统治地位发起猛攻，可能打破CUDA技术的护城河。

众所周知，OpenAI的全栈模型完全依赖于英伟达GPU进行训练。

然而，行业内的关注点大多集中在大模型的「推理」和「后训练」硬件上。

但鲜为人知的是，若缺乏前沿模型的预训练，一切都将成为「无源之水」。预训练恰恰是AI硬件中最具挑战性、最耗费资源的关键环节。

如今，一个内部真相被揭露：

事实证明，谷歌TPU完全经受住了这一严峻考验；

相比之下，自2024年5月GPT-4o发布后，OpenAI的预训练进展却陷入停滞状态。

过去，长达两年半的时间里，OpenAI并未真正扩展预训练的规模。

GPT的预训练可能在GPT-4o之后触及了性能天花板，这亦解释了GPT-5为何未达到业界预期效果的关键原因。

有网友指出，这一时期恰逢Ilya Sutskever离开公司之际。

就在昨天，Ilya最新发文称，模型扩展不会停止，但某些关键要素仍将缺失。

OpenAI预训练遭遇重大挫折

是否还记得去年底，那场席卷网络的「Orion」项目传闻？

这一秘密项目原计划以GPT-5名义发布，但因训练效果未达目标，最终被降级为GPT-4.5面世。

在前沿模型预训练领域，OpenAI的研发进程似乎陷入困境——

如今第五代旗舰模型GPT-5，包括最新发布的GPT-5.1，其「技术基础」本质上可能仍未超越GPT-4o的框架。

SemiAnalysis去年底的文章，曾详细披露了Orion训练面临的挑战。

当前，算法进步使得模型每年所需的物理计算量减少约三分之一，因此训练运行时间很少超过3个月。

行业内大多数预训练通常仅需1-2个月即可完成。

然而，OpenAI的Orion大规模预训练却打破常规，其训练周期超过了3个月。

另据Information同期爆料，Orion不会像前代模型那样实现巨大飞跃，相较于从GPT-3到GPT-4的迭代，改进幅度明显缩小。

不仅如此，Orion的性能提升也基本局限于语言能力，其代码生成能力甚至不及旧版模型，且运行成本更高。

回顾今年2月，基于代号Orion的模型，GPT-4.5的诞生目标在于：

更强的语言理解力+更稳定的对话体验+更广阔的知识库覆盖

情感智能成为GPT-4.5的核心关键词。代码能力虽有改善，但并非主要焦点。

这一切侧面验证了此前外媒关于「Orion遇挫」爆料的准确性——

大语言模型虽有提升，但幅度有限。

GPT-4o成为扩展主线？

今年8月，奥特曼在GPT-5发布会上将其定位为「博士级AI，是通往AGI的又一里程碑」。

实际上，业界对GPT-5的反响普遍平淡。

公众原本期待GPT-5能带来全面超越前代的飞跃，但实际发布后，它更像GPT-4.5的优化版本，而非「革命性产品」。

至于GPT-5究竟基于哪一款GPT模型打造，仍有待证实。

正如传闻猜测，可能是GPT-4o，亦有Reddit网友称是GPT-4.1版本。

但无论基于哪一版本，都表明GPT-5并未在全新前沿模型的大规模预训练上取得突破。

有趣的是，那位曾将三颗草莓符号嵌入名字的业界大佬，如今已改为三个香蕉符号。

他表示，这已不再是秘密——

GPT-4.5将预训练推向极限后，OpenAI加倍投入推理范式，主打o系列与强化学习。

与之不同，谷歌和Anthropic仍在扩展预训练规模，并加强强化学习应用。

OpenAI主动放弃这一范式，为竞争对手让出了快速通道。

奥特曼：此事已无法隐瞒！

Gemini 3发布后，谷歌与OpenAI的竞争态势发生逆转——

Gemini 3势头强劲，而OpenAI此次终于感到压力！

据泄露的内部备忘录显示，奥特曼坦言：「近期，从各方面评估，谷歌在大语言模型领域表现卓越」，尤其在预训练方面。

这番表态标志OpenAI的重大转变——它终于承认，重新崛起的竞争对手与逐渐冷却的企业需求，已彻底打破其「不可战胜」的光环。

预训练是生成式AI模型训练的第一阶段。此阶段，研究人员用海量数据「喂养」模型，使其掌握数据间的关联规律。

大语言模型开发与训练流程概述：预训练和后训练是关键环节

在预训练领域，谷歌取得新突破，为Gemini 3带来前所未有的推理深度。

这让许多AI研究者感到意外——

毕竟，OpenAI去年屡遭挫折，而谷歌自身过去也曾陷入发展瓶颈。

正因如此，一段时间内，OpenAI选择将更多精力转向另一种新型AI架构——「推理模型」，这种模型虽然计算需求更大，但有望生成更优质的回答。

在推出GPT-5之前，OpenAI团队曾尝试对预训练阶段进行一系列调整，这些方法在小模型上有效，但应用于大模型时却失效。

GPT-5发布次日，西班牙与波兰Talan公司AI应用负责人Javier Alba de Alba表示：

(GPT-5）整体印象令人失望：

这是一个优秀模型——响应迅速、价格实惠、功能全面，但远非人们基于OpenAI过往发布会所期待的代际飞跃。

GPT-5带来多项改进——

编程能力显著增强、推理能力进阶、幻觉现象减少、医疗领域表现优化，甚至免费用户也享有更长的默认使用时长。此外命名体系全面简化：GPT-4o/4.1/turbo/mini等繁杂名称全部取消，统一更名为GPT-5。

然而，Javier Alba de Alba提醒：「切勿被名称迷惑：GPT-5并非新一代产品。」他解释道：

技术层面而言，它更像是GPT-4o的功能增强版，即便命名为GPT-4.2也毫不违和。

OpenAI此举虽完成了必要的名称统一，但整场发布会未能达到预期，让技术社区颇感失落。

GPT-5发布后，Epoch AI也发现了异常：

相比前代GPT-4.5，GPT-5可能消耗了更少的训练算力。

虽然具体数值尚未公开，但GPT-4.5使用的训练算力极有可能超过GPT-5。

预训练并未消亡，它依然是决定胜负的关键。

在内部会议中，奥特曼鼓舞士气，称在未来几个月，OpenAI将重新夺回优势。其中关键举措之一，就是打造一款代号为「Shallotpeat」的新一代大语言模型。

据知情人士透露，该模型的设计目标之一，就是专门修复OpenAI在预训练过程中遇到的各种「技术难题」。

OpenAI：内部战略风向转变

GPT-5发布的实质是什么？

对现有ChatGPT用户而言，GPT-5是个好消息，但这并未开启新时代。

它只是进化历程中的一小步，而非革命性飞跃。

既然更多算力通常意味着更强性能，为何OpenAI会反其道而行？这对未来模型发展意味着什么？

在与a16z合伙人Martin Casado对话中，OpenAI平台工程负责人Sherwin Wu，深度解析了OpenAI当前平台架构、定价逻辑与未来方向。

在这次访谈中，他们深入探讨了为何开发者往往会长期依赖某个「值得信赖」的模型系列，信任感是如何建立的，以及为什么行业已经逐步放弃了「一个模型通吃所有任务」的幻想。

Sherwin还讲解了从提示词工程到上下文设计的演变过程，以及企业如何借助OpenAI的微调（fine-tuning）和RFT API，利用自有数据定制模型行为。

共识已经改变

几年前，OpenAI内部认为：未来会有一个「统治一切」的超级模型。但现在行业共识已经转变为「模型的专业化和多样化」。

虽然会有强大的通用模型，但也需要针对特定任务（如编程Codex、视频Sora）的专用模型。

文本、图像、视频背后的技术堆栈各不相同。目前，在后台，这些模型往往是分开优化的独立系统，很难简单地「整合一体」。

顺便提一句，正是DALL-E 2的出现让Sherwin决定加入OpenAI，因为那是他第一次感受到AI的魔力。

而微调（Fine-tuning）也悄然进化——

早期的微调，主要用于调整「语气」或「指令遵循」。 现在的重头戏，是强化学习微调（Reinforcement Fine-Tuning） 。

这允许企业利用其庞大的专有数据（数据宝库），将较小的模型在特定领域训练至顶尖水平。这是解锁企业数据价值的关键。

也就是说，企业拥有大量内部数据，但与ChatGPT「毫无关系」，对企业专属AI而言却是黄金资源。

他们多次提到AI代码编辑器Cursor作为建立在 OpenAI API 之上的成功产品案例，证明了：

即使OpenAI自己有竞品，开发者依然可以建立伟大的垂直应用。

智能体开发模式

从第一天起，奥特曼和Greg Brockman就确立了「应用+ API」的双轨战略。

这样做是为了尽可能广泛地分发AGI的利益——

如果只做 API，你就无法触达普通消费者；如果只做应用，你就无法赋能各行各业的开发者。

在这次对话中，他们重点谈论了智能体开发工具「Agent Builder」。

Sherwin认为，智能体（Agent）并非一种全新的模态，而是AI的一种新使用方式。

本质上，智能体是一个能够代表用户、在较长的时间跨度内执行一系列操作并完成任务的AI系统。

OpenAI曾推出了可视化的「Agent Builder」（节点式构建），但发现对于开发者而言，这种方式可能过于受限。

访谈中，Sherwin和Martin将智能体清晰地划分为两类，这解释了为什么目前市面上的Agent产品形态各异——

探索型/非定向工作 (Undirected/Exploratory Work)

流程型/SOP导向工作 (Procedural/SOP-oriented Work)

在对话中，第二类Agent开发可能更像传统的软件工程或游戏开发中的NPC（非玩家角色）逻辑。

与其让模型完全自由发挥，不如通过代码给予它明确的逻辑框架和标准操作程序（SOP），特别是在受监管的行业（如客户支持、金融）。

也就是说，逻辑必须写死在代码里，而不是提示词里。

这就是Agent Builder想要解决的问题：为那些必须控制智能体行为的行业和场景，提供一个简单、清晰、可验证的解决方案。

更多动态即将来临

2025年度压轴大戏，谷歌Gemini 3 Pro无疑赢得一场胜利，但OpenAI不会袖手旁观。

内部已确认，圣诞节前夕，一连串发布将连番轰炸市场。

据传，一系列新模型已在路上——

Image Gen v2

IMO和IOI金牌多模态模型

GPT-5.2 Codex

12月，AI圈必将非常热闹。

参考资料

https://www.newsbreak.com/winbuzzer-com-302470011/4359574113974-leaked-memo-sam-altman-sees-rough-vibes-and-economic-headwinds-at-openai

https://the-decoder.com/as-google-pulls-ahead-openais-comeback-plan-is-codenamed-shallotpeat/

https://x.com/jasondeanlee/status/1994616079751286855?s=20

https://x.com/koltregaskes/status/1994836507694436628?s=20