当前位置:首页 > 科技资讯 > 正文

从开源项目到OpenAI:逆袭顶级AI实验室的实战指南

他没有博士学位,也没有发表论文,却凭借公开改进论文和基准测试,成功赢得了行业大佬的认可,并顺利入职OpenAI!Noam Brown亲自证明:行动力和开源项目,才是进入顶级AI实验室的真正通行证。

最近,OpenAI传奇研究员、德扑AI之父Noam Brown的一篇文章引起了广泛关注。

没有博士学位和研究背景,是否能在顶尖AI实验室找到工作?

这听起来像是一个不切实际的想法,但现实却充满了这样的奇迹。

例如,一个叫Keller Jordan的年轻人,仅凭一篇开源博客,就成功成为了OpenAI的机器学习研究员!

从开源项目到OpenAI:逆袭顶级AI实验室的实战指南 开源项目 AI实验室 逆袭 Noam Brown 第1张

他没有写论文,而是将研究过程、代码和实验结果在GitHub上完全开源。

Noam Brown总结道:尽管现在开放研究的空间比以前小了,但在已有论文的基础上做改进,依然是一个证明自己能力的绝佳方式。

从开源项目到OpenAI:逆袭顶级AI实验室的实战指南 开源项目 AI实验室 逆袭 Noam Brown 第2张

这种做法会赢得对方的信任,为你争取到面试的机会。

从AI审核做起,走向人生巅峰

2020年,Keller毕业于UCSD,获得数学和计算机双学士学位。

毕业时,他从未发表过任何一篇论文。

第一份工作是在一家人工智能内容审核初创公司。

从开源项目到OpenAI:逆袭顶级AI实验室的实战指南 开源项目 AI实验室 逆袭 Noam Brown 第3张

有一天,他看到谷歌研究大牛Behnam的论文,萌生了一个改进思路,于是给Behnam发了一封邮件。

Behnam看到邮件后,同意指导这个年轻人。在没有人脉和背景的情况下,小哥就这样和大佬搭上了线。

更神奇的是,这段合作最终促成了一篇ICLR论文。

后来,Keller的一项表现亮眼的工作「NanoGPT speed run」,直接改变了全新的研究范式。这不仅让特斯拉AI负责人Karpathy称赞不已,还引起了OpenAI的注意。

Karpathy直呼「干得漂亮」

NanoGPT是Karpathy开源的一个项目,是一个极简的轻量级GPT训练和微调框架。

Keller喜欢不断刷新NanoGPT的训练速度。为此,他尝试了各种新方法。

在2024年10月,他取得了成果,将训练Transformer模型的token效率提高了3.8倍!

从开源项目到OpenAI:逆袭顶级AI实验室的实战指南 开源项目 AI实验室 逆袭 Noam Brown 第4张

让实验变得人人都能参与

Keller还非常有独创性。

与很多动辄需要数十万、上百万算力成本的训练不同,他在设计这个speedrun时,有一个非常明确的原则:让尝试新想法的成本足够低。

被OpenAI注意到

就这样,NanoGPT speedrun成为了Keller逆袭之路上的关键一环。

Muon横空出世

在2024年底,他设计的神经网络隐藏层优化器Muon横空出世。凭借卓越的性能,它直接刷新了NanoGPT和CIFAR-10训练速度的世界纪录!

入职OpenAI

Muon在开发者社区的影响力越来越大。与此同时,Keller于2024年12月正式加入OpenAI。

这些案例告诉你:逆袭大公司不是梦

此外,Noam Brown还列举了其他成功的案例。