当前位置:首页 > 科技资讯 > 正文

英伟达200亿收购Groq:AI推理芯片新战役开启

英伟达斥资200亿美元,购入一家与自身路线截然不同的公司?

事实上,上周,领投Groq的Disruptive CEO透露了消息,英伟达正准备收购同为芯片制造商的Groq,这将是英伟达史上最大的一笔收购案。

这一举动立即在科技界掀起了波澜。

英伟达200亿收购Groq:AI推理芯片新战役开启 英伟达 Groq LPU AI推理 第1张

有人认为这是英伟达加强垄断的行为,也有人分析Groq的技术优势,但更多人讨论的是,英伟达CEO黄仁勋(老黄)是否因谷歌的TPU而受刺激。

尽管Groq对大多数人来说可能比较陌生,但其创始人Jonathan Ross曾是谷歌第一代TPU的设计师,公司2016年创立,今年的估值已超过70亿美元。

英伟达200亿收购Groq:AI推理芯片新战役开启 英伟达 Groq LPU AI推理 第2张

Groq的核心产品是一种名为LPU(Language Processing Unit,语言处理单元)的新型专用芯片,与谷歌用于AI计算的TPU芯片有些相似。

LPU同样专注于加速AI计算,放弃了GPU的通用性。

英伟达200亿收购Groq:AI推理芯片新战役开启 英伟达 Groq LPU AI推理 第3张

从名字就可以看出,LPU更加专注于语言模型设计。

然而,LPU没有HBM,也就是没有大家常说的显存。

通常,模型训练和推理需要显存。例如,要运行某个模型,说明书上写着最低配置为3090,意味着没有至少24G的显存,模型无法运行。

英伟达200亿收购Groq:AI推理芯片新战役开启 英伟达 Groq LPU AI推理 第4张

因为大模型的每次计算都需要从存储容器中取出参数到计算核心,计算完后放回。显存是模型参数最理想的集散中心,它离计算核心近,容量大,参数传输快。

如果没有显存,参数只能存储在硬盘里,这将导致模型运行极其缓慢。

即使是TPU,为了兼顾模型训练,也添加了显存模块。

英伟达200亿收购Groq:AI推理芯片新战役开启 英伟达 Groq LPU AI推理 第5张

但Jonathan Ross不忘初心,LPU继承了第一代TPU的概念,只进行模型推理,完全不添加显存。

那么没有显存,模型的参数存放在哪里呢?

LPU选择了一个离计算核心更近的存储单元——SRAM。然而,受晶体管物理体积限制,其存储容量极小,每张卡只有几十到几百MB,无法容纳所有模型参数。

因此,Groq直接组建了大量卡片集群,每张卡只存储和计算模型的一小部分,最后合并输出结果。

英伟达200亿收购Groq:AI推理芯片新战役开启 英伟达 Groq LPU AI推理 第6张

通过这种方式,LPU的数据存取速度可达GPU的20倍以上,模型推理速度极快。

凭借这种独特但有效的技术路线,Groq迅速获得了一批粉丝。在他们首页中心的统计图上,模型推理业务已经超越了亚马逊,仅次于微软。

英伟达200亿收购Groq:AI推理芯片新战役开启 英伟达 Groq LPU AI推理 第7张

早在一年前,就有人觉得Groq的LPU将对英伟达的GPU产生巨大冲击,将LPU和GPU反复比较。

毕竟在当时英伟达GPU独大的情况下,Groq能比行业龙头快10倍的推理速度,简直如同天神下凡。

英伟达200亿收购Groq:AI推理芯片新战役开启 英伟达 Groq LPU AI推理 第8张

当然,有人看好也有人看衰。

前阿里副总裁贾扬清曾做过粗略测算,用LPU运营三年,其采购成本是英伟达H100的38倍,运营成本则达到10倍,意味着LPU想替代GPU还有很长的路要走。

英伟达200亿收购Groq:AI推理芯片新战役开启 英伟达 Groq LPU AI推理 第9张

现在好了,不用比了。英伟达:我全都要。

但英伟达的“收购”并非直接支付200亿美元。作为一个巨头公司,他们采用了硅谷常见的剥壳式收购,把Groq挖空了。

这种收购方式在硅谷并不罕见,如微软合并Inflection AI、亚马逊收购Adept等,都是挖走技术、核心人才后留下空壳公司。

英伟达200亿收购Groq:AI推理芯片新战役开启 英伟达 Groq LPU AI推理 第10张