Minecraft惊现500万参数GPT模型，玩家用红石打造AI

在《我的世界》中搭建一个虚拟的“世界”，并置身于其中与GPT互动，这听起来像是科幻小说的情节，但如今，它已经成为现实。

不要眨眼，因为已经有人这样做了，而且其成果令人惊叹！

最近，一位网友在社交媒体X上分享了自己的震撼体验：“这对我来说简直是震撼的。有人居然在Minecraft里建了一个500万参数的语言模型，并训练好让它具备基本的对话能力。说实话，这是我本月看到的最令人惊艳的东西了。”

虚拟“世界”的样貌如上所示，左下角显示的CraftGPT就是这位网友创造的GPT项目。他还搭配了虚拟键盘，以便与这个GPT进行对话。

那么，在方块世界里运行AI模型，他究竟是如何做到的呢？让我们一探究竟！

4.39亿个方块，在《我的世界》里造了一款GPT

这位开发者名为Sammyuri，他花费数月时间，经过大量规划和投入，才完成了在《Minecraft》中运行的小型语言模型CraftGPT以及支撑它的世界。

据Sammyuri介绍，起初他只是在ChatGPT提了一个问题：“能在《Minecraft》中构建一个你吗？”

于是，就有了后续的CraftGPT。

他在发布的视频中表示：“从技术上讲，它算是一个‘小型语言模型’，因为它只有500万个参数，这大概是我那台可怜的老笔记本电脑能处理的极限了。不过，从物理尺寸上来说，它绝对是巨大的。”

据悉，整个项目在游戏里占地面积惊人——长1020方块×高260方块×宽1656方块，总共差不多用了4.39亿个方块。

这台运行着小模型的“巨型电脑”内部如下所示：

CraftGPT的内部构造非常复杂，包括各种核心组件：

• 分词器（Tokenizer）
• 位置嵌入（Positional embedding）
• 词元嵌入（Token embedding）
• 层归一化（LayerNorm）
• 240×240 矩阵乘法器（4个）
• 多头注意力机制（Multi-headed attention）
• 键值缓存（KV cache）
• 960×240 矩阵乘法器
• 修正线性单元（ReLU）
• 240×960 矩阵乘法器
• 以及第二层到第六层的循环处理
• 解嵌入矩阵乘法器（Unembedding matrix multiplier）
• 下一词元选择（Next token selection）
• 输出词元（Token output）等等。

那么他究竟是如何实现的呢？

关键在于《Minecraft》里的红石。

在《我的世界》游戏中，红石电路就像电子元件，可以模拟真实世界的电路和逻辑系统。玩家可以用红石粉、红石火把、活塞、按钮、拉杆等道具搭建开关、计时器、门禁系统，甚至更复杂的计算装置。

简单来说，红石电路让方块世界里的物体能够“动起来”，可以传递信号、触发动作，进行加减运算和逻辑判断。因此，它常被玩家用来建造自动化机器、迷宫机关，甚至像这次CraftGPT这样复杂的计算模型。

上述提到的所有组件都是靠红石搭建出来的。