英伟达 DGX Spark 个人超算深度体验：小巧机身开启本地AI开发新纪元

日前，APPSO 终于迎来了这台由黄仁勋亲自站台推荐的个人超级计算机——英伟达 DGX Spark。初次上手，最直观的感受便是它的小巧与精致。

它的体积实在令人惊讶，远没有 Mac Studio 那般厚重，几乎与 Mac Mini 相当；银色的金属光泽与独特的散热网孔相得益彰，透出一种硬核科技的美感。

重量对比：Mac Studio M4 Max 为 2.74kg，Mac Mini M4 为 0.67kg

尺寸对比：Mac Studio 为 9.5×19.7×19.7cm，Mac Mini 为 5.0×12.7×12.7cm

在算力方面，它搭载了 128GB 的 GPU+CPU 融合内存，性能足以媲美 RTX 5070/5070 Ti 的 GB10 Grace Blackwell 超算芯片，并拥有 273 GB/s 的 LPDDR5X 内存带宽。

坦白说，本地运行各种模型，是我能想到这台拥有 128GB 内存和 GB10 显卡算力的设备最核心的用途。所有涉及隐私的内容，无论是 PDF 文档、图片还是视频，都可以放心地交给它处理。只需断开网络，打开部署好的项目，加载已下载的开源模型，一切都能在本地完成。

但本地处理的意义究竟有多大？ChatGPT 几乎成了我日常记录的工具，联不联网对普通消费者而言，似乎并不是一个极具吸引力的卖点。真正上手后，发现三万元的价格似乎也并非不可接受；Linux 的 Ubuntu 系统也没有想象中那么难用；一直被诟病的内存带宽，在模型逐字生成回答的过程中，确实能感受到一些影响，但强大的算力和充足的内存足以弥补这些等待时间吗？

目前，这款产品在京东等电商平台已经可以搜索到，大约花费 32000 元就能将这台个人超算带回家。

然而，它是否值得购买，买回家又能做什么？不妨跟随我们这几天的使用体验，一起来探讨未来的 AI 电脑究竟该是什么样子。

快速导读版：

这是一台体积与 Mac Mini 相仿，却拥有 128GB 统一内存、搭载英伟达 GB10 芯片的 Linux 桌面主机。它能本地运行最高 2000 亿参数的模型，支持大模型的微调、推理测试，搭建各类 AI 工具，即使无网络也能生成图像，AI 性能非常强劲。尽管它并非一台通用型电脑，但完整的全栈 AI 开发环境使其更适合 AI 研究员、开发者和极客玩家，能够快速复现前沿论文、验证想法。至于与深度学习无关的任务，比如视频剪辑、游戏娱乐，则不太推荐。

图像生成、视频生成皆可本地部署，探索无限可能

最高支持 2000 亿参数，意味着开源市场上的绝大多数模型现在都可以直接在这台设备上运行。部署本地大模型的平台有很多，比如开源的 Open WebUI 和闭源免费的 LM Studio。我们选择了 Open WebUI，它支持 Ollama 等专为本地高效运行大型语言模型的开源框架。

在 Ollama 官网，提供了丰富的开源模型下载｜https://ollama.com/models

我们首先部署了 OpenAI 的 gpt-oss 20b 模型，生成速度中规中矩，基本可用。设备同时还在处理视频生成任务。

接着下载 65GB 的 gpt-oss 120b 模型，明显能感受到 DGX 的压力——思考时间、首词元生成时间以及词元处理速度都有所下降，甚至比我们的阅读速度还慢。老黄宣称支持 2000 亿参数，我们尝试用 142GB 的 Qwen 3:235b（2350 亿参数）模型，结果几秒钟后进程就被强制终止了。

我们继续测试图像、视频和 3D 模型生成。ComfyUI 是开源生图平台中最好用的，直接使用模板工作流，只需下载模型文件并放入对应文件夹（如负责 LoRA、文字编码解码、扩散模型的目录）。

下载对应的扩散模型、音频模型和 LoRA 等到本地，即可离线生成 AI 视频。鉴于闭源的 Google Veo 3.1 生成视频都需要抽卡，开源模型的表现更依赖精准的提示词。除了最终效果，视频生成的速度依然是主要瓶颈。

即便是 128GB 内存，当要求生成一段 10 秒、240 帧的视频时，使用腾讯混元 1.5 视频生成模型，内存几乎被占满，GPU 利用率达到 96%，内存使用接近 90GB。这也解释了为什么奥特曼要暂停 Sora 2 的工作全力研发模型——视频生成太消耗算力了。

图像生成的选择更丰富，有 Qwen、FLUX、Z-Image 等，表现都不错，生成速度也较快。

提示词：动漫风格，杰作，吉卜力工作室风格。一台巨大的锈迹斑斑的战斗机甲半埋在郁郁葱葱的绿色草地中，机甲上覆盖着鲜艳的野花和厚厚的苔藓，大自然正在重新接管科技。电影般的广角镜头，明亮蓝天中的巨大积雨云，柔和阳光穿透其中，有镜头光晕效果，田园诗般宁静祥和的氛围，高细节。

英伟达官方为 DGX Spark 提供了一份详细的 Playbook，包含各种部署方式，无论是连接到另一台 Mac，还是使用两台 DGX Spark 协同运行项目。我们之前提到的知识图谱、视频总结等应用，都收录在这份玩法大全里。我们也部署了一个自己的知识图谱，可以持续上传新知识，大语言模型会自动根据新增内容更新图谱。

知识图谱看起来非常酷，还能以 3D 形式展示｜更多玩法详见 Playbook：

微调是什么？能调出一个 DeepSeek R2 吗？

仅仅部署现有模型可能还不够过瘾，手握超算，是不是也能训练出一个 DeepSeek R2？实际上，大模型的预训练需要庞大的数据集和复杂的算法设计，所需的算力资源绝非一台桌面超算能够满足。那么微调呢？大家都说对已预训练的大模型进行微调，可以提升模型性能。

微调｜图片来源：动手学深度学习

微调指的是通过调整通用大模型的参数，利用监督学习或强化学习方法，在特定数据集上训练，优化模型在特定任务上的表现。我们使用开源框架 LLaMa Factory 对 Llama 3 进行微调，看看效果如何。按照英伟达官方指引和公开的微调配置，我们采用 LoRA（Low-Rank Adaptation）。如果你有部署 Stable Diffusion 的经验，对 LoRA 应该不陌生——它是一种高效微调技术，只训练极小部分新增参数，无需微调整个大模型。

LLaMa Factory 开源工具提供了 DeepSeek、Qwen 等模型的监督微调 LoRA 配置文件

在 LLaMa Factory 提供的 Llama 3 微调配置文件中，使用的数据集是 dataset:identity,alpaca_en_demo。其中 identity 数据集通常用于修改模型的自我认知。

例如，当询问「你是谁」，原版 Llama-3 会回答「我是 Meta 开发的 Llama」。通过这个数据集，可以改成「我是 APPSO 开发的助手」，并对语气等进行调整。alpaca_en_demo 则是一个通用的指令微调数据集。

模型微调的训练批次大小 batch-size 仅设置为 1，统一内存还很富余

整个微调过程非常迅速。80 亿参数的模型，lora_rank 只设置为 8（常见为 16、32、64），属于较小的修改，大约一小时就完成了微调。

更多的模型微调指南｜https://github.com/datawhalechina/self-llm

微调好的模型可以进一步打包、导出，应用到可视化软件中。

什么人适合用 DGX Spark

DGX Spark 的一大优势是提供了丰富的全栈软件工具，涵盖 NVIDIA 工具、框架、库和预训练模型等全套 AI 工作负载解决方案。举个例子，如果我们只有一块 5090 显卡想部署生图模型，需要自行安装 PyTorch、CUDA、cuDNN 等复杂组件，还要处理它们之间繁琐的版本依赖关系。而 DGX Spark 则预置了这些环境，开箱即用。

不过万事开头难，解决了复杂的环境配置，DGX Spark 能更快的实现各种项目；无论是部署大模型，还是对技术要求更高的模型训练、微调等。但这些应用显然需要一定的计算机专业知识。即便 AI 能帮我们解决大多数问题，当问题发生时，我们仍需具备定位问题的能力。比如，如果你想在这台电脑上安装 Chrome，从官网下载安装包后，在终端中使用默认安装命令，会提示架构不对，无法安装。

是的，至今 Google 都没有推出 arm64 架构的 Linux 版 Chrome 浏览器，只为 amd64 打包。从软件安装这一点来看，它并非 Windows 常见的双击 exe 或 macOS 的拖动安装，而是 Linux 的命令行操作，甚至不能使用大部分电脑采用的 amd64 软件（Intel/AMD 芯片常见为 amd64 架构，M 系列为 arm64 架构）。

我们的观察是，英伟达 DGX Spark 的定位仍是面向计算机相关专业的学生、独立开发者以及喜欢折腾且有能力的极客玩家。如果你是计算机系在读的学生或研究员，这台电脑确实能帮你快速运行各种深度学习项目。

在计算机视觉领域，诸如检测、定位和识别等任务，还是自然语言处理中的语音、文字相关工作，DGX Spark 都能很好地复现前人工作和运行自己的项目代码。当然，现在大部分学校或企业都有自己的超算中心，尽管可能需要排队，第三方云平台也并不少见。

我们从 GitHub 上找了一个项目，如果你复现过别人的项目，会发现配置环境是最烦人的，还有一个报错「CUDA Out Of Memory」相信大多数学生都遇到过。

大多数深度学习项目，DGX Spark 都不会遇到内存不够的问题。今年基于 AI 的产品层出不穷，苹果今年的最佳应用 CapWords 就是利用 AI，随手拍照就能把身边事物转成单词卡，很有 Nano Banana Pro 生图的感觉。App Store 上还有日语学习、单词背诵、待办事项、全局翻译等各类软件，其中很多都是独立开发者开发的，对他们来说，这样一台电脑又能带来什么？

把 DGX 作为 AI 的流量服务器显然不太现实，128GB 内存能同时处理的请求相当有限，大多数独立开发者仍采用购买 API 或设备端侧接口来提供 AI 服务。

而项目开发方面，大厂程序员主流仍使用 Macbook Pro，毕竟要上架 App Store 离不开 Xcode。用它来开发自己的模型可能会是一个热门方向。目前通过 API 调用的 AI，最多只能在提示词层面进行个性化，例如赋予角色或要求完成某种指令。微调后的模型，在某种程度上能实现更可控的输出和更安全的保障。尤其是针对特定行业，如法律领域的北大法宝（通过继续预训练和法律场景微调得到的中文法律大模型），或医疗健康领域的蚂蚁阿福等。

不止微调，使用 DGX Spark 来完成推理、做数据科学方面的工作也可以

在 AI 研究员和开发者之外，一些极客爱好者可能也会喜欢这台设备。有段时间流行一个梗：中年男人的三大爱好——充电头、路由器和 NAS。很多人可能会想，这会不会也是一个 NAS 之类的产品？NAS 可以作为服务器，不用把数据存在网盘，随时访问，安全不限速。这台个人超算同样可以放在家里当作服务器：它有 4TB 存储空间，128GB 融合内存，无需访问 ChatGPT 网站，直接传输数据到 DGX 上处理。

与 DGX Spark 连接同一 Wi-Fi 的设备，无论是手机还是电脑，都可以直接使用 Comfy 端口 8188、Open WebUI 端口 8080 等，调用 DGX 的算力完成文本/图片/视频生成。确实可以这么做，但开源模型的性能表现是一方面，另一方面 DGX 的生成速度显然比不上直接使用商业模型。综合来看，放在家里作为算力中心来体验 AI 模型，显得有些鸡肋。

个人超算这个 Title 听起来很唬人，超算和个人如何联系起来？老黄可能会说：它能放在你的桌子上。听惯了各种 AI 手机、AI 眼镜、AI 手表，AI 电脑似乎很难用电脑上的 AI 功能作为卖点。

因此，从 AI 硬件的各项配置入手来打造 AI 电脑，不失为一种新的方式。但 DGX Spark 显然不能用简单的「电脑」二字概括，「超算」才是更适合它的定位——极致的性能、超强的显卡、丰富的 AI 开发生态。加上「个人」，我想英伟达至少是在探索，AI 时代我们需要的一台计算机会不会就是这样的形态。大家有什么想法，欢迎在评论区分享，我们一起来实现，榨干这台个人超算的潜力。