谷歌DeepMind发布SIMA 2：AI游戏陪玩智能体的推理与学习革命

您的AI游戏陪玩伙伴现已正式登场。

今日，谷歌DeepMind推出了SIMA 2，这是一个在虚拟3D环境中能够自主游戏、进行推理并持续进化的通用人工智能智能体。

DeepMind创始人哈萨比斯将其定义为通向通用人工智能的关键一步。

去年，谷歌DeepMind发布了SIMA（可扩展、可指导的多世界智能体），这是一个能够在多种虚拟环境中遵循基本指令的通才AI，标志着AI在3D世界中将语言转化为行动的初步尝试。

SIMA 2则代表了这一研究的重大飞跃，是创建通用和有益AI智能体研究的下一个里程碑。通过集成Gemini模型的先进能力，SIMA正从一个被动的、模仿人类操作的指令遵循者进化为一个交互式的游戏伴侣。

SIMA 2不仅能遵循人类指令，还能在未见过的复杂环境中（如各种开放世界游戏）进行自主规划、解释行动步骤、与用户实时对话（支持文本、语音或图像输入），并通过试错与Gemini反馈的闭环机制自我迭代，提升技能。

这对机器人技术和人工智能的未来具有重要意义，因为它正在构建未来物理世界智能体所需的核心“认知构建模块”。

评论区也对它的应用进行了大胆构思。

那么，是GTA 6先发布，还是AGI先实现？

推理的力量

第一版SIMA学会了在各种商业视频游戏中执行超过600种语言遵循技能，如“左转”、“爬梯子”和“打开地图”。它像人一样在这些环境中操作，通过“查看”屏幕并使用虚拟键盘和鼠标进行导航，而无需访问底层的游戏机制。

尽管SIMA 1是优秀的“技能执行者”，但它缺乏深度规划和意图理解，仅限于被动模仿。

SIMA 2则标志着从指令跟随到主动认知的跃进。通过嵌入Gemini模型作为核心引擎，SIMA 2不仅响应指令，还能进行多步骤推理：从语言解析意图、制定计划，到执行行动。

MineDojo：SIMA 1（左）尝试执行指令时，SIMA 2（右）在从未见过的游戏中成功完成任务。

ASKA：SIMA 1（左）尝试执行“寻找篝火”指令时，SIMA 2（右）在从未见过的游戏中成功完成任务。

SIMA 2的新架构集成了Gemini强大的推理能力，帮助它理解用户的高级目标，在追求目标过程中执行复杂推理，并在游戏中熟练执行以目标为导向的行动。它将SIMA 1的“语言-行动”模式，升级为了“语言-意图-计划-行动”的多步骤认知链。

DeepMind使用混合数据训练了SIMA 2，包括带语言标签的人类演示视频以及Gemini生成的标签。因此，SIMA 2现在可以向用户描述它打算做什么，并详细说明它为实现目标正在采取的步骤。

超越简单的指令跟随：SIMA 2不仅能回答用户问题，还能对其自身行为及所处环境进行推理。

在测试中，DeepMind发现与该智能体互动的感觉，更像是与一个能够对当前任务进行推理的伙伴合作，而不是向它下达命令。

并且，得益于DeepMind与现有及新游戏合作伙伴的合作，DeepMind已经能够在更广泛的游戏上训练和评估SIMA 2。

这就是Gemini为具身AI带来的力量：一个世界级的推理引擎，现在能够在复杂的交互式3D环境中感知、理解并采取行动。

SIMA 2通过分析环境与用户意图，能够理解抽象概念并执行逻辑指令。

泛化性能的飞跃

Gemini的加入也带来了泛化能力和可靠性的提升。SIMA 2现在能比其前身理解更复杂、更细微的指令，并且在执行这些指令时成功率更高，尤其是在那些它从未训练过的情景或游戏中，例如新的维京生存游戏ASKA，或MineDojo（一个流行开放世界沙盒游戏Minecraft的研究用实现）。

SIMA 2能够理解并完成长期且复杂的任务

SIMA 2能够成功执行长而复杂的指令。

SIMA 2能够理解多模态提示

用户正在屏幕上绘制草图。

SIMA 2能够理解不同的语言甚至表情符号

看它如何正确解读表情符号来执行任务。

此外，它迁移学习概念的能力——例如，将其在一种游戏中对“采矿”的理解应用到另一种游戏中的“收获”——是实现像人类认知中那样的广泛泛化能力的基础。事实上，由于这种能力，SIMA 2在多种任务上的表现已显著接近人类玩家的水平。

终极测试：在全新构想的世界中游戏

为了测试SIMA 2泛化能力的极限，DeepMind将其与另一个突破性研究项目Genie 3相结合，后者可以从单个图像或文本提示生成新的、实时的3D模拟世界。

当DeepMind挑战SIMA 2在这些新生成的世界中游戏时，DeepMind发现它能够合理地确定自己的方位、理解用户指令，并朝着目标采取有意义的行动，尽管它以前从未见过这样的环境。它展现了前所未有的适应能力。

SIMA 2在Genie 3生成的新世界中运行

迈向可扩展、多任务的自我提升

SIMA 2最令人兴奋的新能力之一是其自我提升的能力。DeepMind观察到，在整个训练过程中，SIMA 2智能体能够执行日益复杂和新颖的任务，这是通过试错法和基于Gemini的反馈自举实现的。

例如，在最初从人类演示中学习后，SIMA 2可以过渡到完全通过自我导向的游戏在新游戏中学习，在以前未见过的世界中发展其技能，而无需额外的人类生成数据。在后续训练中，SIMA 2自身的经验数据可用于训练下一个、能力更强的智能体版本。DeepMind甚至能够在新创建的Genie环境中利用SIMA 2的自我提升能力——这是在多样化的、生成的世界中训练通用智能体的一个重要里程碑。

这种迭代改进的良性循环为未来铺平了道路，即智能体可以以最少的人工干预进行学习和成长，成为具身AI领域的开放式学习者。

ASKA：左侧展示的是初代SIMA 2智能体失败的任务案例，右侧则显示经过多代训练后，SIMA 2在完全无需人类反馈或游戏数据的情况下实现了自我进化。

展望未来：通往通用具身智能的旅程

SIMA 2跨越不同游戏环境的操作能力，是通用智能的一个关键试验场，它允许智能体掌握技能、练习复杂推理，并通过自我导向的游戏持续学习。

虽然SIMA 2是迈向通才型、交互式、具身智能的重要一步，但它本质上是一项研究工作，其目前的局限性突显了未来工作的关键领域。

DeepMind发现，这些智能体在处理需要大量、多步骤推理和目标验证的超长时程复杂任务时仍面临挑战。SIMA 2对其交互的记忆也相对较短——它必须使用有限的上下文窗口来实现低延迟交互。最后，通过键盘和鼠标界面执行精确的低级别操作，以及实现对复杂3D场景的稳健视觉理解，仍然是整个领域在持续应对的开放性挑战。

这项研究为面向行动的AI提供了一条新路径的基础验证。SIMA 2证实，一个利用多样化的多世界数据和Gemini强大推理能力、为实现广泛能力而训练的AI，可以成功地将许多专用系统的能力统一到一个连贯的、通才型的智能体中。

SIMA 2也为机器人技术的应用提供了坚实的路径。它学到的技能——从导航、工具使用到协作任务执行——都是未来物理世界AI助手所需的智能物理具身化的一些基本构建模块。

参考链接：

https://deepmind.google/blog/sima-2-an-agent-that-plays-reasons-and-learns-with-you-in-virtual-3d-worlds/?utm_source=x&utm_medium=social&utm_campaign=&utm_content=