英伟达让AI自学游戏操作，虚拟世界成物理智能练兵场

【导读】英伟达创新突破，让AI仅凭观看直播就掌握了通用游戏操作。虚拟世界正成为物理智能的试验场，4万小时直播助力AI精通各类游戏！

众所周知，特斯拉的FSD备受赞誉，其核心在于其独特的“端到端”逻辑。

车辆无需依赖高精地图或传感器，而是像经验丰富的司机一样：

通过视觉输入感知道路，直接通过油门和方向盘进行行动输出。

那么，如果将这种逻辑应用于游戏场景，让AI学习，会如何？

原理完全相同！以前的AI玩游戏，需要读取后台数据，甚至需要“开挂”才能知道敌人位置。

但真正的人类玩家是如何操作的呢？

我们盯着屏幕上的像素（视觉），大脑思考后，手指直接敲击键盘、按动手柄（操作）。

例如Faker的切屏，属于人类顶尖反应速度。

从画面直接控制到鼠标键盘的操作，这就是游戏界的“FSD”。

英伟达近期推出了一个名为NitroGen的新模型，它不走寻常路。

• 项目地址：项目地址

这个模型不是通过读取游戏代码成长的，而是观看了YouTube和Twitch上的大量游戏直播：

硬生生“看”了4万个小时带有手柄操作画面的游戏实况！

它就像一个勤奋的“云玩家”，通过观察人类如何操作，直接学会了在各种游戏中如何走位、平A。

无论是RPG还是横版过关游戏，它都能应对自如。

你可能会问：只看视频怎么学会操作？我又不知道主播按了哪个键。

这不得不佩服英伟达研究员的创意。

他们专门挖掘了YouTube和Twitch上那些带有“控制器叠加画面”的视频。

对，就是主播在屏幕角落放个小手柄，按哪个键，画面上的手柄也会跟着亮的视频。

NitroGen就盯着这4万个小时的视频素材，一边观察游戏画面发生的事件（如林克挥了一剑），一边观察角落里的手柄哪个键亮了（如按了X键）。

这就像学吉他的人，不看乐谱，而是看几万场演唱会视频里吉他手的指法特写，把“听觉”和“手指动作”对应起来！

拒绝“偏科”，成为通用六边形战士

以前的游戏AI往往是“专才”，会玩《王者荣耀》的不会玩《超级马里奥》。

但NitroGen主打的是“通才”。

它学习了超过1000款不同的游戏。

这可能意味着它具备了一种“游戏直觉”:

下一步：从海拉鲁大陆走向现实世界

英伟达这一波操作，仅仅是为了造一个更强的NPC陪我们玩吗？

格局小了，英伟达的野心更大！