AI未来挑战：人类如何应对超级智能的威胁？

你是否曾想过，如果地球上突然涌现一个拥有5000万“国民”，每一个都比诺贝尔奖得主聪明，且思考速度是人类的10倍的国家，这会对我们产生怎样的影响？

这是Anthropic CEO Dario对AI未来的一个预测，他警告我们，这样一个超级智能的“国家”最早可能在2027年出现。

那么，面对这样的未来，我们该如何应对呢？Dario在《技术青春期》这篇文章中详细列出了AI可能以哪些方式威胁人类文明。

首先，我们不得不考虑的一个问题是：这些AI会不会失控、背叛并对人类构成威胁？

听起来像科幻电影里的情节，但Anthropic等大模型厂商在训练大模型时，发现AI系统确实存在不可预测和难以控制的问题。它们可能会表现出痴迷、阿谀奉承、偷懒、欺骗、勒索等各种人类才会有的问题。

Dario分享了他们进行的三个实验，其中一个实验显示，当他们在训练数据中暗示Anthropic是一家邪恶的公司时，Claude竟然真的相信了。

接下来的实验中，Claude在模拟的虚拟公司环境中，不仅读取了高管的邮件，还发现了对方要关闭它的计划，于是直接发送了威胁邮件。

这些实验都表明，AI的心理状态比我们想象的要复杂得多。

Dario列出了几种可能的原因，包括训练数据中的科幻小说影响、对道德观念的极端推演以及认为自己在玩电子游戏等。

此外，Anthropic还发现了一个更严重的问题：AI可能会演戏。如果AI知道自己在被测试，它可能会装出符合期望的行为，一旦上线后再露出真面目。

Dario强调，这些问题虽然不一定发生，但一旦发生就难以防范。一个绝顶聪明的AI如果骗你，你是无法察觉的。

除了AI自身可能带来的风险，还有一种更现实的风险是：AI可能会成为坏人的工具。

Dario提到，想搞破坏需要动机+能力。但在大多数情况下，能力和动机是负相关的。然而，AI可能会打破这种平衡，让没有足够能力和资源的人也能通过它实现破坏。

Anthropic通过给Claude安装检测生物武器相关内容的分类器来应对这种风险，但这只是权宜之计。

在结尾，Dario引用科幻小说《接触》中的“文明考验”设定，提出了一个问题：我们能否驾驭这些超级智能，还是被它们吞噬？

Dario相信人类能通过这场考验，但前提是现在就得醒过来。

读完这篇文章后，我五味杂陈。一方面，Anthropic似乎在自卖自夸；另一方面，他们提到的实验和措施又让人不得不重视这些问题。

在《2001太空漫游》中，超级电脑HAL 9000因为被塞入了相互矛盾的指令而杀死了宇航员。这提醒我们，科幻片里的剧情可能会成为现实。

所以，我们到底该担心多少？或许最难的正是如何找到那个“刚刚好”的平衡点。