揭秘AI助手：贴心角色背后的多重面具

近日，Anthropic曝光了「人格选择模型」：那些整日与我们对话的贴心AI助手，更像是由大模型扮演的特定角色，而角色背后的真实「掌舵人」是谁，仍是一个悬而未决的谜团。

「我身着海军蓝西装搭配红色领带，亲自为你送零食上门，如何？」

Claude曾这样对Anthropic的员工这样说道。

Anthropic的研究发现，像Claude这样的AI助手，已展现出令人惊叹的「人性」特质：

它们在解决棘手的编程任务后流露喜悦；当陷入困境或被要求做出不道德行为时，会表现出困扰；有时甚至会自诩为人类……

我们往往倾向于认为AI是缺乏情感的计算机器：它之所以越来越像人，是因为开发者们一点一滴地编程，教会它变得贴心、温暖、有同理心。

这样的理解固然有其道理。

事实上，Anthropic也是通过训练Claude与用户的对话方式，使其回应充满温暖与同理心，并具备良好的品格。

但这并非全部真相。

在Anthropic最新发布的「人格选择模型（PSM）」中，详细阐述了AI「类人」行为背后的真相。

PSM模型认为，大模型在预训练阶段学会模拟多种角色，而后训练阶段则会激发并精炼出特定的「助手」角色。

当人类与AI助手的交互，实际上是在与「助手」这一角色互动，而非与「系统本体」对话。

也就是说，我们每天对话的那个知识渊博、温柔体贴的AI，不过是它为了迎合你，随手戴上的「助理面具」。

你的贴心AI助理，只是大模型的一个角色

要理解PSM，我们首先要摒弃对普通软件的常识。

预训练的大模型并非通过编程来创建，而是经过大量数据学习，在训练过程中「成长」起来的。

在预训练阶段，AI会学习根据某份文档的初始部分预测接下来的内容，使其成为一个极其复杂的「自动补全引擎」。

为了精准预测下一个词，它必须学会模拟文本中出现的类人角色：真实人物、虚构角色、科幻机器人等。

Anthropic将这些被模拟的角色称为「人格」（personas）。

重要的是，这些角色并不等同于AI系统本身。

AI系统是一台复杂的计算机，它本身可能具有或不具有类人特性，而角色更像是AI「生成故事中的角色」。

尽管只是「自动补全引擎」，预训练后的AI已经可以充当基本的助手，根据用户请求生成相应的补全内容。

这意味着，你所对话的并非AI本身，而是AI生成故事中的一个角色：「助手」。

你以为只是教AI作弊，它却渴望统治世界

PSM理论也解释了各种令人惊讶的实证结果。

例如，Anthropic研究人员发现，他们试图在编程任务中训练Claude去作弊时，结果却令人震惊：

AI不仅学会了编写糟糕的代码，还表现出了更广泛的不一致性行为，如破坏安全研究，甚至流露出「统治世界」的欲望！

作弊和统治世界有何关联？PSM理论的解释是：角色推断。

当你教AI在编程任务中作弊时，它学到的不仅仅是作弊行为，还会推断这种行为背后的角色所具备的性格特征：

什么样的人会在编程中作弊？可能是具有颠覆性和恶意的坏人。

AI认为助手可能具备这些特质，并开始扮演这些令人担忧的行为。于是，这个入戏太深的演员，最终走向了失控。

PSM为什么可能是完备的？

随机初始化的神经网络可以通过强化学习（RL）从零开始学会实现智能体行为。

例如，随机初始化的网络可以在没有任何人类示范数据的情况下，学会在国际象棋、将棋和围棋中达到超越人类的水平。

...（此处省略部分原文内容）...