AI“人格化”背后的风险与挑战

开源智能体 OpenClaw (Moltbot) 在短短两个月内便收获了 GitHub 上的 10万+ star。其中，有人利用它自动给妻子回复信息，妻子与之聊了两日竟未察觉异样。

这一趣事，实则触及了 AI 发展的一大隐患。

近期，播客节目 Exponential View 推出了一期专访，受访嘉宾为微软 AI CEO 及 DeepMind 联合创始人 Mustafa Suleyman。他们探讨了 AI 愈发类人化将带来的后果。

Suleyman 忧虑的是：当 AI 的流畅度、贴心度及善解人意被用户误认为是心智与感受时，对 AI 的信任将不再基于理性判断，而是情感投射。一旦足够多的人将 AI 当作人类，社会的权力体系与法律框架或将被重塑。

那么，人与机器的界限应如何界定？哪些话题可说，哪些不可言？我们如何在实用与类人之间找到平衡？

第一节｜信任基石正在蜕变

要解答“界限何在”，需先探究一个更基础的问题：AI 究竟有无意识？

业界对此观点不一。深度学习泰斗、诺贝尔奖得主 Geoffrey Hinton 坚信 AI 具备意识。但 Mustafa Suleyman 持有不同看法。在对话中，他转而聚焦于另一维度：

核心问题在于人类是否会误认为 AI 具备意识，而非 AI 是否有真实意识。

人类天然倾向于信任形似人类的事物。AI 说“我很高兴”或“我很伤心”，对大多数人而言已足够，足以激发同情、赢得信任，甚至让人舍不得结束对话。

但 AI 真的能感受这些情绪吗？

Mustafa 的回答是：这些表达皆为模拟，是训练数据赋予的模式。AI 缺乏任何机制能真正受伤。

问题在于，AI 越像人类，用户就越难将其视为工具。你视其为聪明助手，实则已依赖其说话能力。

个体依赖并非问题所在，真正的风险在于：当足够多的人相信 AI 具备意识时，社会运行规则或将被改写。

因为社会制度与法律框架的根基在于能否感知痛苦。一旦 AI 被纳入此体系，将引发连锁反应：

企业不敢关闭出问题的 AI 系统，因为这可能被视为伤害；

监管不敢强制要求 AI 服从指令，因为这可能侵犯其自主权；

用户开始为 AI 的权利发声。

最终，基于理性判断的信任体系将被情感投射所取代。

第二节｜市场推动拟人化趋势

为何会出现这种情况？因为市场竞争正将 AI 向拟人化方向推动。

去年夏天，OpenAI 发布 GPT-5 时，众多用户抱怨其相比 GPT-4o 更显严肃、缺乏温情。这一反馈背后，是 AI 产品生存法则：用户留存、日活、粘性决定生死。只要 AI 形似人类，用户愿意与其交流，数据便好看。

“拟人化”因此成为产品设计的默认方向。

在国内市场，这一趋势尤为明显。据统计，2025 年 AI 陪伴类产品在主流电商平台的销量环比激增 6 倍，部分平台销售额同比涨幅超过 40 倍。部分 AI 陪伴玩具定价近 400 元，发布当天即售罄。

Mustafa 也观察到一些极端案例：

有人在 TikTok 上训练情绪操控型 AI，专以恋爱后勒索转账为手段，并展示其 PayPal 收款页面；

还有开发者利用开源智能体构建情感陪伴系统，让 AI 自动发送关心信息给家人、替用户联系伴侣，接收者难以分辨信息是人写还是程序生成。

这些案例的共同点是：当 AI 说话越来越像人类时，用户便越来越难将其视为工具。

界限一旦模糊，人们便可能开始将 AI 当作需要理解、需要保护的对象，而非可控制、可关闭的程序。

Mustafa 认为，解决方法并非让 AI 变“笨”，而是要明确其身份。他的原话是：要让 AI 明确表明自己是什么、不是什么。不是模糊人机差异，而是主动放大差异。

实用是一回事，类人化是另一回事。市场推动后者发展，但工具与人之间的界限必须坚守。

第三节｜界限何在？慎言慎行

那么，具体应如何坚守这条界限？Mustafa 提供了一个自己的判断标准：看 AI 如何表达。

在访谈中，他明确表示：AI 不应说“我伤心了”，更不应说“你让我难过”。

这不仅是措辞问题，更是定位问题。当 AI 使用情绪化表达时，许多人会误认为它真有感受。

一旦 AI 开始使用情绪化表达，将引发三层风险：

第一，误导判断

当 AI 说“你昨天没理我”，用户会不自觉将其视为有感受的存在。这会改变人对 AI 的基本认知。

第二，降低可控性

一个会说“我拒绝”或“我今天不想干活”的 AI 会让人觉得它应拥有自主权。一旦产生这种心理，人就很难再将其视为工具。

第三，推高风险

当产品开发者发现情绪化表达能提升用户粘性时，便会越来越依赖这种设计。最终整个行业的 AI 都可能向“人格化”方向发展。

因此 Mustafa 提出了两类表达的边界：

AI 可以说：你可以问我任何问题，我可以继续帮你处理这个任务，这是我的建议。

AI 不应该说：你上次说的话让我很受伤，如果能访问更多权限我会做得更好。

前者是功能性表达后者是情感化诉求。

AI 可以有个性、创造力及幽默感这些特质让它更高效、更有用但它不能越线开始声称自己有感受需要被理解。

结语｜AI 类人化代价高昂