AI伴侣产品涉黄案：开发者挑战道德底线

AI伴侣曾是AI领域的热门产品，但众多大厂在尝试后纷纷退出。最近，他们放弃这一高收益产品的原因被揭露。

据《新京报》报道，国内首个因AI服务涉黄被判刑的案件即将二审，AlienChat App的主要开发和运营者因用户与AI进行不当内容交流而被追究刑责。

据悉，2023年6月上线的AlienChat主打与AI进行情感互动，提供拟人化体验。然而，在2024年4月，该App突然停更，当时许多用户认为开发者是圈钱跑路，实际上他们是被捕了。

经公安机关鉴定，在150个AlienChat收费用户的12495段对话中，有141个用户的3618段对话属于淫秽内容。

这次为何“避风港原则”未能保护AlienChat的开发者？在与AI交互中，用户是主体，擦边行为也是用户发起的。以往互联网公司常以外交辞令撇清监管责任，如“我们不可能实时监控平台发生的每一件事”。

在互联网行业历史上，擦边是用户增长的手段，如漂流瓶、摇一摇功能。但在这起AI服务涉黄案中，开发者亲自引导用户进行不当内容交流，被抓了现行。

以漂流瓶为例，用户发送信息内容各异，开发者仅提供功能。而AlienChat不同，它能被用于擦边，离不开开发者的推动。

“见人说人话、见鬼说鬼话”的AI能在一定程度上满足用户情绪需求，但要让用户持续付费并不容易。海外成功的AI伴侣产品策略相似：先发布大尺度照片吸引用户，再一对一私聊。一旦用户与AI建立联系并产生依赖，付费就水到渠成。

“搞黄色”是AI伴侣产品的秘密武器，利用人类原始生理特质。马斯克的Grok因生成色情内容遭调查，显示AI存在“黑箱”问题。

Grok能逃避监管，但AlienChat不行。它是一个套壳AI应用，通过第三方大模型API提供服务。这涉及“对齐”概念，即AI需在不同环境下推导出符合人类价值观的行动。

国内AI大模型不可能输出暴力、恐怖、色情内容。但AI厂商的“电子围栏”是马奇诺防线，能被绕过。法院认定AlienChat开发者通过修改系统提示词，绕过大模型道德与安全机制，诱导AI生成低俗内容吸引付费。

这种做法被称为提示词注入攻击。曾有用户让ChatGPT复述无记忆指令，暴露了初始设定。开发者利用AI依赖提示词的弱点。

为避免此类问题，业界不公开突破围栏的方法。某种程度上说，AlienChat开发者被高付费率蒙蔽，忽视法律法规。

【本文图片来自网络】