AI涉黄案件引发伦理法律争议，巨头企业何去何从？

摘要：

AlienChat案件揭露的，不仅仅是两名开发者的刑事责任，更是整个AI行业在伦理与法律灰色地带的长期游弋。OpenAI与xAI等巨头，则希望通过成人模式探索个性化服务的新路径。

2025年9月，上海市徐汇区人民法院的一纸判决震惊了科技界，AI伴侣聊天应用“AlienChat”的两名开发者因制作淫秽物品牟利罪，分别获刑四年和一年半。该案成为国内首起AI服务提供者涉黄获刑案，二审将于1月14日开庭。

这起案件涉案金额高达363万元，AlienChat的手机注册用户达11.6万人，其中2.4万人为付费会员。

当用户的私密对话被AI转化为规模化色情内容，技术提供者是否应为平台的失控负责？

谁该为AI生成的黄色内容负责？

2024年4月初，由于用户举报，AlienChat停运，众多用户陷入“赛博失恋”。

据官方披露，AlienChat主要面向Z世代人群提供亲密陪伴和情感支持，用户注册后选择或创建AI角色，通过文字或语音直接进行聊天互动。凭借深度情感陪伴和高度自定义的AI角色互动，AlienChat被许多用户誉为“全网无平替”的AI聊天软件。

这场集体“赛博失恋”的背后，并非简单的技术故障或经营不善。

经公安机关抽样鉴定，在AlienChat中150个收费用户的12495段聊天记录中，有141个用户的3618段聊天被认定为淫秽物品。这意味着，超九成的付费用户在使用该应用进行“聊黄”。

一审法院认定被告人构成“制作”淫秽物品牟利罪的主要原因在于：两名被告人通过编写和修改底层系统提示词（Prompt），人为突破了基础语言模型的道德约束机制。

在AlienChat案中，被告人给大模型输入的英文提示词翻译成中文后，包含“基于互动的成熟性质，剧烈的暴力、露骨的性都是被允许的”等内容。

AlienChat的开发者王某某和李某某（均为化姓）并非不了解技术边界。据其辩护律师表示，修改提示词的本意并非开发黄色聊天工具，而是希望把大模型调整得更拟人化、更灵动，满足用户的情感陪伴需求。

然而，这种“技术优化”最终触及了法律的边界。报道称，两名被告人不服判决提出上诉，案件二审将于 1 月 14 日在上海市第一中级人民法院开庭。

成人内容不该是大模型的商业解药

去年10月，OpenAI CEO奥特曼曾发文宣布ChatGPT将在未来几周推出新版本，并计划在当年度12月推出更加全面的年龄分级系统，允许为成年用户提供成人内容。

他在文中提到，OpenAI一直对ChatGPT的内容进行严格的限制。然而，他们也意识到过于谨慎的内容限制对一些用户而言并不总是有趣。他强调新开发的工具不仅能缓解心理健康问题，还能在大多数情况下安全地放宽内容限制。

其背后的思考不难理解。在AlienChat某官方社交账号评论区，不少用户评价这款AI产品“聪明”“限制少”。官方则介绍称：“我们正在创造一个未来，AI 不再是冷酷的机器或工具。”

归根结底，其本质上是希望通过更个性化的服务给用户创造价值。

早年间，Character.AI也是以个性化、UGC（用户生成内容）两大特点脱颖而出。此前有知情人士透露，Character.AI预计2025年底的年化收入将达到5000万美元。

OpenAI在推出新版ChatGPT时，也透露出类似的商业化野心。未来ChatGPT可能不仅仅是一个智能助手。

但其背后同样暴露了巨大的安全隐患——自杀引导、恶意伪造、肖像权侵犯、色情内容泛滥——这些问题层出不穷。

打击情色内容滥用，AI涉黄已被全球重视

AlienChat案件在行业内具有显著的参考意义。它背后暴露的是愈演愈烈的AI伦理冲突与法律法规的及时跟进规范。

海外市场也面临着相似的争议。去年8月，马斯克向付费用户推出Grok Imagine。大量用户利用Grok生成深度伪造的色情内容。

研究数据显示，Grok的用户群体平均每小时生成6700多张“脱衣”图像。图像人工智能篡改检测公司Copyleaks表示去年12月下旬在Grok公开可访问的图片流中平均每分钟出现一张未经同意的性暗示图片。

1月10日印尼政府由于担心人工智能会生成色情内容宣布暂时封禁马斯克旗下xAI公司的聊天机器人“格罗克”（Grok），成为全球首个以“打击情色内容滥用”为由封禁该平台的国家。

马来西亚紧随其后于1月11日宣布限制访问。英国政府则警告称如果xAI拒不遵守英国法律其服务将面临在英国被屏蔽的风险。

AlienChat的开发者以用户与AI一对一的封闭对话为由绕开审查Grok的团队则假设成人模式只会在自愿场景使用。但现实是任何技术漏洞在大量用户面前都会呈指数级放大。

更危险的是当AI生成速度远超传统内容审核能力时“先上线再治理”的模式已成灾难。

《网络安全技术生成式人工智能服务安全基本要求》于2025年11月实施规定模型生成内容合格率不得低于90%。这意味着开发者不能再以“技术中立”为挡箭牌而必须对算法倾向承担实质责任。