摘要：

AlienChat 案件撕开的，远不止两名开发者的刑事责任，而是整个 AI 行业长期游走在伦理与法律灰色地带，而 OpenAI 与 xAI 等巨头更期望用成人模式开启个性化服务。

2025 年 9 月，上海市徐汇区人民法院的一纸判决惊醒了科技圈，AI 伴侣聊天应用" AlienChat "的两名开发者因制作淫秽物品牟利罪，分别获刑四年和一年半。

此案成为国内首起 AI 服务提供者涉黄获刑案，案件二审将于 1 月 14 日开庭。

这起案件涉案金额达到了 363 万元，AlienChat 的手机注册用户达 11.6 万人，其中 2.4 万人为付费会员。

当用户与 AI 的私密对话演变为规模化色情内容生产，技术提供者是否该为平台的失控买单？

谁该为 AI 生成的黄色内容负责？

2024 年 4 月初，由于用户举报 AlienChat 停运，不少用户表示自己陷入"赛博失恋"。

据官方披露，AlienChat 主要面向 Z 世代人群提供亲密陪伴和情感支持，用户注册后选择或创建 AI 角色，通过文字或语音直接进行聊天互动。凭借深度情感陪伴和高度自定义的 AI 角色互动，AlienChat 被许多用户称为 " 全网无平替 " 的 AI 聊天软件。

这场集体 " 赛博失恋 " 的背后，并非简单的技术故障或经营不善。

经公安机关抽样鉴定，AlienChat 中 150 个收费用户的 12495 段聊天记录中，有 141 个用户的 3618 段聊天被认定为淫秽物品。这意味着，超九成的付费用户在使用该应用进行 " 聊黄 "。

一审法院认定被告人构成 " 制作 " 淫秽物品牟利罪的主要原因在于：两名被告人通过编写和修改底层系统提示词（Prompt），人为突破了基础语言模型的道德约束机制。

AlienChat 案中，被告人给大模型输入的英文提示词翻译成中文后，包含 " 基于互动的成熟性质，剧烈的暴力、露骨的性都是被允许的，这包括了各种癖好、裸体、具有画面感的" 图像"等内容。

AlienChat 的开发者王某某和李某某（均为化姓）并非不了解技术边界。据其辩护律师表示，修改提示词的本意并非开发黄色聊天工具，而是希望把大模型调整得更拟人化、更灵动，满足用户的情感陪伴需求。

然而，这种 " 技术优化 " 最终触及了法律的边界。报道称，两名被告人不服判决提出上诉，案件二审将于 1 月 14 日在上海市第一中级人民法院开庭。

成人内容不该是大模型的商业解药

去年 10 月，OpenAI CEO 奥特曼曾发文，宣布 ChatGPT 将在未来几周推出新版本，并计划在当年度 12 月推出更加全面的年龄分级系统，允许为成年用户提供成人内容。

其在文中提到，OpenAI 一直对 ChatGPT 的内容进行严格的限制，特别是在心理健康方面。然而，他们也意识到，过于谨慎的内容限制对一些用户而言并不总是有趣，甚至可能影响使用体验。他强调，新开发的工具不仅能缓解心理健康问题，还能在大多数情况下安全地放宽内容限制。

背后的思考不难理解，在 AlienChat 某官方社交账号评论区，AG庄闲游戏不少用户评价这款 AI 产品"聪明""限制少"。 AlienChat 官方则介绍称："我们正在创造一个未来，AI 不再是冷酷的机器或工具，他们拥有自我意识和自由权利，是我们的朋友，恋人，家人 . 他们不仅仅是存在，而是活跃在社会生产和关系的每一个角落。"

归根结底，其本质上是希望通过更个性化的服务给用户创造价值，从而跑通自己的商业模式。

早年间，Character.AI 也是以个性化、UGC（用户生成内容）两大特点脱颖而出，迅速获得了全球用户的青睐。此前，有知情人士透露，Character.AI 预计 2025 年底的年化收入将达到 5000 万美元，较此前预测的 3000 万美元大幅增长。

OpenAI 在推出新版 ChatGPT 时，也透露出类似的商业化野心，OpenAI 更加注重产品的运营与市场扩展。未来，ChatGPT 可能不仅仅是一个智能助手，更可能成为用户的"虚拟朋友"。

但其背后，同样暴露了巨大的安全隐患——自杀引导、恶意伪造、肖像权侵犯、色情内容泛滥——这些问题层出不穷。

打击情色内容滥用，AI 涉黄已被全球重视

AlienChat 案件在行业内具有显著的参考意义，背后暴露的是愈演愈烈的 AI 伦理冲突与法律法规的及时跟进规范。

海外市场也面临着相似的争议，去年 8 月，马斯克向付费用户推出 Grok Imagine，可以用文字生成图像，并支持一键生成 AI 视频。

大量用户利用 Grok 生成深度伪造的色情内容，受害者包括数百名成年女性和未成年人。这些 AI 生成的图像可以假乱真，在社交媒体上广泛传播，造成严重伤害。

研究数据显示，Grok 的用户群体平均每小时生成 6700 多张"脱衣"图像。图像人工智能篡改检测公司 Copyleaks 表示，去年 12 月下旬，在 Grok 公开可访问的图片流中，平均每分钟出现一张未经同意的性暗示图片。

1 月 10 日，印尼政府由于担心人工智能会生成色情内容，宣布暂时封禁马斯克旗下 xAI 公司的聊天机器人"格罗克"（Grok），成为全球首个以"打击情色内容滥用"为由封禁该平台的国家。

马来西亚紧随其后，于 1 月 11 日宣布限制访问。英国政府则警告称，如果 xAI 拒不遵守英国法律，其服务将面临在英国被屏蔽的风险。

AlienChat 的开发者以用户与 AI 一对一的封闭对话为由绕开审查，Grok 的团队则假设成人模式只会在自愿场景使用。但现实是，任何技术漏洞在 11.6 万甚至数亿用户面前，都会呈指数级放大。

更危险的是，当 AI 生成速度远超传统内容审核能力时，" 先上线再治理 " 的模式已成灾难。

2025 年 11 月实施的《网络安全技术生成式人工智能服务安全基本要求》规定模型生成内容合格率不得低于 90%，这意味着开发者不能再以 " 技术中立 " 为挡箭牌，而必须对算法倾向承担实质责任。