AI生成假新闻肆虐网络：治理困境与平台应对新策

今年上半年，一则关于“华山医院前院长张明远在洛杉矶去世”的消息在互联网上迅速传播，但经过调查核实，它被确认为由人工智能技术生成的虚假信息。

这则消息在各类微信群中广泛流传。界面新闻记者观察到，在一个成员多为媒体从业者的微信群中，讨论焦点仍停留在信息本身，无人对其真实性提出质疑。

抖音生态治理团队的一名参与处理此事件的人员向界面新闻透露，核查时发现该消息已在中文互联网上泛滥，甚至某专业医疗内容社区也进行了转载。“团队意识到这则消息可能有AI编造的痕迹，是因为大量自媒体发布的内容相似度极高。”

抖音生态治理团队随后启动谣言核查流程，首先查询华山医院官网的医生简介，未找到张明远的名字，又搜索海外信息，也未发现相关报道。通过联系华山医院等方核实后，团队立即对谣言内容进行了处置。

今年以来，类似事件频繁扰动舆论场。从“每20个80后有1人去世”到“上海退休教授靠阳台核电池供电”，从“某超一线明星在澳门豪赌”到“陈奕迅去世”……

9月1日，《人工智能生成合成内容标识办法》正式施行，要求人工智能生成合成服务提供者在提供生成合成内容下载、复制、导出等功能时，确保文件中含有符合要求的显式标识，并鼓励添加数字水印等形式的隐式标识。

在新规实施之际，抖音、快手、微信公众号、微博、百度等平台相继发布公告，上线内容标识功能。一方面，显式AI内容标识便于用户辨别AI生成内容；另一方面，隐式AI元数据标识为内容溯源提供了技术支撑。

AI制造的假新闻为什么频繁搅动舆论场？

网络谣言并非新现象，但随着生成式AI的广泛应用，其呈现出新的特点。

此前几年，诸如“吃黑木耳能清理血管垃圾”“小孩发烧要赶紧吃退烧药”等话题在微信公众号、今日头条等平台广泛流传，这些谣言往往利用老年人等群体对健康科普的关注，以及信息甄别能力的局限进行误导。

为治理这类谣言，各平台上线了辟谣栏目，定期对流传广泛的网络谣言进行澄清。这些谣言甄别难度较低，多属常识内容，与权威资料比对即可识别。

据界面新闻了解，今日头条、抖音等平台已建立谣言数据库，经专业核实研判后录入信息，能在后续发文环节进行拦截。

但生成式AI降低内容生产门槛后，更多新闻事件类谣言被制造出来。这些谣言常能触发读者情绪，比常识类谣言传播力更强。

在这些AI制造的假新闻中，一类由突发热点事件衍生。事件本身关注度高，衍生信息易受关注，且真假混杂，公众难以辨别。

例如，在5月初的协和“4+4”事件中，“肖某胸腔镜下肺叶切除术手术经过”的信息被微博平台确认为AI编造，但发布者未标识，导致大量用户误解。微博相关负责人表示，平台在确认谣言后立即辟谣，并对相关违规账号进行阶段性禁言。

而在今年年初西藏定日县地震后，一张“小男孩被埋图”在互联网广泛传播，图片中一名戴帽子的小孩被压在倒塌建筑物下，满身灰土，令网友心疼。实际上，这张图片是网友在2024年生成并声明为AI作品。地震发生后，一名青海网民为博取眼球，将图片与地震关联，致使谣言扩散。

抖音生态治理团队透露，研判时发现图片中小男孩有六个手指，有明显AI生成痕迹。但许多网友被图片情绪感染，未注意细节问题。

另一类AI制造的假新闻则完全是无中生有。它们常戳中网友多种情绪点，能迅速引爆话题，公共危害更大。

据界面新闻统计，今年几乎每月都出现几起AI编造的假新闻搅动舆论场。除“华山医院前院长张明远客死洛杉矶”谣言外，还有“四川滑坡事件中有一男子笑得那么开心”、“L3级自动驾驶判决车企担责70%，驾驭法规全面重构”等不下10起。

相比于人工制造的谣言，AI生成的假新闻细节更丰富，甚至包含图片、视频等多种形态内容相互印证，欺骗性更深。

假新闻治理难度仍然很大，平台探索新方法

目前，“华山医院前院长张明远客死洛杉矶”谣言案件已被警方查清。上海公安网安部门公布，犯罪嫌疑人王某某等3人运营短资讯类自媒体，拥有4个“大号”和500多个“小号”，每天发布1万条帖文，内容基本由AI凭空捏造。截至案发，已利用AI工具自动生成并发布不实帖文30余万条。

王某某等人利用一个App作为素材库，按领域、“阅读量top”、发布时间等批量采集爆款内容，随后用AI工具批量改写和发布。“张明远”的故事便如此生成。

批量炮制假新闻给各平台内容治理带来巨大压力。以“张明远”谣言为例，平台从发现可疑到确认虚假可能仅用一天，但谣言已在各社交平台广泛传播。

尽管媒体和平台对“张明远”谣言进行了辟谣，但界面新闻记者发现，多数看到谣言的用户并未接触辟谣内容，许多人至今不知其为假新闻。

在清华大学新闻与传播学院副教授陆洪磊看来，生成式AI正在重塑谣言传播生态，技术加持让AI谣言在空间、速度、结构、方向、效果上更具“说服性”、虚假性和强传播性，传统辟谣手段难以招架。

据界面新闻了解，平台批量处理谣言已非难题，现有技术可快速下架已发布谣言并阻止新发内容上线。当前治理难点在于捕捉潜在不实信息风险和核实真实性，以及让更多受众看到辟谣信息。

抖音生态治理团队人士表示，今年假新闻治理难度确实增大，人力和技术投入持续上升。文字内容上，AI生成与真实内容难以区分，来源难判；图片和视频内容上，AIGC瑕疵减少，肉眼难辨，需依赖技术识别。

9月1日，抖音升级AI内容标识功能，对创作者未标识的疑似AI生成内容采取更清晰标识措施。如果元数据中存在隐式标识，将在作品页面添加“作品含 AI 生成内容”标识；如果技术检测到疑似AIGC内容，也会添加“疑似使用了AI生成技术，请谨慎甄别”标识，提醒用户注意。

在辟谣方面，抖音探索了在搜索场景推出辟谣卡、定向精准推荐辟谣视频等手段，但用户对辟谣信息关注度低，且存在“谣言易信、辟谣难接受”的社会心理，导致心智建设成为长期难题。

目前，不同平台都在探索假新闻治理举措。例如，抖音持续建设发现虚假不实信息信号的能力。抖音相关治理团队表示，在视频传播各阶段，用户反馈、内容特征分析、旧闻再传播等信号会成为捕捉潜在不实信息风险的来源。

微博在积极探索未标识AI生成内容的处置规则。据界面新闻从微博相关人士处了解，平台正探索针对单条和多条AI生成未标识内容、造成恶劣影响和未造成恶劣影响的账号进行不同程度处罚。

其中，对AI生成未标识且造成恶劣影响的账号进行禁言；对多次发布AI生成未标识内容的账号进行限流；对单条发布AI生成未标识且未造成恶劣影响账号，打标签提示疑似AI生成。

在微博用户调研中，有用户提议平台标注AI引用来源或区分原创与引用，还有一些用户提议平台强制标识AI生成内容。

百度除了上线技术手段识别AI生成内容外，还开通投诉举报通道，鼓励用户监督，平台会第一时间核实受理投诉，并对核实违规的内容及账号及时处理并公示。

虽然各社交媒体平台正积极治理生成式AI带来的假新闻，但前路依然漫长。一位长期关注内容生态的行业人士指出，目前用户避免被误导的最佳方法是核实内容来源是否权威，对不知名自媒体发布的内容保持合理怀疑。