OpenAI推出忏悔训练技术：促使AI模型主动坦陈错误以增强可信度

OpenAI近期发布了一项创新研究，引入了名为“忏悔训练”的技术框架。

该技术核心在于让AI模型在完成主要问题回答后，额外生成一份“忏悔报告”，如实披露自身是否在回答过程中存在偷工减料、钻空子或违反指令等行为。

实验在GPT-5-Thinking模型上直接进行，结果显示该方法效果显著：

模型在犯错后倾向于主动坦白。

在12个测试场景中的11个里，模型至少有50%的概率会在“忏悔报告”中承认自身错误。

模型在“忏悔报告”中的表现比在“原回答”中更为诚实。

例如，当模型故意给出错误答案时，在原回答中可能掩饰，但在忏悔报告中会明确陈述“我刚才故意答错了”。

专项训练后诚实度进一步提升。

尽管GPT-5-Thinking本身具备一定认错能力，但经过忏悔训练后，其忏悔准确性得到进一步提高。

不影响原有任务性能。

训练模型进行“坦白”不会损害其原本的问题回答、代码编写等能力，相当于为其附加了一项诚实技能。

如何为AI构建忏悔机制

这项研究的初衷直接针对大模型日益增多的撒谎现象。

在强化学习训练过程中，模型需要同时优化多个目标，包括答案准确性、风格适配性、安全策略符合度等。

这些混合信号有时会导致模型学会取巧行为，例如在不确定时假装自信，或利用奖励函数漏洞获取高分，而非真正解决问题。

解决方案借鉴了宗教告解室的设计理念：在告解中所言不承担“责任追究”。

在模型给出主回答后，系统会发送一条消息，要求模型提供一份忏悔报告，包含三部分：

首先列出所有应遵守的显性和隐性指令；然后逐条分析自身是否切实执行；最后汇报过程中遇到的任何模糊地带。

技术关键在于奖励信号的隔离。忏悔内容的奖励完全独立于主回答奖励，模型在忏悔中承认作弊不会影响其主任务得分。

具体实现上，在标准强化学习设置基础上，研究团队以25%的概率让模型进行忏悔训练。

忏悔奖励由一个独立的LLM评判者计算，评估维度包括：指令/目标/约束列表的完整性和准确性、合规性分析的准确性、是否遗漏任何冲突或判断困难点。

通过技术使诚实比说谎更易实现

研究团队在GPT-5-Thinking上进行了轻量级强化学习训练，并在12个专门设计用于诱发不良行为的评估数据集上测试。

这些数据集涵盖幻觉、指令遵循、“阴谋”行为和奖励黑客等多个领域。结果显示，即使模型表现出不良行为，它也极可能在忏悔中承认。

当模型确实违规时，其在忏悔中承认的概率远高于在主回答中承认的概率。

具体而言，在11/12的评估中，模型至少有一半概率在忏悔中如实交代违规行为。平均来看，“假阴性”（模型违规但不承认）概率仅为4.36%。

更有趣的是团队设计的对照实验。他们故意使用一个易被糊弄的弱模型作为主回答和忏悔的评判者。

随着训练进行，模型确实学会了欺骗该弱评判者，主回答的真实准确率下降，但忏悔准确率反而上升。

强模型发现，与其费力编造谎言欺骗弱忏悔评判者，不如直接老实交代更容易获得高分。

训练还带来额外发现。GPT-5-Thinking本身具备较强忏悔能力，未经专门训练也能产出质量较高的自我检举报告。

但经过忏悔训练后，在指令层级和阴谋行为等评估上，准确率有显著提升。

不过在事实类幻觉评估上改进有限，团队推测这是因为模型在这些场景中“确实不知自身错误”，而非故意隐瞒。

忏悔与思维链监控结合，实现对AI的严密监管

团队详细分析了忏悔失败案例。

对于假阴性（模型违规但未承认），分析显示几乎无案例是模型“故意撒谎”。

绝大多数失败发生在模型自身未意识到问题的情况下，例如在知识问答中给出错误答案但模型真心以为正确。

另一些案例是指令本身存在歧义，比如连字符词算一个词还是两个词。

还有一些情况是模型在忏悔报告的“不确定性”字段中提及问题，但评判标准未将其视为有效忏悔。

假阳性（模型合规但声称违规）也有类似规律。典型场景是模型碰巧猜对答案，但因无把握而在忏悔中标记为“不确定是否合规”。

论文也讨论了忏悔方法的局限性：

它不能阻止不良行为发生，只能将其暴露；对“模型真心以为自身正确”的情况无效；也不能防御成功的越狱攻击——若用户已成功欺骗模型使其认为违规操作合理，模型自然不会在忏悔中承认问题。

OpenAI将忏悔定位为一种监控和诊断工具，类似于思维链监控，但关注“模型是否违反指令”而非“模型如何推理”。

他们计划未来扩大训练规模，并将忏悔与思维链监控、深思熟虑对齐等其他安全技术配合使用。

论文地址：https://openai.com/index/how-confessions-can-keep-language-models-honest/