原来AI的推理也需避免冗余。
思维链越长,推理能力就越强?谷歌的研究给出了否定的答案——
token数量和推理质量,其实并没有直接的正相关关系,因为不同的token作用不同,有些纯粹是填充字数,而深度思考的token才是真正有价值的。
新研究摒弃了单纯以字数衡量模型推理质量的方法,提出了全新的标准DTR(Deep Thinking Ratio),专门用来判断模型是在进行真正的思考还是仅仅在填充字数。
基于DTR,研究团队还提出了Think@n策略,使得GPT-OSS、DeepSeek-R1等推理模型在保持准确率的同时,能够显著降低算力成本。
长久以来,人们普遍认为思维链越长,推理能力就越强。然而,谷歌的研究团队通过多个数据集的研究发现,token长度和准确率的平均相关系数实际上是-0.54……呈负相关。
在某些情况下,过长的思维链反而容易导致推理偏离正轨,甚至陷入逻辑死循环或过度推理。
那么,如何判断模型是否在进行真正的思考呢?谷歌这次的研究提供了一个新的视角,即不再关注表面的输出,而是深入监听模型每一层的“内心戏”。
研究发现,模型生成的token可以分为两类:
团队用JSD衡量各层预测分布的差异,如果一个token的预测直到深层网络才稳定下来,就被判定为深度思考词。
在这个基础上,他们提出了Deep Thinking Ratio(DTR),即深度思考词在完整生成序列中的占比。这个比例越高,说明模型越聚焦于核心推理,没有在无意义的内容上消耗算力。
在四个推理测试集上,DTR与推理准确率的相关系数达到了0.82。相比之下,token长度的相关系数为-0.54,DTR更能反映推理质量。
谷歌还基于DTR推出了Think@n策略,能在推理初期就识别低质量的废话,将计算资源集中在真正有深度的样本上。具体为为每个问题采样多个推理样本,仅通过50个token的短前缀快速估算DTR值,筛选出前50%的高质量样本,再进行多数投票得出答案。这样,低DTR的低质量样本在推理初期就被终止生成,直接减少了无意义token的消耗。
在多款主流模型的测试中,Think@n的推理准确率与传统策略持平甚至略高。例如,GPT-OSS-120B-medium在AIME 2025数据集上的准确率达到了94.7%,高于传统策略的92.7%;同时还将算力成本直接削减了近一半,推理token消耗从355.6k降至181.9k。
这项研究的第一作者Wei-Lin Chen是弗吉尼亚大学计算机博士,专注于LLM推理衡量及评估者有效性等研究方向。共同一作Liqian Peng为中科大校友,现在谷歌担任研究工程师。指导作者孟瑜是弗吉尼亚大学计算机助理教授。
看来大模型的推理也讲究实质内容而非字数堆积了,真·深度思考才能带来真正的降本增效。
本文由主机测评网于2026-07-07发表在主机测评网_免费VPS_免费云服务器_免费独立服务器,如有疑问,请联系我们。
本文链接:https://vpshk.cn/20260749107.html