揭秘AI模型排行榜：权威性与实用性如何平衡？

“XX发布最新开源大模型，多项基准测试中力压群雄，超越XX等闭源模型！”

“万亿参数开源模型XX，强势登顶全球开源模型榜首，引发业界热议！”

“国产之光闪耀！XX模型在中文评测榜单中夺冠，展现卓越实力！”

随着AI技术的飞速发展，社交平台上关于AI模型的新闻层出不穷，令人眼花缭乱。

今天这个模型夺冠，明天那个模型称王。评论区里，有人热血沸腾，有人却一头雾水。

一系列现实问题摆在眼前：

这些模型的“登顶”究竟基于什么比较？由谁来评分，依据又是什么？为何不同平台的榜单排名不一，究竟哪个更权威？

如果你也对这些问题感到困惑，说明你已开始从“看热闹”转向“看门道”。

本文中，我们将深入剖析不同类型“AI竞技场”——大语言模型排行榜的“游戏规则”。

01 类型一：客观基准测试（Benchmark），AI的“高考”

在人类社会中，高考分数是评判学生大学档次的主要标准。

同样地，在AI领域，也存在许多高度标准化的测试题，旨在尽可能客观地衡量AI模型在特定能力上的表现。

因此，在这个大模型产品层出不穷的时代，各厂商推出新模型后，首要之事便是参加“高考”，一展身手。

Artificial Analysis平台提出了一项名为“Artificial Analysis Intelligence Index（AAII）”的综合性评测基准，汇总了7个极具挑战性且专注于前沿能力的单项评测结果。

类似股票价格指数，AAII能够给出衡量AI智能水平的综合分数，尤其关注需要深度推理、专业知识和复杂问题解决能力的任务。

这7项评测覆盖了被普遍视为衡量高级智能核心的三大领域：知识推理、数学和编程。

（1）知识与推理领域

MMLU-Pro：

全称Massive Multitask Language Understanding - Professional Level

作为MMLU的升级版，MMLU-Pro在覆盖57个学科的知识问答测试基础上，通过更复杂的提问方式和推理要求，进一步提升了测试难度，以评估模型在专业领域的知识广度和深度推理能力。

GPQA Diamond：

全称Graduate - Level Google - Proof Q&A - Diamond Set

此测试包含生物学、物理学和化学领域的专业问题。其设计初衷是：即使相关领域的研究生，在允许使用Google搜索的情况下，也难以在短时间内找到答案。Diamond是其中难度最高的子集，需要AI具备较强的推理能力和问题分解能力。

Humanity’s Last Exam：

由Scale AI和Center for AI Safety（CAIS）联合发布的一项极高难度基准测试，涵盖科学、技术、工程、数学乃至人文艺术等多个领域。题目多为开放式，需要AI进行多步骤复杂推理和创造性发挥。

（2）编程领域

LiveCodeBench：

这是一项贴近现实的编程能力测试。与传统编程测试不同，AI需在“实时”编程环境中根据问题描述和测试用例编写代码。这些代码将使用更复杂的隐藏测试用例运行并评分。主要考察AI编程的鲁棒性和处理边界情况的能力。

SciCode：

这项编程测试更偏向学术性，专注于科学计算和编程。AI需理解复杂的科学问题并用代码实现相应算法或模拟。除了编程技巧，还需对科学原理有深入理解。

（3）数学领域

AIME：

全称American Invitational Mathematics Examination

美国高中生数学竞赛体系的一环，难度介于AMC和USAMO之间。题目具有挑战性，需要AI具备创造性解题思路和数学功底。

MATH-500：

从大型数学问题数据集“MATH”中随机抽取500道题构成的测试，覆盖初中到高中竞赛水平的各类数学题目。题目以LaTeX格式给出，模型需给出答案及详细解题步骤。

02 类型二：人类偏好竞技场（Arena），匿名才艺大比拼

03 我们到底该看哪个排行榜？