今日吃瓜热门大瓜每日更新51

五月的阳光洒在每一个角落，AI圈子却掀起了一场不小的风波。Chatbot Arena排行榜，这个被广泛视为LLM试金石的平台，如今却成了众人议论的焦点。一篇名为《The Leaderboard Illusion》（排行榜幻觉）的预印本论文横空出世，直接对这个平台提出了系统性质疑，论文更是直接点名Meta Llama 4 刷榜造假”，连大佬Andrej Karpathy都下场发表了看法。这场风波究竟是怎么回事？让我们一起来吃个瓜。

Chatbot Arena：兵家必争之地

在深入了解这场风波之前，我们先来简单了解一下Chatbot Arena。这个平台由LMSYS（一个研究组织，原名lmsys.org，现称lmarena.ai）创建，通过让用户匿名与两个模型对话并投票选出更好的那个，来对大模型进行排名。因其动态、用户驱动的评估方式，能捕捉到传统基准测试之外的真实用户偏好，迅速成为衡量顶级AI系统能力的事实标准，影响力巨大。

《The Leaderboard Illusion》：掀开皇帝的新衣？

这篇由Cohere、普林斯顿、斯坦福等机构研究人员（其中部分作者也曾向Arena提交过模型）撰写的论文，通过分析大量数据（涉及200多万次对战、243个模型、42家提供商），指出了Chatbot Arena存在的几大核心问题，认为其公平性和可靠性受到了损害。

秘密测试”与选择性披露”

论文声称，少数（主要是大型、专有模型）提供商被允许在Arena上进行大量私下测试”，可以提交多个模型变体进行评估，但最终只选择性地公开表现最好的那个版本的分数，甚至可以撤回不满意的结果。这种做法被指扭曲了排名，让这些提供商获得了不公平的优势。

以Meta Llama 4为例，论文指出，在发布前，Meta仅一个月内就在Arena上测试了多达27个私有变体。这种做法让Meta Llama 4 在发布时表现异常出色，但其他模型却难以与之公平竞争。这种“秘密测试”和“选择性披露”的做法，无疑让排行榜失去了公正性。

数据获取贫富差距”

由于私下测试、更高的采样率（模型被选中参与对战的频率）以及模型下线（deprecation）策略，专有模型提供商获得了远超开源/开放权重模型的用户反馈数据。论文估计，仅Google和OpenAI就分别获得了Arena总数据的19.2%和20.4%，而83个开放权重模型合计仅获得29.7%。

这种数据不对称，让优势方更容易针对Arena进行优化。专有模型提供商可以通过大量私下测试，获取更多的用户反馈数据，从而针对性地改进模型，使其在排行榜上表现更出色。而开源/开放权重模型则因为数据获取有限，难以与之抗衡。

过拟合风险”

论文通过实验证明，专有模型提供商的模型更容易在Chatbot Arena上过拟合。过拟合是指模型在训练数据上表现太好，但在新的数据上表现不佳。由于专有模型提供商获得了更多的用户反馈数据，他们的模型更容易在Chatbot Arena上过拟合，从而在排行榜上表现异常出色。

这种过拟合现象，不仅让排行榜失去了公正性，也让用户对排行榜的信任度下降。如果用户发现排行榜上的模型都是过拟合的，他们自然会质疑排行榜的真实性。

Andrej Karpathy的质疑

Andrej Karpathy，这位知名AI专家，也下场对Chatbot Arena提出了质疑。他认为，Chatbot Arena的评估方式存在严重问题，导致排行榜上的结果不可靠。Karpathy指出，专有模型提供商的“秘密测试”和“选择性披露”做法，让排行榜失去了公正性。

Karpathy还认为，Chatbot Arena的评估方式过于依赖用户投票，而用户投票的结果可能受到多种因素的影响，如用户的个人偏好、模型的回答风格等。这些因素都会影响用户投票的结果，从而影响排行榜的准确性。

未来展望

这场风波对AI圈子产生了深远的影响。许多人对Chatbot Arena的公正性提出了质疑，这也让人们对AI模型的评估方式产生了反思。未来，AI圈子需要找到一种更加公正、可靠的评估方式，以确保排行榜的真实性和可信度。

对于AI模型提供商来说，他们需要更加注重模型的公正性和可靠性，而不是仅仅追求排行榜上的排名。只有这样，才能真正提升AI模型的水平，为用户提供更好的服务。

这场风波让我们看到了AI圈子存在的问题，也让我们对AI模型的评估方式有了更深入的理解。未来，AI圈子需要共同努力，找到一种更加公正、可靠的评估方式，以确保AI技术的健康发展。