Nathan Lambert 谈 Artificial Analysis v5 指数与基准评测行业

导读

Nathan Lambert 发表对基准评测行业的 meta-review，认为开放模型被夸大了衰落，但此前 Artificial Analysis 的指数确实高估了它们。他提出行业需要更具体的智能指数，因为 LLM 被用于差异极大的任务，并附上 Interconnects 长文链接。