在各个基准、推理模式和硬件上测量开放权重 LLM 的推理能效
·
0 次浏览
·来源: ArXiv AI
arXiv:2610.14389v1 类型: 新文摘: 基准测试得分告诉我们 LLM 能够做什么,但并不能说明提供这种能力所需的能耗。我们直接测量了 86 个开放权重模型检查点的这种权衡,这些检查点在七个基准测试和六种硬件平台上进行了评估,范围从 ...
arXiv:2610.14389v1 类型: 新文摘: 基准测试得分告诉我们 LLM 能够做什么,但并不能说明提供这种能力所需的能耗。我们直接测量了 86 个开放权重模型检查点的这种权衡,这些检查点在七个基准测试和六种硬件平台上进行了评估,范围从 ...
arXiv:2610.14389v1 Announce Type: new Abstract: Benchmark scores tell us what an LLM can do, but not how much energy is required to deliver that capability. We directly measure this trade-off for 86 open-weight model checkpoints, evaluated on seven benchmarks and six hardware platforms ranging from ...