EcoCompute.

LLM 量化能耗的开放微基准:一份测量协议、一个可运行的容器、一个已归档的数据集。独立开放研究项目——朝可复现的推理能耗标准推进。

在你的 GPU 上实测:LLM 量化到底省不省电?

不用 TDP 估算——功率直接从 GPU(NVML)采样。输入 GPU 和模型大小先看方向;运行容器得到你自己的实测数字。

仅 GPU 封装功率 · 非整机 单流 batch 1 · 256 tokens 26 / 56 格已实测 完整范围与限制 →

你想做什么?选一条路径

1

我只想知道结论

输入 GPU 和模型大小,得到方向性判断:你的配置下量化是省电还是更费电。

  • 在线估算器(英文页,纯前端)
  • 结论边界与证据范围一并给出
2

我想验证结果

用 Colab 或容器在你自己的卡上跑出 energy.json,再叠到公开曲线上。

3

我想引用或审查研究

每个数字都带 n、测量窗口和 DOI。协议、数据集、局限、变更记录全部公开。

运行一次真实测量

下载 → 校验 → 运行(Linux,需 NVIDIA GPU + Docker)

curl -fsSLO https://github.com/hongping-zh/ecocompute-mlcube/releases/download/schema-1.3-r3/quickstart.sh curl -fsSLO https://github.com/hongping-zh/ecocompute-mlcube/releases/download/schema-1.3-r3/SHA256SUMS sha256sum -c SHA256SUMS && bash quickstart.sh

从不可变的 release 下载,先对照公布的校验和再运行——执行的是一个具体的、经过校验的版本,而不是 main 分支今天的随便什么内容。先用 bash quickstart.sh --dry-run 预览全部计划。容器以非 root、以你自己的 uid 运行;测量 NF4 与它自己的 FP16 基线(TinyLlama-1.1B),把 schema 校验过的 energy.json 写到 ./ecocompute-out/。其他模型/精度与 docker run 原始形式见容器页。

读结论前先看边界

这不是对所有 GPU、所有模型或所有推理框架的普遍规律。

当前证据范围:仅 NVIDIA GPU · 单流 decode · batch size = 1 · 256 tokens · 主数据集重复 n = 2 · 测的是 GPU 封装能耗而非墙插电能 · 拟合区间之外不是直接测量结果。

● 实心点 = 重复测量(最可信) ○ 空心点 = 单次测量(方向性证据) — 曲线 = 拟合/外推(不是新测量)

一句话结论:在已测的卡和模型规模上,NF4 相对 FP16 的能耗效应随模型规模和硬件交叉变化——小模型量化更费电、大模型才省电,交叉点随硬件和软件栈移动;INT8 在小尺寸上从不省电。详见英文站证据页与 中文使用说明。

版本矩阵——你跑的到底是哪一套

层级当前版本DOI / Release作用
协议v1.110.5281/zenodo.22958675规范性要求
报告 Schemaecocompute-energy/1.3GitHub release schema-1.3-r3机器校验
容器schema-1.3-r3GitHub release · 镜像 digest 见 SHA256SUMS可执行测量
主数据集v1.1.010.5281/zenodo.19647290公开测量数据(360+ 配置)
补充包RTX 4090 深测 v310.5281/zenodo.22037483深度复测(Ada):重复性、同测困惑度

五个层级各自独立演进。今天"跑本项目"= 容器 release schema-1.3-r3,其报告按 ecocompute-energy/1.3 校验、对照协议 v1.1;站上每个已发布数字都能溯源到上表中的数据集 DOI。完整对应关系见协议 §8。

常见问题

这是论文、工具、数据集,还是公司?

不是公司。独立维护的开放研究项目:一份开放测量协议(协议 v1.1,规范可比性)、一个MLCube 兼容容器(任何人都能在自己的 GPU 上复现同一测量)、一个归档于 Zenodo 的数据集(360+ 实测配置,带 DOI)。Apache-2.0 / CC BY 4.0。

我没有 GPU,能用吗?

能。在线估算器纯前端、零硬件;要拿到自己的实测数字,一个免费的 Colab T4 就够(20–35 分钟,产出与容器相同的 energy.json)。

结果能指导生产环境吗?

方向性参考可以,直接照搬不行。全部测量是 batch 1、单流 decode、256 tokens、GPU 封装功率;生产负载的批大小、并发与整机功耗都不在其中。先在你的栈上实测,再下结论。

NF4 在我的模型上是否成立?

输入模型规模和架构,估算器给出该架构拟合曲线上的方向;交叉点附近不确定性大,且软件栈版本会移动交叉位置。距离交叉点近的配置,请以自己实测为准。

质量(困惑度)怎么办?

能耗只是其中一根轴。同测数据显示:NF4 省(大模型)能耗但困惑度 +9.5%–27.6%;INT8 困惑度几乎无损(+0.5%–1.2%)但小模型上更费电。两根轴并排报告,刻意不合成单一指标。详见Energy and quality in the same run。

中文资料有哪些?

中文使用说明(站点导览)、容器中文手册(含国内镜像与常见问题)。估算器、证据页与协议正文目前为英文。