你想做什么?选一条路径
我想验证结果
用 Colab 或容器在你自己的卡上跑出 energy.json,再叠到公开曲线上。
- 免费 Colab T4 即可(20–35 分钟)
- 三行命令:下载 → 校验 → 运行
- 容器中文手册
运行一次真实测量
下载 → 校验 → 运行(Linux,需 NVIDIA GPU + Docker)
从不可变的 release 下载,先对照公布的校验和再运行——执行的是一个具体的、经过校验的版本,而不是 main 分支今天的随便什么内容。先用 bash quickstart.sh --dry-run 预览全部计划。容器以非 root、以你自己的 uid 运行;测量 NF4 与它自己的 FP16 基线(TinyLlama-1.1B),把 schema 校验过的 energy.json 写到 ./ecocompute-out/。其他模型/精度与 docker run 原始形式见容器页。
读结论前先看边界
当前证据范围:仅 NVIDIA GPU · 单流 decode · batch size = 1 · 256 tokens · 主数据集重复 n = 2 · 测的是 GPU 封装能耗而非墙插电能 · 拟合区间之外不是直接测量结果。
一句话结论:在已测的卡和模型规模上,NF4 相对 FP16 的能耗效应随模型规模和硬件交叉变化——小模型量化更费电、大模型才省电,交叉点随硬件和软件栈移动;INT8 在小尺寸上从不省电。详见英文站证据页与 中文使用说明。
版本矩阵——你跑的到底是哪一套
| 层级 | 当前版本 | DOI / Release | 作用 |
|---|---|---|---|
| 协议 | v1.1 | 10.5281/zenodo.22958675 | 规范性要求 |
| 报告 Schema | ecocompute-energy/1.3 | GitHub release schema-1.3-r3 | 机器校验 |
| 容器 | schema-1.3-r3 | GitHub release · 镜像 digest 见 SHA256SUMS | 可执行测量 |
| 主数据集 | v1.1.0 | 10.5281/zenodo.19647290 | 公开测量数据(360+ 配置) |
| 补充包 | RTX 4090 深测 v3 | 10.5281/zenodo.22037483 | 深度复测(Ada):重复性、同测困惑度 |
五个层级各自独立演进。今天"跑本项目"= 容器 release schema-1.3-r3,其报告按 ecocompute-energy/1.3 校验、对照协议 v1.1;站上每个已发布数字都能溯源到上表中的数据集 DOI。完整对应关系见协议 §8。
常见问题
这是论文、工具、数据集,还是公司?
不是公司。独立维护的开放研究项目:一份开放测量协议(协议 v1.1,规范可比性)、一个MLCube 兼容容器(任何人都能在自己的 GPU 上复现同一测量)、一个归档于 Zenodo 的数据集(360+ 实测配置,带 DOI)。Apache-2.0 / CC BY 4.0。
我没有 GPU,能用吗?
能。在线估算器纯前端、零硬件;要拿到自己的实测数字,一个免费的 Colab T4 就够(20–35 分钟,产出与容器相同的 energy.json)。
结果能指导生产环境吗?
方向性参考可以,直接照搬不行。全部测量是 batch 1、单流 decode、256 tokens、GPU 封装功率;生产负载的批大小、并发与整机功耗都不在其中。先在你的栈上实测,再下结论。
NF4 在我的模型上是否成立?
输入模型规模和架构,估算器给出该架构拟合曲线上的方向;交叉点附近不确定性大,且软件栈版本会移动交叉位置。距离交叉点近的配置,请以自己实测为准。
质量(困惑度)怎么办?
能耗只是其中一根轴。同测数据显示:NF4 省(大模型)能耗但困惑度 +9.5%–27.6%;INT8 困惑度几乎无损(+0.5%–1.2%)但小模型上更费电。两根轴并排报告,刻意不合成单一指标。详见Energy and quality in the same run。