大模型 Scaling Law：从 Kaplan 到 Chinchilla，再到数据配方、词表与下游能力

Scaling law 在 LLM 上的历史，不是“Kaplan vs Chinchilla 谁对”，而是同一根曲线不断扩展到更多轴。[1] 在 (N, D) 上拟合幂律，提出 fixed-FLOP 下偏大模型 + 少 tokens 的 ~1.7 token/param；[2] 控制 LR schedule 与 undertraining 后重新拟合，得到 ~20 的 token/param 比值。业界长期把这两个常数当作互斥的“真理”，但公开重拟合显示，最优比值会随 batch / LR / 数据组合在 5-100 间滑动。[7] 把 D 拆成“fresh tokens + 重复”，给出 ≤4 epochs 近似等价于 fresh、超过后按可拟合速率衰减的修正项；[4] 与 [11] 通过大规模质量过滤实验，把“data quality”从 noise 项升格为可量化主轴；[22] 让 vocab V 成为继 (N, D) 之后的第三轴，给出 V★ = φ · $N_{n}v$^k 的可拟合关系；[25]、[24]、[23] 则把 mixture α 变成可独立预测的 scaling 维度。

到 2024 年后半年，主流团队（DeepSeek、OLMo、DCLM、Cerebras）已默认把 scaling law 作为 (N, D, mixture, vocab) 四轴问题做联合 sweep，而不是单点验算。[6] 与 [26] 进一步把“loss → 下游分数”的传递函数，从“涌现是惊喜”改成预算前可审计的工件；这条线放在姊妹篇 `scaling-laws-downstream-tasks` 中讨论。因此，Scaling-law 的现代用法是：先在小成本 sweep 上拟合 (N, D, mixture, V) 四轴预算面，再用 task-ladder 把该预算面投影到具体下游基准，最后用 [27] 的 broken-law 工具诚实披露多相位风险。

固定算力下如何分配 N（参数）与 D（tokens），本质是：在给定优化设定下，哪一侧能更快把 loss 压入可用区间。Kaplan et al. [1] 将 loss 分解为 N、D、compute 的幂函数，并在其训练设定下推出固定算力更偏向增大 N、减少 D 的最优点；该推导隐含固定训练步数与 schedule 形态，使许多配置落在 undertraining 一侧。Hoffmann et al. [2] 的关键改动是显式处理 undertraining：用 IsoFLOP sweep + 学习曲线外推校正“训不够久”的偏差，得到 tokens/param≈20 的经验中心；同时通过 Chinchilla-70B 对比表明，更大模型（如 Gopher 级别）在相近算力下主要是训练不够久 [2]。

更现实的问题是：batch-size schedule、LR schedule、去重率、mixture 一变，undertraining 边界也随之移动，compute-optimal 的局部切线会漂移。DeepSeek-AI [3] 在开源设定下重拟合，将 tokens/param 的可行区间扩到 5–100，等价于把“≈20”从默认常数降为每个 recipe 都需复核的监控量。工程结论不是记住一个比例，而是承认 compute-optimal 依赖 recipe，并把小规模 IsoFLOP grid 变成上线前必跑项 [2][3]。

许多团队把数据视为 D 的“填充物”，默认 tokens 足够多后，scaling law 会抹平配方差异；DCLM 使这个默认假设可 falsify。Li et al. [4] 在固定模型与 tokens 预算下给出可复现的过滤与 mixture 对照，并观察到仅数据配方即可造成 ≥7 pp 的下游差距。这意味着：预算讨论中，把 tokens/param 从 20 调到 30 可能只带来小幅 loss 变化；但一次过滤阈值或 mixture 权重调整，就可能翻转下游排序。

反过来，数据“越 curated 越好”也不是稳健原则。Penedo et al. [11] 主张过滤后的 web-only 在某些规模上可以胜过混合 curated 语料，直接反驳“必须混合高质量小语料”；更关键的提示是：数据质量收益是 domain-dependent 的，并且与评测集合耦合。要把这类争论转为工程决策，需要透明栈和可控对照。Groeneveld et al. [12] 的价值在于公开数据与训练细节，使“同算力下数据配方是否移动 compute-optimal 前沿”可以被复现实验追踪。Albalak et al. [13] 则将常见数据选择方法与失败模式（污染、去重不足、domain shift）整理成可执行风险清单，适合作为数据 sweep 的设计参考 [4][12][13]。

把 D 视为一维 tokens 计数，会混淆两种机制：看到新模式带来的泛化收益，以及重复同一分布带来的优化收益。Muennighoff et al. [7] 在数据受限设定下显式建模重复训练，并给出工程上可用的边界：平均重复 ≤4 epochs 时，收益近似等价于增加 fresh tokens；超过该点后，边际收益明显衰减。这条边界把“多训就行”改写为可检验假设：如果某个 recipe 需要 8–12 epochs 才达到目标 loss，就应默认它是在用 compute 换记忆/重复拟合，而不是扩大有效覆盖。

这解释了为什么 tokens/param 的最优点会随去重与 mixture 漂移。更高去重率会把同样的 raw tokens 转化为更多有效 fresh tokens，从而改变固定算力下 N 与 D 的相对回报；mixture 改变会改变“有效难度”，使同样 tokens 产生不同的 loss 斜率。DeepSeek-AI [3] 的 5–100 宽带可理解为：当“有效数据量”的定义在变时，任何单一 tokens/param 常数都只能覆盖局部区间。常态化记录 dedup rate、重复 epochs 分布和 mixture 向量，比在预算表里写死一个比例更接近真实控制变量 [7][3]。

把 pretraining loss 的幂律外推直接等同于“下游能力外推”，工程上常见两类失效：其一，阈值化评测指标（0-1 accuracy、exact match）会把连续改进压成表观拐点；其二，评测噪声与训练短期波动会让单点分数不稳定。Gadre et al. [5] 的 104 模型 sweep 给出清晰分离：在 over-training 区间，loss 外推仍然平滑可靠，但单个 benchmark 分数会随训练抖动；只有 loss 跨过某个阈值后，分数才更稳定、更可预测。这意味着：即使 compute-optimal 的 loss 曲线拟合良好，也可能无法预测“任务分数何时稳定”。

Bhagia et al. [6] 的 model ladders 给出更可操作的替代路径：先拟合 task perplexity 对 compute，再把 task perplexity 映射到 accuracy；two-step 结构显式吸收阈值化指标的非线性，单任务预测误差可到约 1.9%。其工程含义是：如果目标是某一组任务的分数，而不是纯粹的 loss，就应把“任务可预测性”作为一等公民来拟合与监控，而不是期待一个 loss exponent 兼容所有任务。

关于“突现”，更稳妥的流程是先去阈值化：对同一任务同时记录连续指标（log-prob、task perplexity）与离散指标（accuracy），并把 benchmark 粒度变化作为实验变量。Wei et al. [14] 的 U-shaped 任务曲线与 AGIEval [15] 对评测敏感性的证据都提示：很多看似神秘的拐点，应优先作为“任务定义与评测管线”的产物来排查，而不是直接诉诸内部相变叙事 [5][6][14][15]。

在 Kaplan/Chinchilla 的传统叙事里，FLOPs ≈ 6·N·D 将 vocabulary 埋在 N 内部，V 因而很少作为预算变量讨论。Tao et al. [22] 的关键处理是显式拆出 vocab：把参数分为 vocabulary 部分 $N_v$（embedding+unembedding，≈ V·d_model）和 non-vocab 部分 $N_{n}v$（attention/MLP），并将 FLOPs 重写为 6·($N_{n}v+N_v$)·D。在 fixed-FLOP 下扫描 V 后，IsoFLOP 曲线会在某个 V★ 达到最低 loss，说明 vocab 和 N、D 一样存在 compute-optimal。

他们用三条互补路径定位 V★：(i) IsoFLOP 直接 sweep；(ii) 对 loss 关于 V 求导找零点；(iii) 联合 (N, D, V) 拟合参数化损失函数，再解析求解 V★。在 33M–3B non-vocab 参数与多种 D 上，三条路径一致收敛到 V★ ∝ $N_{n}v$^0.27；当 D 充裕、FLOPs 不再是瓶颈时，最优 V 还会继续上移。这个指数远低于 $N_{n}v$ 自身的扩张速度，意味着 vocab 应随 N 增长但慢得多，而不是固定在 32K，或照搬另一个家族的 100K+。

直接的工程含义是：在 Llama-2-70B 同 token 预算下，预测 V★ 显著大于 32K；他们用 V≈43K 的 3B 模型在 ARC-Challenge / Hellaswag / MMLU / OpenBookQA 等多任务上击败 Llama-2-70B 的 32K 配置。vocab 选择因此从 tokenizer 美学问题变成算力分配问题。结合 §1 的 N/D 与 §2/§3 的数据轴，更稳的预算流程是先用一组小 IsoFLOP grid 同时扫 (N, D, V)，把 vocab 当作常驻第四轴，而不是事后调参 [22][2][3]。

§2 已经把数据轴抬高为一等公民，但重点仍是“是否会主导下游差距”的存在性命题。本节进一步问：mixture 这条轴本身能否被预测，从而把“试错调参”改写为“小代价代理→大模型外推”。从证据链看，过去三年至少形成了三条互补路径：

第一条是 mixture-as-optimization 的 DoReMi [23]。Xie et al. 将 domain 权重学习写成群体鲁棒优化：用一个 280M 的 reference 与一个同规模 proxy，在每步对各 domain 的 excess loss 做 group-DRO，得到一组对最难 domain 也鲁棒的权重；再将这组权重直接迁移到 8B 模型上，The Pile 与 GLaM 的同 step perplexity 和下游 zero-shot 一致变好，达到 baseline perplexity 的训练步数减少约 2.6 倍。其工程价值在于：把“mixture 调参”变成可优化目标，而不是各 domain 经验权重的加和。

第二条是 mixture-as-regression 的 RegMix [24]。Liu et al. 将 mixture 直接形式化为回归问题：在数百到上千个 1M-参数小模型上用不同 mixture vector 训练，将 (mixture-vector → eval-loss) 拟合成 LightGBM 回归代理，再在数千个候选权重中预测最优配方后上规模。代理总成本约为目标 1B 训练算力的 10%，且在 head-to-head 比较中击败 DoReMi 与人工权重。它与 DoReMi 的互补性在于：DoReMi 解决“在线学权重”，RegMix 将权重选择移到 offline 代理空间，工程上更容易并行 sweep。

第三条是 mixture-as-prediction 的 Data Mixing Laws [25]。Ye et al. 不再只学一组权重，而是将 mixture-proportions → loss 写成解析函数（多元指数 + domain 交互），并与 Chinchilla 形式的 N/D scaling law 嵌套：先用一组小模型估计 mixture 函数与 N/D 函数的参数，再在不实跑大模型的前提下，预测任意 mixture 在目标 (N, D) 下的 loss。在 RedPajama 1B/100B 上，预测的 loss 与用 5× 算力实测的训练终点接近，从而把“数据轴 + N/D 轴”变成可联合优化的低维曲面。

三条路径合起来给出一个稳的工程结论：mixture 不再是 scaling law 之外的超参噪声，而是 scaling 体系内一条独立且越来越可预测的轴。和 §1/§3 的“tokens/param≈20 不是常数”、§5 的“vocab 也是变量”一起看，mixture law 让“先做配方 Pareto 再调比例”有了量化抓手 [23][24][25]。

§4 的判断是“loss scaling ≠ task scaling”，但只说“不要直接外推 accuracy”还不够；本节对照当前最有用的三条下游任务 scaling 路线。

第一条是 transfer-aware 的下游任务 law（Isik et al. [21]）。他们在“pretrain → finetune”典型迁移管线（以 MT 为代表）上系统扫描预训练数据规模，得到一个朴素但常被忽视的事实：当预训练分布与下游分布对齐时，下游 metric（BLEU/ROUGE）与 cross-entropy 都呈现可拟合的幂律，且趋势一致；分布失配时，loss 仍可平滑下降，BLEU 等 task metric 却会非单调甚至倒退。结论是：下游任务 law 必须以 pretrain–downstream alignment 为条件；alignment 是它的隐变量。

第二条是 observational scaling laws（Ruan et al. [26]）。他们不训练新模型，而是对 ~80 个公开模型的 benchmark 分数做后验拟合：从分数矩阵中抽取低维 capability 空间（“effective compute”），再把任意单任务分数与该空间做幂律映射，从而外推未训练模型的能力。它的工程价值在于：在现实中缺少完整 (N, D, V, mixture) 元数据时，仍能给跨模型族能力预测提供统一坐标系，并对“某个能力是否会随 scale 出现”这类问题给出后验回答；他们也把这套方法用于 emergent ability 与 agent 任务。

第三条是 task ladders（Bhagia et al. [6]，已在 §4 出现）。它把单任务建成两段：compute → task perplexity（连续指标，对噪声更稳）→ accuracy（离散指标），用 model ladders 的小规模 sweep 拟合两段函数，把单任务预测误差压到 ~1.9%，更直接服务于“离任务可用阈值还差多少 FLOPs”这类决策。

三条路线原则上互补：Isik 处理 transfer 场景的 alignment 边界；Ruan 处理跨模型族的事后预测；Bhagia 处理同一族内从小规模到大规模的外推。把它们和 §6 的 mixture law、§5 的 vocab law 串起来，可以形成一条端到端的“可预测 scaling”：mixture+vocab+(N,D) 决定 loss，loss 通过 task ladder（同族内）或 effective-compute 空间（跨族）映射到任务分数，最后再由 alignment 调制 [21][26][6]。