预训练数据重复与去重：把“重复”拆成三条账

把“重复”压成一个数，会混淆三类决策：web 冗余、有限池多 epoch、敏感数据污染的目标函数并不相同。web 冗余首先损害 token 利用率：镜像页、模板页、转载链把同一信息以近重复形式塞进 batch。Lee et al. [1] 进一步指出，主要坏账常不体现在文档级重复率，而藏在长重复 substring（例如页脚、导航、版权声明、列表模板）中；这些片段在训练中被高频看到，浪费 compute，也更容易被逐字复述。

有限高质量池的问题不是“是否有重复”，而是“重复是否均匀”。Muennighoff et al. [2] 给出工程可用窗口：前约 2–4 轮均匀重复的收益接近新鲜 token；之后边际收益快速变差。Hernandez et al. [3] 将风险点从平均 epoch 转到曝光分布：少量热子集被高倍重复会造成额外退化，并在 induction head 中留下可解释指纹，说明必须监控 per-document exposure 的尾部。

敏感/评测/版权文本是第三条账：目标不是更低 loss，而是更低可恢复泄漏和更低评测污染。Carlini et al. [4] 将可恢复记忆化与重复曝光、模型规模、以及更长 context 关联起来；Deng et al. [5] 显示污染会抬高分数，且难靠粗过滤消除，因此更稳的控制变量是“曝光次数上限 + provenance 证据 + 独立评测管线”。

web 池的重复治理，常见误区是“做完文档 hash 就结束”。Lee et al. [1] 的经验是：near-duplicate 与长重复 substring 会同时存在；后者即使在“文档都不相同”时，也能制造高曝光片段。工程上的最低稳态配置是三件套：文档级 exact hash（挡住完全重复）、substring 匹配（挡住长 boilerplate）、MinHash/LSH（挡住 near-duplicate）。这套组合的价值不只是提高 token 利用率，还在于降低 train-test 泄漏与逐字复述风险 [1]。

另一个误区是把“去重”理解成纯删除。D4 更像预算重分配：Tirumala et al. [8] 用 embedding 聚类把近重复聚成簇，再在簇内做多样化采样，目标是在同 compute 下保留覆盖面。它和 Lee et al. [1] 不冲突：前者处理“信息同质”的冗余，后者处理“字面重复/片段重复”的坏账。合起来更像两阶段管线：先用 substring/MinHash 把明显重复压低，再用聚类/多样化把 token 投向更广的主题覆盖。

还需要单列一条账：跨语料重复会让“单池去重率”失真。Elazar et al. [6] 指出公开池之间存在 overlap；如果训练配方混入多个池（例如 C4 + RedPajama 变体），单池 dedup 无法给出总曝光次数。因此 web 池的 KPI 不应只报“本池去重后剩余 token”，还要报“全局指纹下的曝光分布”。

“多 epoch”是有限高质量池中的合理工具，但不是无条件经验法则。Muennighoff et al. [2] 的关键做法，是把收益折算为可比较的“等效新鲜 token”：均匀重复的前约 2–4 轮仍接近消耗新数据；再往后，同样的 compute 带来的 loss 改善明显放缓。这给出了默认上限窗口，但前提是曝光分布近似均匀。

Hernandez et al. [3] 给出更接近工程事故的反例：当少量样本被高倍重复（例如热子集、热门域名、某类模板化文本），即使平均 epoch 不高，也会出现额外退化；induction head 还会学到可解释的“重复结构”，说明模型在机制层面把重复当成捷径。合并两条结果，更稳的控制变量不是只报 epochs，而是同时报告 per-document exposure 的分位数和尾部上限（例如 p99 不超过 p50 的 5–10×，或对单文档设置硬上限）。

这也解释了为什么“先去重再多 epoch”通常比“先多 epoch 再补去重”更可控：去重先把曝光尾部压平，epochs 才更接近 Muennighoff et al. [2] 的均匀假设；反过来先跑 epochs 会放大热子集过曝，后续删数据也无法撤回已经发生的高曝光。

“我在主语料里过滤过 benchmark/PII/版权文本”在工程上常不可证伪：同一文本可能经不同路径进入多个数据池。Elazar et al. [6] 的 overlap 审计显示，公开池之间复用普遍；当训练配方混合多个来源（例如 C4 + RedPajama + 自爬取）时，单池过滤无法界定“总曝光次数”。因此需要跨语料指纹账本：至少在文档级维护 hash/MinHash，并把每条样本的 provenance（来源、抓取时间、许可、过滤版本）写入可追溯记录 [6]。

对风险池，更稳健的目标是“可审计的曝光上限”，不是口头承诺“绝对零”。Carlini et al. [4] 表明可恢复记忆化随重复曝光、模型规模与更长 context 上升；Deng et al. [5] 表明污染会抬高评测分数，且难靠粗过滤消除。合成工程规则就是：风险数据默认不进主训练池；若必须用于对齐/指令微调，也应使用单独管线、单独 checkpoint lineage，把曝光次数限制为 0–1（或极低上限），并做 prefix/suffix dedup，防止“题面轻微改写”绕过过滤 [5]。

合成数据自回流训练需要单独对待。Shumailov et al. [10] 指出的退化机制是分布塌缩与多样性损失；它更像“语义空间变窄”，而不是“同一文本重复”。因此在合成数据闭环中，关键 ledger 不是 epochs，而是新鲜度与分布漂移（例如人类数据占比、生成器版本多样性、去重阈值随代数变化）。

把『重复』视为纯坏处，是 dedup 视角下的直觉；它只在 data-rich 区成立。当 unique-token 预算被 compute 卡住时，问题反过来变成：同 compute 下，repeat + 更好配方，是否比 1-pass + 更少处理得到更低 loss、更稳的其它指标？Muennighoff et al. [2] 正是在这个问题上形式化了 'data-constrained scaling laws'：在 1.4B–6.7B 区间，他们用 (compute, unique tokens, epoch) 三元组画出 loss 等效曲线，显示重复在约 2–4 个 epoch 内仍近似新数据；超过这个窗口后边际衰减才明显出现，但仍是温和衰减而非崩溃。因此，默认假设『必须 scaling unique tokens』在 data-constrained 区并不成立——前提是配方 leverage 跟得上。

三类『替代 unique tokens 的训练侧方法』在 2024 年都被独立验证，且收益不互相替代：(1) 更严的 filter——DCLM [17] 在 412M 上的 ladder 显示，对同一个 web pool 做一次 fasttext-quality + per-domain 截断粗滤，等效于把 unique-token budget 扩大约 1.3–1.7×；(2) rephrase / paraphrase——Maini et al. [16] 用一个较小的指令模型，把每条 web 文档重写成『Wikipedia 风格』『QA 风格』『paraphrase 风格』三种变体；固定 compute 下，rephrase 的等效新鲜 token ≈ 1.5×（精确数字依任务而异，但方向稳定）；(3) grounded synthetic——基于已有 base 模型生成结构化数据（数学题、代码、问答）。grounded 版本（带可验证 reward 或可执行检查）的等效率接近 1×，未 grounded 的 synthetic 衰减更快。三者不是择一关系：在 8-epoch 区，filter 主要砍曝光尾部噪声，rephrase 主要用新表述复用同一语义，synth 主要补稀缺分布——它们在 ladder 上可叠加；但缺任一项时，重复 ≥4 epoch 又会退回原始衰减斜率。

工程结论是：『需不需要 scaling unique data』不是全局问题，而是 ladder 上的 if 分支（图 §5 决策流）。Compute / unique-tokens ratio ≤ 4：直接 repeat；4–16：必须叠 filter + rephrase + (optional grounded synth)；≥ 16：ladder 已进入 memorization-bound 区，配方加成救不动，唯一可靠 fix 是补 unique tokens。这个 if 分支可以用极小 ladder（例如 412M ↔ 1.4B）廉价验证：DCLM 在 412M 上的 mixture 决策，在多数子集上能以 Spearman ≈ 0.7+ 的 rank correlation 转移到 7B [17]。因此，ladder 成本和一条 6.7B full-loss 曲线一样可控，没有理由只看单次大模型运行就拍板。

Muennighoff 2023 [2] 的 ladder 写在 (loss, epochs) 平面上，因此『2–4 epoch 等效新鲜』的结论只针对 loss。这也是工程读者最容易误读的地方：loss 单调下降不表示模型在所有维度上都变好，只表示 next-token CE 变好。把指标切到下游能力、记忆化、生成多样性，曲线会立即分化（图 §6 metric divergence）：loss 单调下降，memorization-recall 单调上升（Carlini et al. [4] 早期就指出可恢复记忆化随重复次数与模型规模上升），generation diversity（type-token ratio / n-gram entropy）单调下降，downstream zero-shot 在低 epoch 区间小幅上升、到 8 epoch 后转向退化（Hernandez et al. [3] 报告的『重复降低 induction head 质量』正是这个现象的内部投影）。

工程默认值因此很直接：repetition ladder 的验收必须并列 ≥3 个独立指标，至少包含 loss + downstream + (memorization 或 diversity 之一)。理由不是『loss 不准』——它仍是 next-token 上最敏感的量纲——而是不同指标对应不同 root cause，呈现 Hernandez 2022 现象式的分化：loss 看到平均字段，diversity 看到分布尾部，memorization 看到分布峰部。把三者压成一个数，会抹掉它们之间的因果信号。Muennighoff 2023 的『2–4 epoch』窗口放到 multi-metric 视角下，其实收窄到 ≈2 epoch：diversity 与 memorization 在第 3 个 epoch 之前就开始转向。因此工程上常见的『随手 4 epoch，因为 paper 说 OK』并不严格成立。

成本上没有借口。DCLM [17] 已经证明，412M ladder 上的 mixture 决策能以 Spearman ≈ 0.7+ 转移到 7B；把 loss + 4 个评测子集 + 一组 memorization probe + 一个 generation diversity 指标跑完，wallclock 与单条 6.7B loss 曲线同量级。把 multi-metric 写进 ladder 验收流程，至少能把 dedup / repetition / synthetic 这类决策从『感觉对』推进到『可证伪』——而 §1–§4 里的所有具体配方建议都依赖这一步。