4D Context Scaling：Hyper-Doc 预训练的跨域统一框架（空间 · 时间 · 语义 · 编排）—Part III

上下文Z的结构化分解采用3+1非对称架构：空间、时间、语义是实体维度，定义Z的来源；编排是元维度，定义Z的组合规则。两类维度角色独立，不能平级处理。UL2 [15] 验证了数据源与训练目标分离的收益，为该非对称架构提供核心支撑。空间维度刻画实体间的静态依赖关系，包括代码的导入依赖、论文的引用关系、法律条文的援引关系等；时间维度刻画实体的动态演化轨迹，包括代码的版本迭代、论文的修订历史、医疗记录的随访数据等；语义维度刻画实体的属性与关联，包括标签、反馈、相似近邻等。FIM [7] 是通用填缺原语，其邻居关系可对应时间维度的前后版本，也可对应空间维度的同级元素，因此属于工具层而非维度本身。Liu et al. [13] 验证了无结构长上下文堆叠的中间信息丢失问题：单维度长度扩张在中段召回率上存在系统性退化，说明结构化4D增强是突破长上下文性能瓶颈的核心路径。

Hyper-Doc预训练的构造方法可统一归为ERS（证据拼接）与IVI（意图反演）两类，并与3个实体维度交叉，形成2×3配方矩阵；每一格均对应已发表工作。ERS×空间注入跨文件/跨文档依赖，代表工作为RepoCoder [5]、Stack v2 [6]、Galactica [11]；ERS×时间拼接版本演化轨迹，代表工作为FIM [7]、diff packing [16]；ERS×语义注入相似内容检索结果，代表工作为ReACC [17]。IVI×空间从现有内容反推缺失依赖/引用，代表工作为Galactica [11] 的引用预测任务；IVI×时间从当前版本反推演化历史/修改意图，代表工作为OctoPack [16] 的commit message生成任务、DeepDebug [18] 的bug反推任务；IVI×语义从最终产物反推前置意图/指令，代表工作为ProX [1]、Rephrase-the-Web [2]、Self-Alignment [3]、Magicoder [4]。该矩阵覆盖大多数已发表的Hyper-Doc预训练方法，可作为方法创新的参照系，减少重复设计。

补充：时间轴可拆为「正向轨迹拼接」与「反向意图反推」两条线。前者的代表扩展是 CommitChronicle [19]，把 commit-history 打包为 history-aware completion 语料；后者翻转同一份 diff 作为监督信号，反推 commit message。二者共用同一 diff 串，分别对应 ERS×时间 与 IVI×时间 的对偶。语义轴上，Rho-1 [10] 的 selective-language-modeling 可作为 token-level 门控，与 ERS/IVI 叠用：先挑出高信号 token，再决定重写或保留。

不同垂直领域在 3 个实体维度上暴露的结构化信息强度差异显著。用 ●（强）、◐（部分）、○（弱）标注，可形成维度强度谱，并直接决定 ERS / IVI 的落地优先级：强维度优先用 ERS（直接拼接既有结构化信息，成本低、收益高）；弱维度优先用 IVI（通过反演生成缺失的结构化信息，补齐覆盖缺口）。§5 给出 16 个领域的完整强度谱与推荐方法。三个代表例：代码领域三个维度均为强，采用 ERS 全维度增强；医疗领域空间维度弱、时间维度强，采用 ERS × 时间 + IVI × 空间 的混合方案（电子病历时间戳丰富，临床指南引用通常隐式）；法律领域空间维度强、时间维度部分，采用 ERS × 空间 + IVI × 时间 的混合方案。Stack v2 [6] 在代码领域、Galactica [11] 在科学文献领域的事后对齐结果，均与该谱预测一致。

编排层将3个实体维度的内容沿intent→plan→action→obs→correction的认知轨迹组装，并施加差异化loss mask：增强的上下文C不计loss，action token不计loss，plan和最终产物计loss。ReAct [8]、STaR [9] 验证了该loss mask规则的有效性。训练过滤阶段需同时使用SemDeDup [12] 做文档级语义去重，并使用Rho-1 [10] 做token级可学习性门控，仅将高学习价值的token纳入loss；单独使用任一方法都会显著削弱质量增益。编排层需与实体维度完全解耦，使同一编排规则可适配不同领域的实体维度内容；UL2 [15] 验证了目标与数据源分离的通用性。需注意，仅蒸馏成功轨迹的方法（如SWE-Gym回放、RL成功轨迹）只是编排层的子集，会丢失错误修正的认知缺口信号，并造成可衡量的泛化下降。

下表从「空间 / 时间 / 语义 / 编排」四维标注 16 个领域的强度（● 强且可直接解析，◐ 部分可得需要清洗，○ 大多隐式需要 IVI），并给出对应的主力构造方法。这张强度谱最可落地的交付物是执行顺序：团队可在自己的域内先对 ● 维度执行 ERS，再用 IVI 补齐 ○ 维度缺口。

使用建议：对任意新领域，先用空白 4×4 网格标注 ●/◐/○（强度谱），再在强维度运行 ERS、在弱维度运行 IVI——这形成可复用构造规程。Rho-1 [10] 的 token-level learnability gating 与 SemDeDup [12] 的语义去重是 step-6（filter）的标准组件，可跨领域复用。

Hyper-Doc 预训练不替代既有范式；它把「跨文档 / 跨版本 / 跨意图」这一结构层从推理时或后训练时下沉到预训练数据侧。以下六条对照界定 Hyper-Doc 相对各相邻范式的位置与边界：

· vs. 纯 RAG（推理时检索） — RAG 将跨文档关联留到推理时，同时受 retriever 召回与 context window 约束；Hyper-Doc 将同类信号作为预训练分布的一部分锚进权重 [2303.12570, 2203.07722]。

· vs. IDP + packing — 纯扩窗口 + token-level packing 只改变「每次能看多少」；Hyper-Doc 在此之上显式建模「文档间依赖」，让长窗口中的 token 具备可学习结构，而不是单纯序列拼接 [2207.14255, 2308.07124]。

· vs. 轨迹蒸馏 — 轨迹蒸馏依赖 teacher rollout 回灌 token，质量上限受 teacher 约束；Hyper-Doc 直接把「状态 → 下一步」结构锚在源数据（代码 diff / 引文链 / 审稿轮次）上，不依赖教师 [2210.03629, 2203.14465]。

· vs. ProX / WRAP（纯语义 slice） — ProX [1] 与 Rephrase-the-Web [2] 只做 intra-doc 语义改写；Hyper-Doc 将改写机制 generalise 到空间（跨文件）与时间（跨版本），语义 slice 只是其中一格。

· vs. FIM / code concat（纯 space/time slice） — FIM [7] 的缺失建模停留在 token 级；Hyper-Doc 将缺失单元提升到「文件 / 版本 / 作者意图」三层，对应的 ERS/IVI 成对出现，而非单向 fill。

· vs. r1-style 长 CoT — r1 的 rollout 是 task-driven 的后训练试错链；Hyper-Doc 是 pretrain-time 的 data-driven 结构拼接。二者 orthogonal 且可叠加：先在预训练把结构喂进权重，再在后训练用 CoT exploit 这套结构。