ICLR 2026

How to train data-efficient LLMs

LLM 预训练的数据效率问题：如何在固定计算/数据预算下，通过数据筛选和采样策略优化模型质量与训练成本的 Pareto 前沿。此前的数据筛选方法要么依赖昂贵的质量评估（如 perplexity 过滤），要么缺乏对覆盖率和多样性的系统考量，且缺少大规模、统一的对比实验。

Train Once, Answer All: Many Pretraining Experiments for the Cost of One

这篇论文要解决的是：受控预训练实验很能回答“某类数据如何影响模型行为”，但传统做法是一种假设跑一遍预训练，成本太高，导致很多有价值的问题没人系统做。作者想把多个数据干预实验压到一次训练里完成，从而把 pretrain 科学从“只能做少量贵实验”变成“可以批量做因果 probing”。

Predicting Training Re-evaluation Curves Enables Effective Data Curriculums for LLMs

LLM训练的数据课程设计缺乏明确的最优数据投放原则，过往研究要么依赖经验规则，要么需要事后回溯调整，无法前置指导训练。

Planned Diffusion

这篇论文要解决的是：离散 diffusion LM 虽然能并行生成多个 token，但实际效果一直被 denoising order 拖住，质量和时延很难同时兼顾。过去大多用固定或启发式顺序决定每一步先解哪些位置，这种外部指定策略既不稳，也限制了模型根据上下文自适应安排生成计划的能力。

Loopholing Discrete Diffusion: Deterministic Bypass of the Sampling Wall

这篇论文要解决的是：离散 diffusion 一旦在某步做了 categorical sampling，分布信息就坍缩成 one-hot，后续步骤只能在信息极少的状态上继续去噪，这就是作者说的 sampling wall。过去很多改进都在调转移核、loss 或 self-conditioning，但没有真正绕开“采样后信息丢失”这个结构性问题。

Autoregressive Models Rival Diffusion Models at ANY-ORDER Generation

Diffusion language model 支持任意顺序生成和双向条件化，但其单步依赖的建模深度有限，样本质量和稳定性不如 AR 模型。问题是：能否让 AR 模型也具备任意顺序生成能力，同时保持 AR 的建模优势？

Any-Order Flexible Length Masked Diffusion

这篇论文要解决 masked diffusion 在离散序列上的一个核心短板：它支持任意顺序、并行生成，但通常只能做固定长度生成，无法自然插入 token。这个限制让它很难作为 AR 的真正替代，因为真实语言和代码生成常常需要长度不预先确定、局部重写和插入式编辑。

Diffusion LLMs Can Do Faster-Than-AR Inference via Discrete Diffusion Forcing

离散扩散 dLLM 理论上可并行生成多 token，但开源实现普遍推理速度仍不如同规模 AR，因为无法像 AR 那样有效利用 KV cache 且迭代依赖强。

NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models with Discrete Flow Matching

现有多模态基础模型大多受限于自回归架构，难以平衡理解和生成能力；混合/解耦策略虽有探索但设计冗余，不适用于跨模态检索等更广泛场景。

Mixture-of-Experts Can Surpass Dense LLMs Under Strictly Equal Resource

过往MoE性能优势通常建立在更大的总参数量或训练计算量之上，严格等资源（总参、训练计算、数据预算完全一致）下MoE是否能超过稠密模型这一问题没有被明确验证，工业界选型缺乏依据。

What Scales in Cross-Entropy Scaling Law?

大模型交叉熵缩放定律在超大参数规模下出现失配，损失下降速度慢于预期，过往研究将交叉熵作为整体拟合，无法解释失配的根本原因，导致大模型资源规划出现偏差。

Scaling Speech Tokenizers with Diffusion Autoencoders

现有语音tokenizer无法同时兼顾语义编码精度、音频重建保真度、低码率三个核心指标，过往方案要么牺牲语义保重建，要么牺牲码率保精度，限制了语音大模型的效率和性能。

Planner Aware Path Learning in Diffusion Language Models Training

这篇工作要解决的是：diffusion language model 训练时按均匀随机路径去噪，但推理时常用 planner 选择更优去噪顺序，两者之间存在系统性的 train-inference mismatch。这个问题以前通常被工程上默认接受，因为 planner 确实能提高采样质量，但训练目标并没有针对 planner 校正，导致模型并未学会在这些被偏置后的路径上最好地工作。

Latent Speech-Text Transformer

现有interleaved训练的语音文本大模型中，语音token序列长度远大于文本，导致模态不平衡，计算资源过度向语音倾斜，跨模态对齐效率低，性能scaling速度慢几个数量级。

Joint Selection for Large-Scale Pre-Training Data via Policy Gradient-based Mask Learning

这篇论文要解决的问题是：在万亿 token 级预训练数据上，质量分和多样性分往往只能分开做筛选，难以联合优化，结果不是高质量样本收益递减太快，就是多样性筛选误删过多有价值数据。过去业界常用静态规则或两阶段过滤，但它们很难在长程训练里持续保持最优数据配方。

From Text to Talk: Audio-Language Model Needs Non-Autoregressive Joint Training

这篇工作要解决的是：把文本 LLM 扩展到语音对话时，纯 AR 的“音频 token 逐步生成”与语音的 source-target 依赖结构不匹配，导致训练与推理效率、质量和统一建模目标都受限。

SparseD: Sparse Attention for Diffusion Language Models

这篇工作要解决的是：开源 diffusion LM 推理慢的核心瓶颈之一是注意力对上下文长度的二次复杂度，而 DLM 的去噪多步会把这个成本放大。

Reformulation for Pretraining Data Augmentation

预训练数据即将耗尽，而简单重复训练会导致性能退化。现有数据增强方法依赖复杂的预定义种子系统，扩展性差。本文要解决的是：如何系统性地将已有语料改写为多样化变体，使数据增强能真正支撑模型性能的持续 scaling。

xLSTM Scaling Laws: Competitive Performance with Linear Time-Complexity

xLSTM作为线性复杂度的Transformer替代架构，其缩放行为尚未被系统研究，无法指导不同计算预算下的架构选型，工业界对xLSTM的scaling潜力缺乏明确认知。

Grokking in LLM Pretraining? Monitor Memorization-to-Generalization without Test

这篇论文要解决的是在实际 LLM 预训练中，记忆训练数据和获得下游泛化能力之间是否存在类似 grokking 的时滞，以及如何在没有测试集的情况下监控这种过程。过去 grokking 研究主要停留在小模型、算法数据和多轮训练上，对接近单遍的大规模预训练几乎没有证据。

How Text Quality Interventions Reshape Neural Scaling Laws for LLMs: Empirical Study

现有缩放定律的拟合未考虑数据质量干预的影响，数据去重、过滤、改写等操作如何改变缩放曲线的系数和指数尚不明确，导致大模型资源规划和数据pipeline设计缺乏量化依据。

Energy-Based Transformers are Scalable Learners and Thinkers

现有推理时计算（类人System 2思考）方法大多是模态或任务特定的，需要额外监督训练，无法仅通过无监督预训练实现通用的推理优化，限制了大模型的通用推理能力提升。

Pretraining Scaling Laws for Generative Evaluations of Language Models

现有神经缩放定律仅覆盖预训练损失和判别式基准的拟合，生成类任务（如数学解题、软件工程）的缩放规律未被系统研究，无法用低成本小模型预测大模型的生成任务pass@k表现。

Revisiting the Scaling Properties of Downstream Metrics in Large Language Model Training

传统LLM缩放定律仅聚焦预训练损失等代理指标，下游任务性能的缩放预测被认为不可靠，缺乏从训练预算直接建模下游精度的有效框架。

Front-Loading Reasoning: The Synergy between Pretraining and Post-Training Data

推理能力到底应当在 pretrain/mid-train 早期“前置注入”还是留到 post-train 再补，社区长期缺少可公开复现的分阶段对照，因此很难回答“早加推理数据是否真的更划算”。

Beyond Masks: Efficient, Flexible Diffusion Language Models via Deletion-Insertion Processes

MDLM 依赖 mask/unmask 会在训练与采样中浪费大量算力在非信息 token（mask/pad）上，并且对可变长度生成不够原生，限制了 diffusion LM 的效率与灵活性。

How Learning Rate Decay Wastes Your Best Data in Curriculum-Based LLM Pretraining

过往按质量从低到高的课程式预训练提升效果有限，核心瓶颈是上升的数据质量顺序与下降的学习率调度不兼容，高质量数据喂入时学习率已过低，无法被充分学习。

Continuous Audio Language Models

ReFusion: A Diffusion Large Language Model with Parallel Autoregressive Decoding

这篇论文要解决的是 diffusion LLM 的两个老问题：并行解码虽然快，但无法像 AR 那样有效使用 KV cache，而且在大组合空间上直接学 token 依赖容易生成不连贯。过去 masked diffusion LM 想用并行换速度，但实际常被算力开销和质量损失抵消，所以问题不是“能不能并行”，而是“能不能并行且保留因果生成的优势”。

Pre-training LLM without Learning Rate Decay Enhances Supervised Fine-Tuning

现有预训练普遍使用带衰减的学习率调度来最小化预训练损失，但衰减调度对SFT后下游性能的影响未被系统研究，默认的衰减调度可能损害SFT表现。

Improving Reasoning for Diffusion Language Models via Group Diffusion Policy Optimization

扩散语言模型的RL微调存在两大瓶颈：基于单步unmasking的token级似然估计偏差大，基于ELBO的序列级似然估计计算成本过高，无法落地。

Bringing Stability to Diffusion: Decomposing and Reducing Variance of Training Masked Diffusion Models

这篇论文解决的是 masked diffusion model 训练方差过高、优化不稳的问题，而且给出了为什么它天然比自回归模型更难训的分解解释。过去大家知道 MDM 在预训练后做任务微调时常掉队，但缺的是一个能指导工程改进的方差来源分析。

ByteFlow: Language Modeling through Adaptive Byte Compression without a Tokenizer

这篇论文解决的是固定 tokenizer 带来的建模粒度僵化问题。现代 LM 一旦选定 BPE 或 unigram 等子词切分，模型整个训练和推理都被锁死在这个粒度上，结果是遇到新形态词、拼写变体、跨语言混合和符号序列时经常出现不自然甚至脆弱的行为。过去虽然有 byte-level 或 self-tokenizing 路线，但要么效率差，要么切分机制不够动态。

Soft-Masked Diffusion Language Models

现有掩码扩散语言模型的解码采用二元决策：要么保留掩码要么替换为预测token，保留掩码时会丢弃之前的预测信息，限制生成质量和自修正能力。

Scaling Behavior of Discrete Diffusion Language Models

离散扩散语言模型的缩放行为未被系统研究，过往结论认为扩散语言模型需要比AR模型更多的计算和数据才能达到相当性能，该结论未考虑噪声类型等超参数的影响。

The Art of Scaling Reinforcement Learning Compute for LLMs

LLM的RL训练阶段缺乏类似预训练的成熟可预测缩放方法论，此前算法改进评估无统一量化原则，算力投入快速增长但效率无章法。

MANZANO: A Simple and Scalable Unified Multimodal Model with a Hybrid Vision Tokenizer

开源统一多模态LLM普遍存在图文理解和文图生成的性能权衡，此前方案要么侧重理解要么侧重生成，没有平衡两者的轻量兼容方案。

Beyond Length: Quantifying Long-Range Information for Long-Context LLM Pretraining Data

长上下文 pretrain 的数据中，大量文本虽然很长但缺乏有意义的长距离依赖——大部分 span 用局部上下文就能预测。在这种数据上训练效率低下，需要一种方法筛选出真正需要长距离信息的训练样本。

Dual-objective Language Models: Training Efficiency Without Overfitting

AR LM训练效率高但易过拟合，掩码扩散LM抗过拟合但训练效率低，此前没有无架构修改的方案同时兼顾两者优势。

On the Reasoning Abilities of Masked Diffusion Language Models

这篇论文回答的是：masked diffusion language model 到底能做哪些推理，以及并行生成的限制在哪里。过去大家知道 MDM 在生成范式上不同于 AR，但对它的“计算能力”缺少清晰刻画，讨论通常停留在经验效果或直觉比较。作者想做的是把 MDM 放到一个可证明的复杂度框架里，回答它是否真的因为并行性而丧失推理能力，还是只是把计算搬到了不同的迭代形式里。

RLP: Reinforcement as a Pretraining Objective

现有大模型训练范式将RL仅用于最后的对齐阶段，预训练阶段仅用next-token预测，缺乏探索性训练信号，推理能力提升完全依赖后续SFT和RL。

Critical attention scaling in long-context transformers

这篇工作要解决的是：长上下文 Transformer 里 attention score 随上下文长度增加趋于均匀，导致 token 表示过度聚合、出现 rank collapse，而业界常用的 attention scaling 虽然有效，但缺少清晰理论解释。问题已经很现实，因为上下文长度继续扩展时，这类退化会直接侵蚀长程检索和信息分离能力。

TASTE: Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling

现有口语语言模型的语音token和文本模态存在语义gap，联合建模时无法同时保留副语言信息和语义对齐性，此前方案要么损失语义精度要么丢失副语言特征。

UltraLLaDA: Scaling the Context Length to 128K for Diffusion Large Language Models

现有扩散LLM的上下文长度普遍较短，长上下文行为没有被系统性研究，此前没有无需从头训练的扩散LM上下文扩展方案。

Fast Data Mixture Optimization via Gradient Descent

现有预训练和后训练的数据混合优化依赖人工启发式规则或大量模拟实验，成本高、扩展性差，没有自动化的高效优化方案。

Diffusion Language Models are Provably Optimal Parallel Samplers

扩散LM的并行采样优势缺乏严格的理论证明，此前仅靠实验观察到比AR LM采样快，没有理论边界支撑。

Rewriting Pre-Training Data Boosts LLM Performance in Math and Code

现有预训练语料中代码片段质量差，过往方法仅依靠过滤丢弃低质量数据，浪费大量可用原始素材，直接限制了大模型在代码生成、数学推理任务的性能上限。

Scaling with Collapse: Efficient and Predictable Training of LLM Families

过往仅验证了单变量控制场景下训练损失曲线可归一化到通用轨迹，但实际LLM系列训练中宽度、深度、学习率、批大小、权重衰减等超参数会联合缩放，该损失坍缩现象是否成立尚不明确，导致大模型训练可预测性不足。

Fantastic Pretraining Optimizers and Where to Find Them

过往宣称优于AdamW的优化器都存在两个方法缺陷：超参数调优不公平、评估设置不严谨，导致这些优化器无法在实际预训练中落地，社区无法判断哪些优化器真正有效。

Can Small Training Runs Reliably Guide Data Curation? Rethinking Proxy-Model Practice

工业界普遍用小代理模型的实验结果来指导全尺寸模型的预训练数据配方选择，但当前通用的固定超参数对比协议会导致数据质量的评估结论随超参数调整翻转，小模型实验的结论无法可靠迁移到全尺寸模型。

SPG: Sandwiched Policy Gradient for Masked Diffusion Language Models

Diffusion LLM（dLLM）的 log-likelihood 不可解析计算，导致标准 policy gradient 方法无法直接用于 RL 对齐。现有方法用 ELBO 等单侧近似作为替代，但会引入显著的策略梯度偏差。

Why Low-Precision Transformer Training Fails: An Analysis on Flash Attention

这篇论文解释了一个很顽固的训练失败现象：低精度 Transformer 训练配合 flash attention 时，loss 会突然爆炸，而且常规上常被当成随机数值不稳定。作者的结论是，这不是偶发噪声，而是由注意力内部相似的低秩表示与低精度舍入偏差相互放大，形成系统性失稳回路。

Cautious Optimizers: Improving Training with One Line of Code

过往针对Transformer预训练的优化器改进要么复杂度高、落地成本大，要么稳定性不足，无法在大规模预训练中广泛应用，亟需简单可落地的优化器改进方案。

LaDiR: Latent Diffusion Enhances LLMs for Text Reasoning

大模型的自回归解码无法回溯和修正之前生成的token，导致推理过程中容易出现错误积累，同时难以探索多样化的推理路径，限制了数学、逻辑等复杂推理任务的性能。

The Potential of Second-Order Optimization for LLMs: A Study with Full Gauss-Newton

过往二阶优化器的近似方案的性能上限不明确，无法判断现有近似方法还有多少提升空间，导致二阶优化的研发方向不清晰。

Variational Autoencoding Discrete Diffusion with Enhanced Dimensional Correlations Modeling

这篇论文解决的是 masked discrete diffusion 在少步采样时建模维度间相关性不足的问题。传统 MDM 从全 mask 状态逐步反遮盖多个维度，速度快，但当步数压得很低时，每一步主要依赖局部条件恢复，跨维度协同关系容易建不全，因此质量会明显掉。

Getting Your LLMs Ready for Reinforcement Learning with Lightweight SFT

这篇论文的核心结论是：RL 前的 cold-start SFT 不是越久越好，甚至“验证集上最好的 SFT checkpoint”常常不是最适合继续做 RL 的起点。原因在于模型会在 RL 之前就发生 distributional forgetting，过早偏离 base model 的广泛分布支持，导致后续 RL 虽然更会模仿训练格式，却更难探索、也更难被奖励信号有效塑形。

Expert Divergence Learning for MoE-based Language Models

MoE大模型预训练中普遍存在专家同质化问题，不同专家学习到的功能冗余，导致MoE的计算效率和性能上限被限制，过往的辅助损失无法有效引导专家的功能分化。

Lumos-1: On Autoregressive Video Generation with Discrete Diffusion from a Unified Model Perspective

这篇论文要解决的是：如何用尽量标准的 LLM 范式做统一的视频生成，同时避免 AR 视频模型常见的三类问题——视觉时空位置编码不合适、依赖外部文本编码器、以及逐 token 解码导致延迟过高。过去 AR 视频生成往往要么改得不像 LLM，要么在效率和统一性上都不够理想。

LLM Pretraining with Continuous Concepts

这篇论文要解决的是：next-token prediction 虽然是 LLM 预训练的默认目标，但它把学习信号几乎全部压到离散 token 上，未必是最样本高效的表征学习方式。过去大家通常通过蒸馏、辅助 loss 或 latent target 来补这个问题，但很少把连续概念直接混进语言模型主干状态中共同训练。

Intrinsic Entropy of Context Length Scaling in LLMs

长上下文对语言建模的影响缺乏统一理论解释：有研究发现长无关上下文有害，有研究发现长相关上下文的 loss 降低符合 scaling law，但没有一个框架能统一解释这些现象。

I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data?

现有实证观测确认LLM表征包含人类可解释概念，但对其涌现机制无严格理论解释， prior 工作多停留在现象验证，未提供可识别性的形式化保证。

Multi-Head Low-Rank Attention

长上下文LLM解码阶段KV缓存加载是推理瓶颈，现有多头潜注意力（MLA）虽减小了KV缓存体积，但单潜头无法张量并行切分，分布式解码时每个设备需冗余加载全量KV缓存，抵消了张量并行收益。

Muon Outperforms Adam in Tail-End Associative Memory Learning

这篇论文要解释的是：为什么 Muon 在 LLM 训练后期往往比 Adam 更快，优势具体来自哪里。过去大家知道 Muon 训练 loss 下降更快，但机制不清楚，因此也不知道它适用于哪些层、哪些数据分布、哪些训练阶段。

Logit‑KL Flow Matching: Non‑Autoregressive Text Generation via Sampling‑Hybrid Inference

非自回归文本生成的核心难点是离散序列依赖难建模，很多 NAR 方法要么质量差，要么推理又退化成复杂的迭代采样。

Continuous Chain of Thought Enables Parallel Exploration and Reasoning

这篇论文解决的是离散 token 级 CoT 天生串行，搜索能力受限，而很多组合推理问题需要并行保留多条候选轨迹。过去大家通过 self-consistency、tree search 或多样本采样弥补，但这些办法都把并行性放到采样层面，模型内部表征仍是单轨迹生成。

The Devil behind the mask: An emergent safety vulnerability of Diffusion LLMs

这篇论文的核心结论是：扩散语言模型有一类 AR LLM 不同的安全脆弱性，现有对齐机制在 masked-input、context-aware 攻击下会失效。过去大家更多把 dLLM 的优势放在并行解码和双向建模上，但这些同样带来了新的攻击面：攻击者可以利用 mask 与文本交错输入，操纵模型在填充过程中绕过安全边界。

Squeeze the Soaked Sponge: Efficient Off-policy RFT for Large Language Model

现有LLM强化微调（RFT）多为同策略方法，无法复用历史生成数据，训练数据效率低，难以规模化扩展。

Unveiling the Potential of Diffusion Large Language Model in Controllable Generation

现有自回归LLM生成结构化输出（如JSON）时可靠性不足，无法满足可控生成、工具调用等场景要求，现有可控生成方法多为后处理或prompt工程，未利用模型架构原生特性。

Pretrain Value, Not Reward: Decoupled Value Policy Optimization

现有RLHF标准流程先预训练奖励模型（RM）再在线学习价值函数（critic），在偏好数据固定的情况下，该流程存在冗余学习步骤，容易导致critic估计偏差和训练不稳定。

On the Design of KL-Regularized Policy Gradient Algorithms for LLM Reasoning

现有LLM策略梯度算法中的KL正则化设计（方向、归一化、估计器选择）分散在不同工作中，与异策略估计相互耦合，没有统一的推导框架明确各变体的正确加权方式，导致实践中算法选择依赖经验调参。

Evolution of Concepts in Language Model Pre-Training

这篇工作要解决的是：预训练过程中概念和可解释特征是如何逐步形成的，能否在训练快照之间连续追踪，而不是只看最终模型。过去关于 pretraining dynamics 的结论多来自 loss 曲线、线性 probe 或少量层级分析，缺少能跨训练阶段稳定对齐的特征级观察工具。

Implicit bias produces neural scaling laws in learning curves, from perceptrons to deep networks

这篇工作要解决的是：神经网络 scaling law 为什么会出现，而且这种规律是否不只存在于训练终点，而是贯穿整个学习过程。过去大多数 scaling law 工作关注最终 test loss 与模型/数据规模的幂律关系，但对训练动态本身为什么也呈规律性，解释并不充分。

Self-Speculative Masked Diffusions

Masked diffusion 模型在生成离散数据时需要大量前向推理步数（function evaluations），因为其 factorized 预测假设导致一次采样太多位置会严重降低质量。

Reinforcing General Reasoning Without Verifiers

现有DeepSeek-R1-Zero风格的RL推理训练依赖可规则校验的奖励，无法扩展到化学、法律等无法自动校验答案的通用领域；现有基于LLM校验器的 workaround 存在奖励 hacking、依赖强校验器、显存开销大的问题。

Ultra-Fast Language Generation via Discrete Diffusion Divergence Instruct

扩散大语言模型（dLLM）的生成速度慢，需要多步去噪，无法满足高吞吐推理的需求，现有dLLM加速方法多为采样策略优化，没有从训练蒸馏层面实现大幅提速。

PROS: Towards Compute-Efficient RLVR via Rollout Prefix Reuse

RLVR（带可验证奖励的强化学习）训练大推理模型时，on-policy rollout的成本随生成长度和模型规模快速上升成为训练瓶颈，现有方法默认每次生成独立rollout，完全没有利用相同查询下不同rollout的前缀冗余。

Learning to Reason over Continuous Tokens with Reinforcement Learning

现有离散token空间的CoT推理因中间步骤冗长导致计算和内存成本过高，而现有嵌入空间的隐式推理会损失推理清晰度和性能，此前没有方法能动态平衡推理的效率和质量。

On the Thinking-Language Modeling Gap in Large Language Models

大模型通过模仿人类语言中的思考过程获得推理能力，但经常在人类觉得简单的任务上失败，现有研究未从因果层面解释语言表达偏差对大模型推理能力的影响。

FlowRL: Matching Reward Distributions for LLM Reasoning

这篇工作要解决的是：当前 LLM reasoning RL 过于追求高回报轨迹，容易把少数高频奖励模式学得很尖，反而压掉低频但同样有效的推理路径。PPO、GRPO 这类 reward-maximizing 方法默认“更高 reward 就更该集中概率”，但在数学和代码推理里，正确解往往不止一种，过度 mode-seeking 会伤害探索、多样性和跨题泛化。

Unveiling the Basin-Like Loss Landscape in Large Language Models

这篇工作要解决的是：大模型参数空间里的 loss landscape 到底是什么形状，以及这件事如何解释预训练与对齐微调的能力保留和能力冲突。过去很多讨论默认 fine-tuning 容易破坏原能力，但缺少对大模型尺度下“哪些方向平、哪些方向危险”的系统刻画。

ChainGPT: Dual-Reasoning Model with Recurrent Depth and Multi-Rank State Updates

固定深度的Transformer架构无法支持端到端的复杂深度推理，现有CoT类方法依赖自然语言生成，成本随序列长度快速上升，此前没有方法能在低计算成本下提升推理深度。

FlexiCodec: A Dynamic Neural Audio Codec for Low Frame Rates

现有低帧率神经音频Codec在帧率低于12.5Hz时会丢失大量语义信息，无法同时满足语音LM低序列长度要求和语音细节保留要求，现有方法默认Codec采用固定帧率，未解决语义信息和瞬态语音细节的解耦问题。

BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping

这篇论文要解决的是：LLM 的 off-policy RL 虽然更省样本，但很容易熵塌缩、训练不稳，甚至策略崩掉。过去大家常把问题归因于 stale data 或 reward noise，但作者指出更直接的机制是 PPO 类目标在 off-policy 下会系统性地放大负优势样本的压制作用，并且固定 clipping 会阻断增加熵的更新。

Reinforcement Learning with Verifiable Rewards Implicitly Incentivizes Correct Reasoning in Base LLMs

这篇论文要解决的是：RLVR 到底是真的提升了 base LLM 的推理能力，还是只提高了采样时撞对答案的概率。这个问题一直有争议，因为传统 Pass@K 无法区分模型是否真的学会了更好的推理轨迹，还是只是产出更多杂乱但偶尔正确的样本。

COSMOS: A Hybrid Adaptive Optimizer for Efficient Training of Large Language Models

LLM 训练中 AdamW 无法捕捉坐标间依赖且内存开销大，SOAP 等方法虽然建模了坐标依赖但内存更高，低秩投影方法（如 GaLore）又丢失了残差空间的梯度信息。需要一个既能捕捉坐标依赖、又不爆内存的优化器。

Group Representational Position Encoding

现有位置编码（RoPE、ALiBi 等）各自独立发展，缺乏统一的数学框架来理解它们的共性和差异。RoPE 是旋转，ALiBi 是加性偏置，但没有人从群论角度把它们统一起来，也就难以系统地探索新的位置编码设计空间。

GPG: A Simple and Strong Reinforcement Learning Baseline for Model Reasoning

GRPO 等 RL 方法在增强 LLM 推理能力时引入了代理损失函数、critic 模型、参考模型和 KL 约束等复杂组件，增加了训练复杂度。能否回归最朴素的策略梯度，去掉这些附加组件，同时保持甚至超越 GRPO 的性能？

Cutting the Skip: Training Residual-Free Transformers

Transformer的残差连接虽然稳定了训练，但会破坏表征的层级结构，而此前没有方法可以稳定高效地训练无残差的Transformer，默认残差连接是Transformer训练必不可少的组件。

Flow of Spans: Generalizing Language Models to Dynamic Span-Vocabulary via GFlowNets

现有自回归LM从固定词汇表逐token生成，状态空间是树结构，灵活性和表达能力受限；现有动态span词汇表的方法没有建模DAG状态空间，探索受限且存在路径偏差，此前没有用GFlowNets建模span级DAG生成空间的LM。

Cross-Tokenizer Likelihood Scoring Algorithms for Language Model Distillation

这篇工作解决的是知识蒸馏里一个很实际但常被绕开的障碍：teacher 和 student 如果 tokenizer 不同，就没法直接比较 next-token likelihood。现有蒸馏通常默认共享词表，或者退回 sequence-level 目标，原因不是这个问题不重要，而是跨 tokenizer 的概率空间不对齐很难做严谨。随着边缘部署需要更小词表、更小 embedding，这个问题变得值得重新认真解决。

Discrete Diffusion Trajectory Alignment via Stepwise Decomposition

这篇工作解决的是离散 diffusion model 如何做基于奖励或偏好的对齐，而不是只会最大似然去噪。现有思路如果直接把最终样本奖励反传到整条去噪轨迹，信用分配很差、优化也重，和 autoregressive LM 上成熟的 preference optimization 框架相比，离散 diffusion 还缺少一个自然对应物。作者要做的是把“轨迹对齐”拆成可训练、可解释的逐步目标。

DrVoice: Parallel Speech-Text Voice Conversation Model via Dual-Resolution Speech Representations

这篇工作解决的是语音对话模型里文本和语音生成不同步的问题。现有端到端语音 LLM 一类把语音 token 放到语言模型外部单独生成，文本决策感知不到正在合成的语音；另一类虽做 joint autoregressive modeling，但单一分辨率的语音表示很难同时兼顾语义对齐和声学细节。作者想构建一个真正并行、互相感知的 speech-text conversation model。

STEM: SCALING TRANSFORMERS WITH EMBEDDING MODULES

现有细粒度稀疏Transformer方法存在训练不稳定、负载不平衡、通信开销大的问题，无法在不损失性能的前提下降低每token计算成本，此前的稀疏方法都需要动态路由，带来额外开销。

StochasTok: Improving Fine-Grained Subword Understanding in LLMs

现有LLM子词级理解能力差，在数单词字母、拼写纠错、押韵、文字游戏等任务表现显著低于预期，核心原因是tokenizer掩盖了词的细粒度结构，现有改进方案如字符级tokenization、token dropout都会大幅提升计算成本，效果提升不稳定。

Diffusion Language Model Knows the Answer Before It Decodes

扩散语言模型（DLM）推理速度远低于自回归模型，核心瓶颈是双向注意力开销和多步refinement步骤过多，现有加速方案都从减少步骤或优化注意力入手，未利用DLM本身的收敛特性。

Achieving low-bit Muon through subspace preservation and grid quantization

这篇论文要解决的问题是：如何把 Muon 优化器的状态进一步做低比特压缩，而不被其正交化步骤放大量化误差。现有低比特优化器压缩方法大多默认更新是逐元素或逐向量稳定的，但 Muon 会对矩阵更新做正交化，这会把原本可控的小误差重分布并放大，导致直接套用 AdamW 那套量化办法效果很差。

Learned Meta-Tokens for Language Modeling

Transformer LM 难以可靠捕获远距离上下文信息。已有的位置编码和注意力机制在长距离依赖上表现不稳定，尤其在需要跨越长上下文回忆特定信息时。

KaVa: Latent Reasoning via Compressed KV-Cache Distillation

LLM 的 chain-of-thought 推理虽然有效但冗长，带来显著的计算和内存开销。latent reasoning（用连续隐状态代替显式文本推理）是一种高效替代，但缺乏有效的监督信号，在复杂推理任务上效果受限。

Understanding the Emergence of Seemingly Useless Features in Next-Token Predictors

这篇工作要解释的是：next-token 训练出来的 Transformer 为什么会学到一些对“下一 token 预测”看似无用、但对更远期结构（世界模型、语法）有用的抽象特征，以及这些特征到底来自梯度信号的哪一部分。

Bayesian Attention Mechanism: A Probabilistic Framework for Positional Encoding and Context Length Extrapolation

这篇工作要解决的是：位置编码为什么能决定上下文长度外推，以及如何用一个统一理论指导比 ALiBi/NoPE 更强的长上下文泛化。过去各种 PE 方法多数靠经验设计和有限 benchmark 证明有效，但缺少统一解释，所以很难知道哪些形式只是拟合训练长度，哪些真的能跨长度稳健外推。

Out of the Memory Barrier: A Highly Memory-Efficient Training System for LLMs with Million-Token Contexts

这篇工作要解决的是：把 LLM 训练上下文拉到百万 token 时，真正卡住的首先不是算力而是显存，尤其是随序列长度线性增长的 activation 和不断膨胀的 KV cache。过去长上下文训练常用 checkpointing、并行切分等手段缓解，但在百万级长度上仍会因为显存碎片、缓存梯度和数据搬运而碰到系统瓶颈。

Can Speech LLMs Think while Listening?

语音大模型在复杂推理任务上表现差，而文本 LLM 已经通过 CoT 显著提升了推理能力。本文探索的核心问题是：如何让语音 LLM 在「听」的同时「想」，既获得 CoT 带来的推理增益，又不引入过大的响应延迟。

Rubrics as Rewards: Reinforcement Learning Beyond Verifiable Domains

带可验证奖励的强化学习（RLVR）仅能用于数学、编程这类有明确二元对错的任务，无法扩展到医疗、科学这类需要多维度判断的真实场景，现有评分表（rubrics）仅用于评估，未被充分探索作为on-policy训练的奖励信号。

Why DPO is a Misspecified Estimator and How to Fix It

直接偏好优化（DPO）存在统计误配问题，当生成偏好的真实奖励函数无法被参数化策略类实现时，会出现偏好反转、奖励下降、对偏好数据分布敏感等失效问题，现有方案均假设DPO估计是无偏的，未从统计层面分析DPO的误配问题。

When Data is the Algorithm: A Systematic Study and Curation of Preference Optimization Datasets

这篇论文要解决的是 DPO 数据集质量不透明、配方差异大、但社区缺少系统比较的问题。过去很多工作把偏好优化的成败归因于算法本身，实际上数据筛选方式、任务覆盖和偏好标注质量往往已经决定了上限。

DASH: Deterministic Attention Scheduling for High-throughput Reproducible LLM Training

LLM训练的确定性需求导致吞吐量下降，FlashAttention-3的确定性反向传播比非确定性版本吞吐量最高下降37.9%，根源是梯度累积操作必须序列化导致硬件利用率低，现有方案要么牺牲确定性要么牺牲性能，未从调度层面优化。

Learning to Parallel: Accelerating Diffusion Large Language Models via Learnable Parallel Decoding

扩散大语言模型（dLLM）现有并行解码策略使用固定的、与输入无关的启发式规则（如置信度阈值），无法适配不同输入特性，速度质量trade-off次优，现有方案均使用固定规则，未采用自适应策略。

What Layers When: Learning to Skip Compute in LLMs with Residual Gates

现有LLM动态跳层方案如早退出、混合深度（MoD）模型训练不稳定，需要大量重新训练，无法在预训练好的模型上稳定微调，现有方案重新训练开销大。

Hierarchy Decoding: A Training-free Parallel Decoding Strategy for Diffusion Large Language Models

离散扩散大语言模型（dLLM）解码计算开销仍然很高，现有并行解码方案每步生成token数量少，信息利用率低，现有方案未采用分治思路优化解码步骤。

Multilingual Routing in Mixture-of-Experts

这篇论文要回答的是：MoE 大模型在多语言训练时到底如何路由，不同语言是共享专家还是各走各的，而这种路由模式和语言能力之间有什么关系。过去大家更多关注 dense multilingual LM 的参数共享，很少系统分析 sparse routing 的层级行为，因此 MoE 多语言能力为什么强、为什么弱，往往只停留在经验猜测。

Dynamic Chunking for End-to-End Hierarchical Sequence Modeling

这篇论文要解决的是：tokenization 仍然是端到端 foundation model 的外部先验，限制了模型自己学习层级结构和分段策略。过去大家默认先分词、再建模、再反解码，这个流水线很有效，但它把离散切分规则固定死了，模型无法根据内容和上下文动态决定什么应该组成一个更高层单元。

Toward Safer Diffusion Language Models: Discovery and Mitigation of Priming Vulnerability

扩散语言模型（DLM）的迭代去噪推理机制存在未被研究的越狱攻击安全漏洞，现有对齐方案均针对自回归（AR）模型设计，未覆盖DLM并行生成的特有风险。

TROLL: Trust Regions Improve Reinforcement Learning for Large Language Models

现有LLM RLHF的主流PPO裁剪目标是KL信任域的粗糙近似，易导致更新不稳定、性能次优，此前工作仅优化优势估计和归一化，未改动裁剪机制本身。

Beyond Pass@ 1: Self-Play with Variational Problem Synthesis Sustains RLVR

这篇论文要解决的是 RLVR 在提升 Pass@1 的同时压缩策略熵、损害 Pass@k 的问题，也就是模型变得更会“押一个答案”，但不再保留多样推理路径。此前很多 RLVR 工作默认 verifiable reward 足够强，只要单样本正确率上涨就是训练成功；但对复杂推理任务，Pass@k 往往更接近模型真实上限，而熵坍缩会把这个上限一起拉低。

Quantile Advantage Estimation: Stabilizing RLVR for LLM Reasoning

基于可验证奖励的RLVR用于LLM推理微调时，易出现熵崩塌或熵爆炸的训练振荡，现有无价值RL方法（如GRPO/DAPO）使用的均值基线在奖励离群点场景下会错误惩罚负优势样本，是振荡的核心原因。

Frayed RoPE and Long Inputs: A Geometric Perspective

RoPE在输入长度超过训练长度时性能下降，现有分析仅归因于长输入下通道旋转分布外溢，但未解释旋转异常与注意力病理行为的关联机制。

Long-Context Attention Benchmark: From Kernel Efficiency to Distributed Context Parallelism

长上下文训练的注意力优化分为内核级优化和上下文并行两类，现有评估不系统：内核级对比不完整，上下文并行方案多为框架专属，不同场景下的性能边界不清晰。

Reasoning with Sampling: Your Base Model is Smarter Than You Think

现有前沿推理能力被认为是RL微调阶段涌现的，基座模型本身不具备同等推理能力，此前未探索仅通过推理阶段采样从基座模型引出推理能力的可行路径。

How Far Can Unsupervised RLVR Scale LLM Training?

URLVR（无监督可验证奖励 RL）看似能绕开标注瓶颈，但“用模型内在信号当奖励”到底能扩展到多大规模、何时会崩溃，缺少统一解释与边界刻画。

CR-Net: Scaling Parameter-Efficient Training with Cross-Layer Low-Rank Structure

现有低秩/参数高效训练在预训练场景常面临三难：性能掉点、额外计算开销、以及对 activation memory 的节省有限。

Rethinking Data Curation in LLM Training: Online Reweighting Offers Better Generalization than Offline Methods

这篇论文的核心结论是：LLM 训练中的数据整理不应主要靠离线筛选和配比，而应在训练过程中在线重加权，因为在线方式泛化更好，也更适应模型和任务变化。过去的数据选择、过滤、mixing 往往先离线定好再训练，这样工程上重，遇到模型规模变化或目标任务变化时很脆弱，而且硬过滤常牺牲数据多样性。

UALM: Unified Audio Language Model for Understanding, Generation and Reasoning

现有音频语言模型将音频理解、文本转音频生成作为独立任务处理，未实现统一建模，无法支持跨任务的多模态推理。

Test-Time Training Done Right

现有测试时训练（TTT）方法通过推理时更新快速权重存储序列上下文，但GPU利用率极低（通常低于5%），且仅支持1D有序序列，无法处理长序列和多模态数据。

Next-ToBE: Probabilistic Next Token-Bag Exploitation for Activating Anticipatory Capacity in LLMs

自回归LLM本身具备长程未来token预判能力，但传统单步next-token预测的独热目标会抑制该能力，此前没有系统方法量化、增强并利用这种预判能力提升推理性能。

Extending the Context of Pretrained LLMs by Dropping Their Positional Embedding

这篇论文的核心结论很直接：延长 pretrained LLM 上下文长度，不一定需要昂贵的长序列再训练；把训练后的 positional embeddings 去掉，配合合适处理，模型就可能在更长长度上泛化。过去长上下文扩展通常默认要做 continued pretraining 或 long-context finetuning，因为显式位置编码把模型绑定在预训练见过的长度范围内，超出后外推容易崩。

Buffer Matters: Unleashing the Power of Off-Policy Reinforcement Learning in Large Language Model Reasoning

这篇论文要解决的是：RLVR 在大模型推理后训练里太依赖 on-policy，新样本利用率低，难题训练信号又被快速冲淡。现有像 GRPO 这样的框架每轮只吃当前策略采出的数据，历史高价值轨迹和难例往往被浪费，导致学习效率不高，也不利于持续修正模型在困难样本上的策略。

Music Flamingo: Scaling Music Understanding in Audio Language Models

这篇论文要解决的是：开放音频-语言模型在 music understanding 上长期偏弱，原因不是只有模型不够大，更关键是高质量音乐数据和细粒度标注稀缺。结果就是很多现有音频模型只能产出短而泛的 caption，回答不了深入问题，也难覆盖不同音乐文化与歌曲结构。

RACE Attention: A Strictly Linear-Time Attention for Long-Sequence Training

Softmax attention 的二次复杂度在超长序列（>4M tokens）下即使用 FlashAttention 也无法完成单层前后向传播。现有线性 attention 近似方法要么精度损失大，要么实际加速有限。需要一个严格线性于序列长度和 embedding 维度的 attention 替代方案。

MATH-Beyond: A Benchmark for RL to Expand Beyond the Base Model

当前开源 RL 数学推理方法（受 DeepSeek-R1 启发）看似提升了数学能力，但在 MATH-500 和 AIME 2024 上，base model 用 pass@1024 已经几乎能解所有题。这说明 RL 主要是在 sharpen 已有解法分布，而非发现新能力。缺少一个能真正测试 RL 是否带来新技能的 benchmark。

UltraMemV2: Memory Networks Scaling to 120B Parameters with Superior Long-Context Learning

这篇论文要解决的是：能否用 memory-layer 架构保留 MoE 的参数效率，但避免 MoE 推理时高昂的 memory access 成本。此前的 UltraMem 已经证明这条路线可行，但性能大致只追平 2-expert MoE，离实际常用的 8-expert 级别还有明显差距，所以问题从“能不能做”变成了“能不能做到足够强”。

On Powerful Ways to Generate: Autoregression, Diffusion, and Beyond

这篇论文要解决的是：diffusion language model 相比自回归语言模型，到底在计算能力上强在哪里、边界在哪里。最近非自回归生成在实践上越来越强，但理论上大家还不清楚：any-order 和并行生成只是工程加速，还是会带来 AR 做不到的表达与计算优势。

ParallelBench: Understanding the Trade-offs of Parallel Decoding in Diffusion LLMs

Diffusion LLM（dLLM）的核心卖点是并行解码加速推理，但并行解码的条件独立假设忽略了 token 间依赖，当依赖较强时生成质量必然下降。现有工作大多忽视这个 trade-off，标准 benchmark（数学/代码）也无法充分暴露并行解码的质量退化。

Markovian Transformers for Informative Language Modeling

现有Chain-of-Thought（CoT）推理过程经常与LLM实际决策过程不一致，存在隐写问题，此前没有机制强制CoT承载全部推理信息以保证忠实性。

ES-dLLM: Efficient Inference for Diffusion Large Language Models by Early-Skipping

扩散大语言模型（dLLM）推理需要每一步处理全部输入上下文，计算成本极高，此前没有训练免费的加速方案利用迭代间中间表示的冗余性。

Coupling Experts and Routers in Mixture-of-Experts via an Auxiliary Loss

这篇工作要解决的是：MoE 里的 router 决策和 expert 真正擅长处理什么，常常并不对齐。现有做法通常靠 load balancing、z-loss 或容量约束去稳训练和防塌缩，但这些约束主要管“分得均不均”，不管“分得对不对”，所以路由常会学成一个弱相关的分桶器。

From Collapse to Control: Understanding and Extending Context Length in Emerging Hybrid Models via Universal Position Interpolation

这篇工作要解决的是：Hybrid Mamba-Transformer 模型一旦推到训练窗口之外，长上下文能力会突然崩掉，而原因此前并不清楚。纯 Transformer 的长上下文外推已有 RoPE scaling 一类方案，纯状态空间模型也有各自稳定化技巧，但混合架构里两套位置/状态机制耦在一起，现有方法不能直接套。

SemHiTok: A Unified Image Tokenizer via Semantic-Guided Hierarchical Codebook for Multimodal Understanding and Generation

这篇论文要解决的是：能否用一个统一的离散图像 tokenizer 同时服务多模态理解和高保真生成，而不是在语义和像素细节之间做一个脆弱折中。过去的统一 tokenizer 通常把语义蒸馏和像素重建硬绑在同一套码本或同一训练目标里，结果往往是理解需要的高层语义和生成需要的低层纹理互相拉扯；这个问题现在重要，是因为原生多模态预训练越来越依赖共享 token 空间，tokenizer 的偏置会直接限制上层 LM 的统一建模能力。

On Code-Induced Reasoning in LLMs

这篇论文的核心问题是：代码数据为什么能提升 LLM 推理，真正起作用的是代码的语义、结构，还是更抽象的程序组织形式。过去很多工作把“加代码数据有用”当经验事实接受了，但缺少可控拆解，因此很难指导 pretrain 数据配比、合成 reasoning data 设计，或者判断 pseudocode/flowchart 这类替代形式是否足够。

Predicting LLM Reasoning Performance with Small Proxy Model

大模型预训练成本极高，需要用小代理模型预演优化训练配方，但推理能力是涌现性的，仅在7B以上参数规模可靠出现，此前≤1B的小模型无法有效预测大模型的推理性能。

Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling

标准离散扩散模型将所有未观测状态统一映射为[MASK]标记，造成信息空洞，掩码token的全局语义信息无法在去噪步间传递，此前的离散扩散方案没有解决掩码状态信息丢失的问题。

Condition Errors Refinement in Autoregressive Image Generation with Diffusion Loss

这篇论文想解决的是：自回归图像生成里引入 diffusion loss 之后，为什么它往往比条件扩散更稳、更能纠正条件误差。过去很多工作观察到 AR+diffusion loss 有效果，但更多停留在经验层面，没有解释“条件是错的时为什么不会一路错下去”。

MeSH: Memory-as-State-Highways for Recursive Transformers

这篇论文要解决的是：递归 Transformer 虽然能把计算深度和参数深度解耦，但在相同计算预算下，少参数多迭代的递归模型通常仍比普通非递归模型差。过去大家把原因笼统归结为容量不足，但作者认为更准确的问题是：同一隐状态被迫同时承载长期状态和瞬时计算结果，且每轮迭代的计算模式缺乏分化。

D-AR: Diffusion via Autoregressive Models

这篇论文想解决的是：能不能把 diffusion 过程完全改写成标准 next-token 自回归建模，从而直接复用成熟的 AR 训练和推理栈，而不是为图像扩散单独维护一套模型机制。过去 AR 和 diffusion 一直被视为两条生成路线，混合工作也常需要改 mask、改 objective 或改 sampling；这篇工作试图把二者统一到更纯粹的 AR 形式里。

Beyond Fixed: Training-Free Variable-Length Denoising for Diffusion Large Language Models

这篇论文要解决的是 diffusion LLM 的一个很实际的硬伤：推理时必须预先固定生成长度，而真实任务的最佳长度差异很大，短了答不全，长了又浪费算力甚至伤性能。过去要么保守地给长长度，要么为不同任务单独挑长度，但这和 DLLM 并行生成的实用性是冲突的。

WSM: Decay-Free Learning Rate Schedule via Checkpoint Merging for LLM Pre-training

传统学习率调度的衰减阶段会限制大模型预训练性能，无衰减调度方案缺乏统一理论框架，此前的模型合并类无衰减方案无法兼容多种衰减策略和优化器。

MotionGPT3: Human Motion as a Second Modality

现有多模态LLM统一处理离散文本和连续运动时，运动量化会引入误差限制生成质量，同时单流backbone会加剧跨模态干扰，此前的运动-语言多模态方案没有同时解决量化误差和跨模态干扰的问题。

Quant-dLLM: Post-Training Extreme Low-Bit Quantization for Diffusion Large Language Models

扩散大语言模型（dLLM）规模持续增长需要压缩部署，但传统针对AR LLM的后训练量化（PTQ）直接应用到dLLM的2比特量化时性能下降严重，此前没有针对dLLM的超低比特后训练量化方案。

LLM-JEPA: Large Language Models Meet Joint Embedding Predictive Architectures

当前LLM预训练、微调均依赖输入空间重建的生成式目标，而视觉领域已验证嵌入空间的JEPA目标性能远优于输入空间目标，但语言领域长期缺乏可行的JEPA式训练方案，跨模态目标设计的gap未被填补。

Late-to-Early Training: LET LLMs Learn Earlier, So Faster and Better

能否用已有的小预训练模型加速更大模型的训练？现有的知识迁移方法（如 Net2Net、LiGO）主要做参数初始化，没有在训练过程中持续利用小模型的表示知识，导致加速效果有限。

DreamOn: Diffusion Language Models For Code Infilling Beyond Fixed-size Canvas

Diffusion Language Model（DLM）做代码补全时有一个硬伤：必须预先指定固定长度的 mask 序列。如果预设长度和实际需要的补全长度不匹配，性能会严重下降。这个限制使得 DLM 在实际代码 infilling 场景中几乎不可用。

Video-GPT via Next Clip Diffusion

如何将 GPT 的自回归预测范式从离散 token 扩展到视频这种连续时空信号？现有视频生成方法要么是纯 diffusion（缺乏长程自回归能力），要么是 token 化后做 AR（离散化损失大），缺乏一种既能处理短期细节又能做长程预测的统一方案。

Taming Curvature: Architecture Warm-up for Stable Transformer Training

十亿参数以上Transformer训练不稳定，易出现瞬态loss spike和发散问题，浪费大量算力；现有基于EoS理论的曲率控制方法需要复杂的曲率估计，无法落地到大模型工业训练场景。

Conditional Advantage Estimation for Reinforcement Learning in Large Reasoning Models

这篇论文要解决的是：在 RLVR 训练大推理模型时，像熵、回答长度这类训练统计确实和推理行为相关，但现有做法通常靠手工 reward/advantage shaping 注入这些先验，方向和强度都很难调。问题不在于这些先验没用，而在于‘简单地奖励更长/更短、更高熵/更低熵’过于僵硬，容易把训练往错误方向推，甚至直接训崩。

RL Grokking Recipe: How Does RL Unlock and Transfer New Algorithms in LLMs?

LLM 通过 RL 训练后，到底能不能学到 pretrain 阶段完全没见过的新推理策略？还是只是在锐化已有能力？这个问题一直有争议，缺乏控制良好的实验证据。

Don't Settle Too Early: Self-Reflective Remasking for Diffusion Language Models

基于掩码的扩散语言模型（DLM）生成的token一旦确定就无法修改，没有错误修正能力，导致生成质量普遍低于AR模型，核心难点是无法准确识别生成的错误token。

DualToken: Towards Unifying Visual Understanding and Generation with Dual Visual Vocabularies

当前视觉tokenizer无法同时满足理解和生成的需求：重建式tokenizer适合生成但缺乏高层语义，对比学习式tokenizer适合和语言对齐做理解但无法解码回像素，导致统一多模态大模型的视觉表示存在底层冲突。

Consolidating Reinforcement Learning for Multimodal Discrete Diffusion Models

离散扩散模型（DDM）的非自回归范式导致重要性采样不可行、rollout复杂，无法直接适配GRPO等强化学习方法，无法用奖励信号优化多模态DDM的生成质量和偏好对齐度。

DUET: Optimizing LLM Training Data Mixtures via Noisy Feedback from Unseen, Downstream Evaluation Tasks

LLM性能高度依赖训练数据和下游任务的匹配度，但实际场景中下游评估任务数据不可见（如用户聊天数据加密），只能获取带噪声的反馈信号，现有数据配比优化方法无法利用这类信号优化训练数据混合比例。

Taming Momentum: Rethinking Optimizer States Through Low-Rank Approximation

Adam、Muon等现代大模型优化器依赖一阶和二阶动量，带来大量内存开销，制约了大模型训练的可扩展性和计算效率，现有动量压缩方法会导致优化性能下降。

R-Zero: Self-Evolving Reasoning LLM from Zero Data

现有自进化LLM依赖大量人类标注的任务和标签进行微调或RL，存在数据瓶颈，无法实现完全自主的能力进化，限制了模型超越人类能力的可能性。

Why Less is More (Sometimes): A Theory of Data Curation

这篇工作要解决的是：为什么有时“更少但更精心筛选的数据”会比“更多原始数据”泛化更好。过去 scaling law 默认更多数据单调更优，但 LIMO、s1 一类结果说明在某些 regime 下 aggressive curation 反而更有效，现有解释多停留在经验层面，缺少能给出边界条件的理论框架。

RL's Razor: Why Online Reinforcement Learning Forgets Less

大模型微调阶段的灾难性遗忘问题长期缺乏机制解释，此前观测到RL微调比SFT遗忘更轻但无理论支撑，领域普遍回避不同微调范式的遗忘特性差异研究，仅关注下游任务性能。

Group-Relative REINFORCE Is Secretly an Off-Policy Algorithm: Demystifying Some Myths About GRPO and Its Friends

GRPO等分组相对REINFORCE变种此前被普遍归类为严格同策略算法，对异策略经验容忍度极低，限制了RLHF的经验复用效率，领域未从第一性原理层面推导这类算法的属性边界。

ExGRPO: Learning to Reason from Experience

现有基于可验证奖励的大模型推理RL训练（RLVR）采用同策略更新，单轮更新后即丢弃滚出经验，计算效率低、训练不稳定，此前研究未明确推理场景下高价值经验的判定标准。

DES-LOC: Desynced Low Communication Adaptive Optimizers for Foundation Models

大模型分布式训练的DDP模式受带宽限制，现有低通信量方案要么仅同步参数无法适配Adam类自适应优化器，要么同步所有优化器状态导致通信量翻3倍，无理论保证的启发式方案训练不稳定。

DNT: a Deeply Normalized Transformer that can be trained by Momentum SGD

Transformer训练长期依赖AdamW等自适应学习率优化器，无法使用动量SGDW训练，此前研究将其归因于梯度重尾分布，但未提出可落地的架构修正方案，限制了训练的内存效率和速度。

MT-DAO: Multi-Timescale Distributed Adaptive Optimizers with Local Updates

分布式自适应优化器采用低通信量本地更新策略时，动量的时间尺度与长更新间隔不匹配，导致动量衰减过快、优化噪声大，性能比全同步方案低，此前工作未解决该时间尺度不匹配问题。

Data-Centric Lessons To Improve Speech-Language Pretraining

现有语音语言预训练的性能提升多归因于架构和训练方法优化，没有系统的受控消融研究数据处理与构造的影响，不同工作的性能差异无法归因到数据因素，限制了语音LM的性能进一步提升。

Forward-Learned Discrete Diffusion: Learning how to noise to denoise faster

现有离散扩散模型采用固定的马尔可夫前向加噪链，反向生成过程用因子化分布参数化，导致采样步数多、速度慢，此前研究仅优化反向过程，未调整前向加噪过程来适配反向生成的简化约束。

Routing Manifold Alignment Improves Generalization of Mixture-of-Experts LLMs

这篇论文要解决的是：MoE LLM 的容量很大，但 router 经常不是最优的，导致实际下游泛化和“如果路由选对了本该有的表现”之间存在明显差距。过去很多工作把重点放在 expert 扩容或负载均衡上，而没有认真处理 router 表征是否真的和任务结构对齐；作者认为这才是 MoE 泛化差距的重要来源。

Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding

这篇论文要解决的是：Diffusion LLM 虽然提供了非自回归文本生成路线，但开源模型在实际推理速度上通常仍落后于 AR 模型，主要因为 bidirectional 结构难以复用 KV cache，且并行解多个 token 时常出现质量下降。问题不在于 diffusion LM 能不能生成文本，而在于它还没有一个足够接近 AR serving 习惯的高效解码栈。

MoM: Linear Sequence Modeling with Mixture-of-Memories

现有线性序列建模方法（线性注意力、SSM、线性RNN）普遍将输入序列压缩为单个固定大小的记忆状态，导致召回密集型任务性能次优。过往优化方案要么牺牲线性复杂度的效率优势，要么未能从根源解决记忆容量不足的问题。

Unveiling Downstream Performance Scaling of LLMs: A Clustering-Based Perspective

LLM预训练阶段无法准确预测下游任务性能，现有预测方案受涌现效应、任务难度不均、缩放模式不一致的影响准确率低。过往方法未对任务按缩放特征分类，导致预测方差过高无法落地。

MHLA: Restoring Expressivity of Linear Attention via Token-Level Multi-Head

线性注意力直接应用时性能下降明显，现有修复方案通过引入额外模块（深度可分离卷积、少量自注意力块）重新带来计算开销，违背了线性注意力的效率初衷。过往方案未解决全局上下文坍缩的根源问题。

A Unification of Discrete, Gaussian, and Simplicial Diffusion

这篇论文要解决的是：离散序列上的 diffusion 现在分成三套主要路线——离散状态空间 diffusion、欧氏空间 Gaussian diffusion、以及 simplex diffusion——它们都在建模同一类对象，但算法、理论和数值特性彼此割裂，导致研究者在 DNA、蛋白、语言等任务上很难系统比较和迁移方法。过去的统一理论往往只覆盖其中两类，或者停留在很抽象的层面，不能解释 practical trade-off：离散 diffusion 域最自然，Gaussian diffusion 算法最成熟，simplex diffusion 理论上兼得两边优点但常被数值不稳定拖累。作者要做的是给三者一个共同框架，并说明它们何时等价、何时只是近似相关。

Latent Denoising Makes Good Tokenizers

这篇论文要解决的是：tokenizer 对生成模型极其关键，但大家通常按重建误差、感知质量或压缩率去训练 tokenizer，却没有直接回答‘什么样的 tokenization 对下游生成最有利’。作者的判断是，现代生成模型无论是 diffusion 的高斯去噪、masked modeling 的掩码恢复，还是其他 corruption-reconstruction 范式，核心训练目标都可以看成 denoising；因此如果 tokenizer 学到的 latent embedding 在被噪声污染后仍容易恢复原信号，那么它会更适配生成建模。过去 tokenizer 往往和下游生成目标脱节，只保证编码-解码重建，不保证 latent 本身适合做 denoising 学习。

Fast-dLLM v2: Efficient Block-Diffusion LLM

AR LLM 的逐 token 解码限制了推理效率，而从头训练 diffusion LLM 需要海量数据（如 Dream 用了 580B token）。如何低成本地将已有 AR 模型转化为支持并行生成的 diffusion LLM？

Probing Rotary Position Embeddings through Frequency Entropy

RoPE 被广泛使用但其内部频率结构缺乏系统理解。已有研究对高频和低频维度的作用给出了相互矛盾的结论，缺少统一的解释框架。

MrRoPE: Mixed-radix Rotary Position Embedding

RoPE 长度外推方法（NTK-aware、YaRN、PI 等）种类繁多但缺乏统一理论框架，难以系统比较和改进。

StableToken: A Noise-Robust Semantic Speech Tokenizer for Resilient SpeechLLMs

主流语义语音 tokenizer 对与语义无关的声学扰动（如噪声）非常脆弱——即使在高信噪比下语音完全可懂，token 序列也会剧烈变化，增加下游 LLM 的学习负担。根源是单路径量化架构和对中间 token 稳定性无感的训练信号。

DPad: Efficient Diffusion Language Models with Suffix Dropout

扩散语言模型（dLLM）解码时每一步预测所有后缀token但仅保留小部分，计算冗余度极高，现有优化方案要么需要重新训练模型，要么损失生成质量，无训练开销的高效优化方案缺失。