NeurIPS 2024

DataComp-LM: In search of the next generation of training sets for language models

这篇工作要解决的核心问题是：语言模型训练集到底该怎么系统地做数据筛选、去重和混合，才能在可控实验框架下找到“下一代训练集”的更优配方。过去数据工作常见两种问题：一是语料、训练 recipe、评测集都不统一，导致方法很难公平比较；二是许多经验结论只在单一模型规模或私有数据上成立，外部很难复现。

The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale

这篇论文要解决的是：通用 Web 语料在规模上足够但噪声、重复与低质内容严重，导致预训练算力被“无效 token”吞噬，而现有清洗流程往往不可复现或只在小规模上验证。

RedPajama: an Open Dataset for Training Large Language Models

闭源大模型的训练数据集制作流程不透明、高质量公开预训练数据稀缺，此前开源模型普遍使用无完整公开元数据的自制数据集，阻碍了可复现的开源LLM研发。

Fractal Patterns May Illuminate the Success of Next-Token Prediction

这篇论文的核心问题是：为什么 next-token prediction 这种看起来很局部的训练目标，能学出远超局部匹配的泛化与结构能力。过去对此的解释多半来自经验成功、信息论直觉或 scaling law 观察，但缺少一种能把自然数据结构和训练目标联系起来的更具体图景；作者尝试用分形模式来解释。

Algorithmic progress in language models

此前大模型性能提升的来源被普遍归因于硬件算力和模型规模scaling，训练算法的迭代速率及其对性能的贡献占比未被量化评估，缺少跨10年以上的统一基准统计。

Megalodon: Efficient LLM Pretraining and Inference with Unlimited Context Length

Transformer的自注意力二次复杂度和弱长度外推性限制了长序列建模，现有次复杂度方案（线性注意力、SSM）在预训练效率和下游任务精度上普遍弱于同规模Transformer，无法直接替代。

Resolving Discrepancies in Compute-Optimal Scaling of Language Models

这篇工作要解决的是：语言模型 compute-optimal scaling 在不同论文里给出了彼此不一致的结论，尤其是模型参数量与训练 token 数的最优配比经常冲突。这个问题之所以值得重新做，是因为这些分歧已经不只是学术细节，而是在直接影响训练预算分配、数据建设和是否采用小模型多 token 还是大模型少 token 的策略。

Simple and Effective Masked Diffusion Language Models

现有扩散语言模型和自回归(AR)语言模型在语言建模性能上存在显著差距，此前的扩散LM方案复杂度高、采样效率低，无法落地实际应用。

FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision

这篇工作要解决的核心问题是：FlashAttention-2 已经把 attention 的访存做得很省，但在 H100 这代 GPU 上仍远没有吃满硬件，导致长上下文和大模型训练/推理里 attention 继续成为系统瓶颈。过去的优化主要围绕减少 HBM 读写和更好的 tiling，但没有真正利用 Hopper 的异步执行、TMA 数据搬运和 FP8 支持，所以算力利用率卡在较低水平。

SpaceByte: Towards Deleting Tokenization from Large Language Modeling

这篇工作的核心问题是：现有 LLM 几乎都依赖 tokenizer 把文本切成离散子词，但 tokenizer 会引入语言依赖、OOV 行为、形态切分偏差和额外系统复杂度，因此值得重新问一句：能不能直接去掉 tokenization。过去字符级建模一直存在，但通常因为序列太长、优化太难和效率太差而被边缘化。

You Only Cache Once: Decoder-Decoder Architectures for Language Models

标准 decoder-only Transformer 的 KV cache 随序列长度和层数线性增长，导致长序列推理时 GPU 显存成为瓶颈。YOCO 提出只缓存一次 KV 的 decoder-decoder 架构来大幅降低显存需求。

GREATS: Online Selection of High-Quality Data for LLM Training in Every Iteration

现有LLM在线数据选择方案要么依赖 impractical 的参考模型，要么使用简单启发式规则无法准确衡量数据的信息量，静态数据筛选则无法适应训练过程的动态需求。

Base of RoPE Bounds Context Length

这篇论文的核心结论是：RoPE 的 base 参数不是“随便调大就能无限拉长上下文”的旋钮，它在机制上会对可用上下文长度形成硬约束。过去很多长上下文扩展把问题归因于位置编码 OOD，并用 base 调整去“缓解分布外”，作者认为这会产生表面长上下文能力而非真正可用的远程依赖建模。

Diffusion of Thought: Chain-of-Thought Reasoning in Diffusion Language Models

缺少摘要与关键信息，无法可靠说明该工作要解决的“扩散语言模型如何做链式推理（CoT）”的具体障碍是什么，以及 Diffusion-of-Thought 的定义与评价方式。

MATES: Model-Aware Data Selection for Efficient Pretraining with Data Influence Models

这篇工作解决的是：预训练数据选择不该是一次性的静态筛选，而应该随着模型训练进展动态变化。已有方法通常依赖手工规则或更大的参考模型先给数据打分，再固定采样策略；问题是模型早期、中期、后期对数据的“有效性偏好”并不一样，静态打分会错过这种训练动态。

Multilinear Mixture of Experts: Scalable Expert Specialization through Factorization

这篇论文要在“专家数足够大才会细粒度专门化”和“MoE 推理/训练成本不可控”之间找折中；以往 dense MoE 推理太贵，sparse MoE 又有离散路由带来的训练不稳定与工程复杂度。

The Importance of Online Data: Understanding Preference Fine-tuning via Coverage

这篇论文要回答的核心问题是：为什么在线偏好优化常常比纯离线方法更有效，二者并不只是“同一离线偏好数据上的不同实现”。过去 DPO 一类方法常被视为 PPO/RLHF 的简化替代，因为两者都从同一批偏好数据起步；这篇工作指出，关键差别不在目标写法，而在训练数据对测试分布的覆盖是否足够，而在线采样恰好能补这个缺口。

Many-Shot In-Context Learning

此前上下文学习(ICL)的研究主要集中在少样本场景，大模型上下文窗口扩展后，百/千样本的多 shot ICL的性能边界、瓶颈及优化方案尚未被系统研究。

MAGNET: Improving the Multilingual Fairness of Language Models with Adaptive Gradient-Based Tokenization

这篇论文要解决的是：标准 tokenizer 往往对高资源语言更友好，导致多语言模型在低资源或形态复杂语言上出现系统性不公平。过去这件事通常通过更多数据、语言平衡采样或更大的词表来缓解，但 tokenization 本身的偏置常被当成固定前提；这篇工作把问题直接拉回到分词机制。

Make Your LLM Fully Utilize the Context

这篇论文针对的问题很直接：很多 LLM 明明给了足够长的上下文，却没有真正利用它，尤其在长输入中会忽略关键信息或偏向前部/后部片段。过去常见补救是继续扩窗、加位置编码改进或做检索增强，但“模型会不会用上下文”常被和“模型能不能看到上下文”混为一谈。

xLSTM: Extended Long Short-Term Memory

传统LSTM因无法并行训练、长序列建模能力不足，在大模型场景下被Transformer全面超越，LSTM架构在十亿级参数规模下的性能边界尚未被探索。

Transformers to SSMs: Distilling Quadratic Knowledge to Subquadratic Models

次复杂度架构（如SSM）的预训练算力投入远低于顶级Transformer，直接从零训练无法达到Transformer的性能，而现有蒸馏方案无法有效将Transformer的知识迁移到结构差异较大的次复杂度架构上。

Infinite Limits of Multi-head Transformer Dynamics

这篇论文要解决的问题是：多头 Transformer 在“会持续学特征”的训练区间里，哪些参数化真的存在良定义的无限宽、无限头、无限深极限。以往很多无限宽分析把 Transformer 近似成核回归或冻结特征模型，能算清楚，但会回避注意力层在训练中继续更新这一点；这使得结论对真实预训练的解释力有限。作者重新处理这个问题，是因为 Transformer 的缩放规律越来越依赖宽度、深度、头数同时增长时的训练动力学，而不是只看单层或惰性极限。

CoLoR-Filter: Conditional Loss Reduction Filtering for Targeted Language Model Pre-training

这篇论文要解决的问题是：如何从大规模预训练语料里，低成本地挑出对某个目标分布或目标任务更有用的数据子集。过去常见做法要么依赖通用质量启发式，要么用单模型困惑度打分，但这两类方法都很难区分“文本本身容易”与“文本对目标真正有帮助”，因此在 targeted pre-training 上常常不够准。

Reducing Transformer Key-Value Cache Size with Cross-Layer Attention

这篇论文要解决的是：在不明显伤害模型质量的前提下，继续压缩 Transformer 解码时的 KV cache。过去最有效的做法是 MQA 和 GQA，它们通过让多个 query head 共享同一组 key/value head 来降内存，但共享只发生在同一层内，因此压缩空间仍然受限；一旦上下文很长或 batch 很大，KV cache 仍会成为推理瓶颈。

Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers

这篇论文要解决的是：induction head 和 ICL 到底是怎样在训练中长出来的，而且除了 attention 之外，Transformer 里的 FFN、归一化和位置编码各自起了什么作用。过去很多理论工作只说明了 attention 机制在某些数据模型下可以实现 ICL，但没有解释一个更接近真实训练的 Transformer 为什么会沿着这条路学出来。

Unified Generative and Discriminative Training for Multi-modal Large Language Models

现有多模态大模型的两类训练范式存在能力割裂：生成式训练支持开放任务但幻觉严重、细粒度判别能力弱，判别式训练（如CLIP）擅长分类检索但无法处理复杂生成任务，此前没有方案能在同一框架下兼顾两类能力。

MoEUT: Mixture-of-Experts Universal Transformers

通用Transformer（UT）采用层间参数共享，组合泛化能力优于标准Transformer，但参数计算比过低，同等维度下参数量远小于非共享结构，单纯放大层尺寸会导致计算成本不可接受，此前没有共享层Transformer能在参数敏感的语言建模任务上达到非共享结构的性能。

SwitchHead: Accelerating Transformers with Mixture-of-Experts Attention

现有Transformer的MoE优化主要集中在前馈层，此前将MoE扩展到自注意力层的方法无法达到参数匹配基线的性能，无法同时降低注意力的计算和内存开销。

Fisher Flow Matching for Generative Modeling over Discrete Data

这篇工作解决的是离散数据生成建模里一个很现实的问题：flow matching 在连续空间里很好用，但直接搬到离散空间并不自然。过去离散生成通常在自回归、离散 diffusion、或能量模型之间取舍；想兼顾并行生成、训练稳定性和概率解释并不容易，因此把 flow matching 真正落到离散 token 上是值得做的。

The Road Less Scheduled

这篇工作讨论的是训练调度本身，而不是具体模型：我们是否真的需要精心设计复杂的学习率或训练 schedule。过去大规模训练高度依赖 warmup、cosine decay、阶段式衰减等经验规则，但这些规则往往迁移性差，换模型、换 batch、换数据配比就要重新调；因此重新审视‘少调度甚至不调度’有没有更好性质，是很有现实意义的问题。

Stacking Your Transformers: A Closer Look at Model Growth for Efficient LLM Pre-Training

LLM 预训练计算成本极高，model growth（用小模型加速大模型训练）是一个有前景的方向，但此前缺乏系统评估：哪些 growth 算子真正有效、能否 scale、实践中怎么用，都没有清晰答案。

Transcoders find interpretable LLM feature circuits

Transformer 中 MLP 层的密集激活使得细粒度电路分析（找到对应特定行为的稀疏子图）非常困难。SAE 找到的可解释特征是大量神经元的线性组合，每个神经元有自己的非线性，导致电路要么过大要么无法分离局部和全局行为。

Normalization Layer Per-Example Gradients are Sufficient to Predict Gradient Noise Scale in Transformers

这篇论文的核心结论很明确：在 Transformer 里，只看归一化层的逐样本梯度，就足以高精度预测整体的梯度噪声尺度（Gradient Noise Scale, GNS）。过去 GNS 很有用，因为它能指导 batch size、学习率和训练效率判断，但逐样本梯度太贵，导致它更像研究工具而不是在线信号；作者要解决的就是如何把 GNS 监控做到几乎零开销。

Block Transformer: Global-to-Local Language Modeling for Fast Inference

自回归Transformer的KV缓存导致推理存在两个核心瓶颈：首token时延高（需要处理整个prompt预填充KV缓存），后续token推理的内存IO开销随序列长度线性增长，整体内存读取复杂度为二次方。

KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization

长上下文LLM的KV缓存占推理内存开销的大部分，现有KV量化方案无法在4bit以下精度保持足够的准确率，限制了10M级超长上下文的推理部署。

Unpacking DPO and PPO: Disentangling Best Practices for Learning from Preference Feedback

这篇工作要解决的问题是：DPO 和 PPO 在 preference learning 中经常被拿来直接比较，但很多实验实际上混杂了数据、KL 控制、采样、奖励建模和训练细节，导致结论不干净。作者想把‘算法差异’与‘实践 best practices’拆开，弄清到底是什么在驱动效果。

What Makes and Breaks Safety Fine-tuning? A Mechanistic Study

这篇工作要解决的问题是：安全微调有时有效、有时脆弱，但社区对其成败机制理解不足，导致很多 safety fine-tuning 配方只能经验调参。作者要回答的是，安全微调到底改变了模型的哪些内部机制，以及哪些因素会让这种改变稳固或失效。

MInference 1.0: Accelerating Pre-filling for Long-Context LLMs via Dynamic Sparse Attention

长上下文LLM的预填充阶段注意力计算复杂度为二次方，8B模型在单A100上处理1M token prompt需要30分钟，现有加速方案无法同时兼顾精度和效率。

Paralinguistics-Aware Speech-Empowered Large Language Models for Natural Conversation

现有语音增强LLM仅能处理语义信息，无法建模口语对话中的副语言特征（如韵律、语气），需要依赖独立的ASR和TTS模块，无法端到端生成自然的口语响应。

The Factorization Curse: Which Tokens You Predict Underlie the Reversal Curse and More

现有LLM存在逆转诅咒（无法按和训练时相反的顺序召回知识）、幻觉等问题，此前的研究将其归因于模型容量不足或训练数据分布问题，没有从建模目标的根源给出解释。

Analyzing & Reducing the Need for Learning Rate Warmup in GPT Training

SnapKV: LLM Knows What You are Looking for Before Generation

这篇工作要解决的问题是：长上下文推理时 KV cache 随输入长度线性膨胀，严重拖累显存和速度，能不能在不微调模型的前提下压缩 KV，同时尽量不伤性能。过去常见办法是做重训练、近似注意力或启发式裁剪，但要么改模型代价高，要么在真实任务上掉点明显，因为它们很难知道“未来生成真正会用到哪些历史 token”。

Autoregressive Image Generation without Vector Quantization

自回归图像生成此前被认为必须搭配向量量化（VQ）得到的离散token才能实现，VQ会带来不可逆的信息损失，还需要单独训练tokenizer，额外增加了训练复杂度。

Not All Tokens Are What You Need for Pretraining

传统预训练对语料中所有token均匀施加next-token预测损失，没有区分不同token对模型能力的增益差异，大量低价值、噪声token浪费训练算力，还会降低最终模型性能。

How does Architecture Influence the Base Capabilities of Pre-trained Language Models? A Case Study Based on FFN-Wider and MoE Transformers

这篇论文的核心问题是：在控制规模不变时，Transformer 架构本身会如何影响预训练语言模型的 base capabilities。过去大家更关注 scaling law，把能力变化主要归因于参数量和数据量；这篇工作试图说明，即使在同尺度下，FFN 变宽和 MoE 这类架构选择也会系统性改变模型的分布内、分布外和 few-shot 能力。

Paloma: A Benchmark for Evaluating Language Model Fit

传统语言模型评估仅报告单一分布留出集的困惑度，无法反映模型在不同领域的拟合能力，不同预训练语料、训练方案的优劣对比缺乏公平、多维度的统一标准。

Sigmoid Gating is More Sample Efficient than Softmax Gating in Mixture of Experts

这篇论文要解决的是：在 Mixture-of-Experts 里，路由器到底该用 softmax gating 还是 sigmoid gating，哪种在样本效率上更好。MoE 研究很多时候默认 softmax 是标准选择，但它引入专家间竞争和概率归一化，这未必总是最利于学习，尤其在有限样本或专家应并行激活的场景下。

LSH-MoE: Communication-efficient MoE Training via Locality-Sensitive Hashing

大规模MoE训练中跨GPU的all-to-all通信开销平均占比达45%，成为MoE架构 scaling 的核心瓶颈，现有通信优化方案没有从路由逻辑本身降低通信量的有效手段。

Dataset Decomposition: Faster LLM Training with Variable Sequence Length Curriculum

这篇工作要解决的是：标准 LLM 训练通常把所有序列长度混在一起按固定上限处理，导致大量算力花在长序列的二次复杂度上，而很多训练信号其实可以在更短上下文里先学到。过去大家会做 sequence packing 或 length bucketing 来减少 padding 浪费，但很少把‘序列长度本身’当成可设计的 curriculum。

Observational Scaling Laws and the Predictability of Langauge Model Performance

传统缩放定律需要训练同一配置下不同规模的大量模型才能拟合，成本极高，无法快速指导新模型、新训练范式的 scaling 规划。

BERTs are Generative In-Context Learners

此前领域默认只有因果语言模型（CLM）具备生成式上下文学习（ICL）能力，掩码语言模型（MLM）无法完成生成式ICL任务，浪费了MLM预训练得到的表征能力。

On the Inductive Bias of Stacking Towards Improving Reasoning

此前渐进式堆叠训练仅被用于提升训练效率，其带来的归纳偏置对模型能力的影响完全没有被研究，无法利用这种偏置优化模型的下游能力。

Scaling Retrieval-Based Language Models with a Trillion-Token Datastore

这篇工作的核心问题是：检索增强语言模型往往受限于 datastore 太小、构建成本太高或检索延迟太大，结果是 retrieval 的收益在真正大规模语料上没有被充分释放。过去很多 RLM 工作只在相对小的 token datastore 上验证，因此很难判断这种方法能否随着数据规模继续获益。

No "Zero-Shot" Without Exponential Data: Pretraining Concept Frequency Determines Multimodal Model Performance

A Practitioner's Guide to Real-World Continual Multimodal Pretraining

4-bit Shampoo for Memory-Efficient Network Training

二阶优化器（如Shampoo）的预条件器状态占用内存过高，无法用于大模型预训练，现有低比特优化器方案仅支持一阶优化器，无法适配二阶优化器的结构特点。

Building on Efficient Foundations: Effective Training of LLMs with Structured Feedforward Layers

Transformer中FFN模块占总计算量的40%以上，现有FFN优化方法多基于预训练后压缩，从头训练使用结构化参数化会导致不可接受的性能损失，缺乏规模化验证的可行方案。

Imitating Language via Scalable Inverse Reinforcement Learning

这篇工作的核心结论是：把语言建模看成 imitation learning 时，MLE 并不是唯一自然选择，序列级的逆强化学习目标可以更直接地利用生成的时序结构。过去预训练和 SFT 几乎都默认用 token-level 最大似然，因为它简单、稳定、可扩展；这篇工作想重新打开这个默认前提。

Transcendence: Generative Models Can Outperform The Experts That Train Them

这篇工作要回答一个很根的问题：生成模型只是模仿训练数据分布，为什么有时却能在原任务上超过生成这些数据的人类专家。这个问题以前常被经验现象带过，但缺少清晰机制；作者把它定义为 transcendence，并试图说明它不是偶然，而是采样策略与数据分布共同导致的可解释现象。

Discovering Preference Optimization Algorithms with and for Large Language Models

这篇论文要解决“偏好优化（DPO/IPO 等）损失函数设计空间巨大但长期靠手工拍脑袋”的问题；以往方法多用少数几个凸损失，理论上合理但探索不足。

4M-21: An Any-to-Any Vision Model for Tens of Tasks and Modalities

这篇论文要解决“统一多模态/多任务模型的输入输出类型太少，导致 out-of-the-box 能力被训练覆盖面限制”的问题；以往 4M/UnifiedIO 类模型往往只覆盖少数模态与任务，泛化被接口约束。

SimPO: Simple Preference Optimization with a Reference-Free Reward

这篇论文要解决的问题很具体：DPO 虽然比 PPO 简洁，但它依赖 reference model，奖励定义与生成长度/序列概率之间也存在错配。过去大家接受这个复杂度，是因为 DPO 稳定且有效；这篇工作想证明，偏好优化还可以更简单，而且未必更差。

iVideoGPT: Interactive VideoGPTs are Scalable World Models

这篇论文要解决的是：能否把视频生成模型真正推进到可交互 world model，而不是只能离线生成短片段。过去视频生成很强，但用于 agent 的难点在于必须同时建模观察、动作、奖励，并且支持长时间交互；很多方法要么规模上不去，要么 tokenization 成本太高，难以做成可扩展预训练。

Position Coupling: Improving Length Generalization of Arithmetic Transformers Using Task Structure

这篇论文解决的是 transformer 在算术任务上的长度泛化失败：训练见过 30 位加法，测试到更长位数就崩。过去很多方法试图靠更多数据、特殊 curriculum 或更换位置编码去补救，但它们往往没有把任务本身的结构——同一数位之间的对应关系——直接编码进模型。

Selective Attention: Enhancing Transformer through Principled Context Control

这篇论文要解决的是标准 self-attention 对所有 query 一视同仁，导致上下文稀疏度无法按内容和位置自适应控制。过去 transformer 的 softmax 注意力虽然强大，但通常只能通过固定温度、局部窗口或稀疏模式间接限制上下文；这会造成该聚焦时不够尖锐、该扩散时又过于保守。

Mixture of In-Context Experts Enhance LLMs' Long Context Awareness

这篇论文聚焦长上下文建模中的一个现实问题：单一 in-context pattern 往往不足以覆盖不同位置、不同证据类型和不同检索难度，导致 LLM 虽然窗口很长，但真正的 long-context awareness 不稳定。过去常见做法是直接扩窗口、加位置编码或做外部检索，但模型如何在上下文内部按需调用不同“专家式”读取策略，研究得不够。

ALPINE: Unveiling The Planning Capability of Autoregressive Learning in Language Models

自回归语言模型是否具备规划能力（planning capability）一直有争议——批评者认为 next-token prediction 本质上是局部贪心的，无法做全局规划。ALPINE 试图从理论和实证两方面揭示 AR 学习中隐含的规划能力。

Chain-of-Thought Reasoning Without Prompting

Chain-of-Thought (CoT) 推理通常依赖精心设计的 prompt（如 few-shot 示例或 "Let's think step by step"），这引入了 prompt 工程的成本和不稳定性。本文探索不需要任何 prompting 就能从 LLM 中引出 CoT 推理的方法。

Found in the Middle: How Language Models Use Long Contexts Better via Plug-and-Play Positional Encoding

现有支持超长上下文的LLM普遍存在lost-in-the-middle问题，无法有效召回上下文中间段的相关信息，现有解决方案要么需要全量微调，要么引入额外推理开销，落地成本高。

The Fine-Grained Complexity of Gradient Computation for Training Large Language Models

这篇论文关注的核心问题是：训练大语言模型时，梯度计算在细粒度复杂度上究竟有多难，以及有哪些计算下界是架构和算法无法轻易绕开的。过去大家更多讨论总 FLOPs、并行效率和近似加速，但对“梯度到底能否被本质性更快地算出来”缺少更严格的复杂度刻画。

Separations in the Representational Capabilities of Transformers and Recurrent Architectures

为降低推理成本，学界重新探索RNN类高效架构，但Transformer与RNN的表示能力边界缺乏量化结论，无法指导实际场景下的架构选型。

Provably Transformers Harness Multi-Concept Word Semantics for Efficient In-Context Learning

现有理论研究无法解释Transformer的多概念语义线性表示规律与上下文学习（ICL）能力之间的关联，且现有ICL理论多基于简化的线性假设，不符合实际LLM的运行场景。

Iteration Head: A Mechanistic Study of Chain-of-Thought

Chain-of-Thought（CoT）推理提升LLM性能的内在机制和涌现条件不明确，现有研究多为宏观实证观察，缺乏到注意力头级别的可解释性结论。

Carrot and Stick: Eliciting Comparison Data and Beyond

这篇工作关注的是：高质量 comparison data 很贵，而偏好学习又高度依赖这类数据，导致 RLHF / DPO 一类方法常常被数据瓶颈卡住。过去常见做法是人工标注成对偏好或用单一规则合成，但前者成本高，后者容易信号单薄、覆盖面窄，最终学到的只是局部偏好。

Noise Contrastive Alignment of Language Models with Explicit Rewards

这篇工作要解决的是：用显式 reward 对齐语言模型时，直接做 RL 往往不稳定、成本高，而纯偏好学习又会丢掉 reward 的绝对量级信息。过去常见方案是在 RLHF 和 DPO 之间选边站，但这两条路各自都有短板：前者优化难，后者更多是在做相对排序拟合。

AlphaMath Almost Zero: Process Supervision without Process

这篇工作的核心问题是：数学推理里 process supervision 很有效，但人工标注中间步骤极贵，因此大家一直在找“没有过程标注，能否逼近过程监督效果”的办法。过去常见路线是蒸馏专家解题轨迹、用 verifier 打分中间步骤，或靠大模型合成过程，但这些都仍然依赖显式过程信号或昂贵教师。

Sequoia: Scalable and Robust Speculative Decoding

现有推测解码方法无法规模化支持更大的推测步长，且在不同解码温度下性能波动大，无法适配多样的生成场景。

Preference Learning Algorithms Do Not Learn Preference Rankings

现有RLHF、DPO等偏好学习方法的核心默认假设是模型会给更偏好的输出分配更高的似然，该假设从未被系统验证，无法解释对齐过程中的性能波动。

ArkVale: Efficient Generative LLM Inference with Recallable Key-Value Eviction

现有KV缓存驱逐方法仅基于静态的token重要性判断，忽略了对话和生成过程中token重要性的动态变化，导致驱逐后需要重算的开销大，反而降低长上下文推理的吞吐量。

Meta-DiffuB: A Contextualized Sequence-to-Sequence Text Diffusion Model with Meta-Exploration

In-Context Learning with Transformers: Softmax Attention Adapts to Function Lipschitzness

Transformer上下文学习（ICL）的底层机制缺乏量化理论支撑，现有工作多停留在实证观察层面，未明确softmax注意力在ICL中的自适应作用原理。

A Phase Transition between Positional and Semantic Learning in a Solvable Model of Dot-Product Attention

Transformer注意力层语义能力涌现的机制缺乏可解理论刻画，现有实证研究无法量化其从位置学习到语义学习的相变边界条件。

Cherry on Top: Parameter Heterogeneity and Quantization in Large Language Models

这篇工作关注一个在大模型量化里经常被平均化处理的问题：不同参数并不等价，参数异质性会直接决定量化误差如何传导到模型能力。以往很多量化方法默认同层、同类型参数可以用近似一致的策略处理，这在工程上方便，但会掩盖哪些参数真正脆弱、哪些参数可以更激进压缩，因此难以解释同样 bit 配置下性能为何差异很大。

Why Do We Need Weight Decay in Modern Deep Learning?

这篇工作要回答一个非常基础但一直没有彻底讲清的问题：现代深度学习里为什么 weight decay 仍然有效。过去常见解释把它等同于 L2 正则化，或者笼统说它改善泛化，但在 AdamW、归一化层、过参数化网络这些现代设定下，这些解释并不完全够用，因此这个问题值得重新拆开看。

Exploring Context Window of Large Language Models via Decomposed Positional Vectors

这篇工作给出的核心结论是：LLM 的长上下文失效不只是“位置编码外推差”这么简单，而是隐藏状态中的位置向量在超出窗口后发生了系统性偏移，进而改变了注意力模式。过去很多扩窗方法主要从 RoPE 缩放、插值或训练技巧上修补，但对模型内部到底把位置信息编码成了什么、超窗后哪里开始坏掉，解释一直不够细。

Understanding Emergent Abilities of Language Models from the Loss Perspective

涌现能力（emergent abilities）到底是大模型独有的还是小模型也能展现？此前争论集中在模型规模和不连续指标上，缺少一个统一的视角来解释涌现现象。本文提出用预训练 loss 而非模型大小来理解涌现。

Data curation via joint example selection further accelerates multimodal learning

大规模预训练中的数据筛选通常独立地评估每个样本的价值，忽略了样本之间的依赖关系。对于多模态对比学习（如 CLIP），batch 内样本的联合可学习性比单个样本的质量更重要。

MaskLLM: Learnable Semi-Structured Sparsity for Large Language Models

现有LLM的N:M半结构化稀疏剪枝方法依赖人工定义的权重重要性准则，泛化性差，无法端到端适配大规模预训练数据，剪枝后精度损失大。

Discrete Flow Matching

现有流匹配和扩散模型针对连续数据设计，应用到离散数据（如语言、离散语音token）时存在路径设计受限、采样效率低的问题，此前的离散生成方法仅支持特定概率路径，泛化性差。

Discrete Modeling via Boundary Conditional Diffusion Processes

将连续扩散过程应用于离散数据（如文本）时，连续空间与离散数据之间存在固有不匹配——学到的概率等高线在离散边界处不够精确，导致生成质量和效率受限。之前的连续扩散文本建模方法（如 Diffusion-LM、CDCD）没有显式利用离散边界信息来引导扩散轨迹。

μP2: Effective Sharpness Aware Minimization Requires Layerwise Perturbation Scaling

Sharpness Aware Minimization（SAM）在大规模模型上效果不稳定，原因之一是扰动步长没有考虑不同层的参数尺度差异。之前的 SAM 对所有层施加统一的扰动，但在 μP（maximal update parameterization）框架下，不同层的参数尺度和梯度尺度差异很大。

Adaptive Preference Scaling for Reinforcement Learning with Human Feedback

现有RLHF的偏好损失仅使用二分类排序标签，无法区分不同偏好对的强度差异，导致奖励函数校准误差大，容易引发奖励黑客问题。

S-STE: Continuous Pruning Function for Efficient 2: 4 Sparse Pre-training

这篇工作要解决的问题是：2:4 结构化稀疏预训练很有硬件价值，但训练期难做、梯度估计不稳定，导致很多方法只能先 dense 训练再稀疏化，或者需要复杂的离散近似。这个问题现在值得重做，是因为 2:4 稀疏已经被主流硬件支持，若能把稀疏直接前移到 pre-training，节省的不只是推理成本，而是整个训练算力。

Accelerating Pre-training of Multimodal LLMs via Chain-of-Sight

这篇工作要解决的问题是：多模态 LLM 预训练很贵，尤其视觉 token 多、对齐信号稀疏，导致训练效率低。作者想通过 Chain-of-Sight 这类机制，在不简单牺牲能力的前提下加速 multimodal LLM pre-training。

Scaling laws for learning with real and surrogate data

当真实数据稀缺时，用合成/代理数据（surrogate data）辅助训练的效果如何量化？现有 scaling law 主要关注真实数据量和模型规模，缺少对代理数据混合比例和质量的理论刻画。

Aligner: Efficient Alignment by Learning to Correct

LLM 对齐（alignment）通常需要昂贵的 RLHF 训练。能否用一个轻量的 'corrector' 模型来高效地将未对齐模型的输出修正为对齐的输出，而不需要重新训练基座模型？

Reversing the Forget-Retain Objectives: An Efficient LLM Unlearning Framework from Logit Difference

现有LLM遗忘方法同时优化遗忘损失最大化和保留损失最小化两个冲突目标，容易出现退化：要么遗忘不彻底，要么保留的通用知识损失严重。

Adversarial Moment-Matching Distillation of Large Language Models

现有LLM知识蒸馏方法最小化教师和学生的概率分布散度，容易过拟合到教师的局部错误，导致学生模型泛化性差。

SDP4Bit: Toward 4-bit Communication Quantization in Sharded Data Parallelism for LLM Training

现有分片数据并行（ShardedDP）训练中的权重和梯度通信开销占比高，现有压缩方法会导致训练精度下降，无法支持4位超低精度的通信量化。

Approximation Rate of the Transformer Architecture for Sequence Modeling

现有Transformer理论理解不足，单头单层Transformer的序列拟合能力没有明确量化界，过往工作要么回避理论分析仅给出经验结论，要么无法解释Transformer与RNN等经典序列模型的适配场景差异。

Do LLMs dream of elephants (when told not to)? Latent concept association and associative memory in transformers

这篇论文要回答的核心问题是：Transformer 里的概念是否以“联想记忆”的方式被存储和激活，而不是只做局部的 next-token 统计匹配。这个问题过去通常被行为现象零散讨论，比如提示一个概念会诱发相关但未显式要求的输出，但缺少对“潜在概念关联”本身的系统刻画；现在值得重做，是因为这直接关系到幻觉、拒答失败、提示注入和可解释性。

D-LLM: A Token Adaptive Computing Resource Allocation Strategy for Large Language Models

这篇论文解决的是大语言模型推理时计算分配过于平均的问题。标准 Transformer 对所有 token 一视同仁，但真实生成里不同 token 的难度差别很大；把同样的算力花在“容易 token”和“关键 token”上，会浪费延迟和 FLOPs。

Repurposing Language Models into Embedding Models: Finding the Compute-Optimal Recipe

这篇论文要解决的问题很实际：如何把生成式语言模型高效地改造成高质量 embedding 模型，并找到算力最优的训练配方。过去常见做法要么直接拿中间层做 embedding，效果有限；要么用大量对比学习继续训练，但计算和数据配方不清楚，常常不划算。

On scalable oversight with weak LLMs judging strong LLMs

这篇论文研究的是：当强模型的输出超出人类或弱模型直接判断能力时，如何做可扩展监督。过去很多讨论停留在概念层面，而这篇工作把 debate、consultancy 和直接作答放到同一套弱 judge/强 agent 设定下比较，重点看弱监督者是否真能借协议获得更好判断。

Towards Next-Level Post-Training Quantization of Hyper-Scale Transformers

现有无学习后训练量化（PTQ）方案忽略Transformer注意力模块的层间依赖，精度不足；需要调参的PTQ方案耗时耗资源，无法适配大模型频繁迭代的边缘部署需求。

Preference Alignment with Flow Matching

现有偏好对齐方法（如RLHF）需要对预训练模型做微调，可扩展性差，无法适配GPT-4等黑盒API模型的对齐需求，还存在奖励建模误差、奖励黑客等问题。

Accelerating Blockwise Parallel Language Models with Draft Refinement

现有块并行解码（BPD）的块草稿质量低，验证阶段拒识率高，导致实际加速比远低于理论上限，限制了自回归大模型的推理速度提升。

The PRISM Alignment Dataset: What Participatory, Representative and Individualised Human Feedback Reveals About the Subjective and Multicultural Alignment of Large Language Models

现有人类反馈数据集的参与者地理、人口分布窄，缺少与参与者社会人口属性关联的细粒度反馈，无法支撑大模型的多文化、个性化对齐研究，也无法分析反馈样本的偏差来源。

Language Generation in the Limit

现有大模型语言生成的理论边界不清晰，没有回答仅给定未知语言的有限训练样本、无额外假设的前提下，能否在极限下生成该语言合法新字符串的核心问题，过往工作要么依赖特定训练假设，要么仅给出经验结论。

Weight decay induces low-rank attention layers

权重衰减（L2正则）对Transformer注意力层的训练影响机制不清晰，现有工作仅针对前馈网络的正则效果做分析，无法解释注意力层中参数矩阵乘法交互下的正则行为，也无法指导预训练时的正则系数选择。

Measuring Dejavu Memorization Efficiently

现有Deja vu记忆化测量方法需要训练两个额外模型，对超大规模开源模型来说计算成本过高，无法快速评估预训练模型的训练数据记忆程度。

Can large language models explore in-context?

现有无训练干预的原生大模型是否具备上下文内探索能力尚未被系统验证。过往强化学习探索能力研究多针对微调后的专用 agent，默认原生大模型具备基础探索能力的假设缺乏实证支撑。

Aligning to Thousands of Preferences via System Message Generalization

现有LLM对齐方法默认对齐公众偏好为最优，针对个体偏好的对齐需要反复收集数据、训练奖励模型，无法支持数千级的个性化偏好对齐，scalability极差。

FLAME : Factuality-Aware Alignment for Large Language Models

常规LLM对齐流程（SFT+RL）无法提升模型事实准确性，反而会增加幻觉生成概率。过往对齐研究更多关注有用性和无害性，对事实性的优化不足，也未系统识别对齐各阶段的幻觉来源。

SelectIT: Selective Instruction Tuning for LLMs via Uncertainty-Aware Self-Reflection

现有指令微调数据选择方法依赖额外模型或外部标注数据，成本高，无法广泛落地。过往研究已证明少量高质量指令数据可达到接近全量数据的微调效果，但缺乏低成本的高质量数据筛选方案。

MiniCache: KV Cache Compression in Depth Dimension for Large Language Models

这篇论文解决的是长上下文推理里的核心瓶颈：KV cache 太占显存，而现有压缩多集中在序列维，往往会直接伤害生成质量。作者关注的是深度维压缩，也就是跨层复用或压缩 KV 表示，试图在不明显掉点的前提下减少推理内存。

Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer

这篇论文讨论 RLHF 里的过优化问题，并给出一个很强的结论：SFT loss 不只是 warm start，它还隐式充当了对抗式正则项，能抑制 reward model 被策略钻空子。过去很多工作把 overoptimization 看成 RL objective 本身的问题，或者靠 KL 约束经验性缓解；这里更进一步，试图给出可证明的机制解释。

Kangaroo: Lossless Self-Speculative Decoding for Accelerating LLMs via Double Early Exiting

这篇论文解决的是推理加速里一个很难兼顾的问题：既要 speculative decoding 的速度，又不要额外 draft model 带来的训练与部署复杂度，还要保持 lossless。传统 speculative decoding 依赖独立小模型，系统成本高；self-speculative decoding 则常受限于草稿质量和验证效率。

WizardArena: Post-training Large Language Models via Simulated Offline Chatbot Arena

现有LLM后训练（SFT/RL）依赖人工标注高质量数据，线上Chatbot Arena评估成本高、周期长，无法快速迭代模型。过往对齐流程的训练和评估环节都存在严重的人工依赖瓶颈。

Mesa-Extrapolation: A Weave Position Encoding Method for Enhanced Extrapolation in LLMs

LLM的外推能力差，推理长度超过训练最大长度时性能急剧下降。现有位置编码方案（如RoPE）的外推上限低，需要额外微调才能支持更长上下文，过往对NoPE（无位置编码）外推失败的原理缺乏系统理论分析。

LLM Dataset Inference: Did you train on my dataset?

这篇论文要回答的是：在“成员推断”(membership inference)里，我们到底能不能可靠地判断某个数据集/样本是否被某个 LLM 用来训练，而不是被分布差异误导。以往很多 MIA 看起来很强，但常把“训练集样本”和“非训练样本”选自不同分布（例如时间上更新的 Wikipedia），导致模型区分的是分布而不是记忆。

Local to Global: Learning Dynamics and Effect of Initialization for Transformers

这篇论文要解决的是：Transformer 在最简单的 Markov 数据生成设定下，训练动态为何会走向“学到全局结构”或“只学到局部启发式”，以及初始化如何决定最终收敛到哪类解。过去相关工作常停留在经验观察或更复杂设定里难以给出可证明结论。

PV-Tuning: Beyond Straight-Through Estimation for Extreme LLM Compression

摘要缺失，无法可靠判断论文具体要解决的压缩问题边界（量化/二值化/极低比特？）以及它认为 Straight-Through Estimation 在哪里失效。

Transformers Can Do Arithmetic with the Right Embeddings

摘要缺失，无法确认论文所说“right embeddings”具体是哪类数值/位置/基数表示嵌入，以及它要解决的是训练可学性、泛化到更大数、还是减少算术幻觉。

Enhancing Reasoning Capabilities of LLMs via Principled Synthetic Logic Corpus

摘要缺失，无法确认其“principled synthetic logic corpus”具体覆盖哪些逻辑形式（命题/一阶/归结/自然演绎）、以及它要解决的是推理能力缺失还是评测不可控。

Rule Based Rewards for Language Model Safety

摘要缺失，无法确认其“rule based rewards”具体用于哪类安全目标（拒答、合规、无害性、越狱防护）以及它要替代的是人工偏好标注还是模型裁判。

Learning Goal-Conditioned Representations for Language Reward Models

这篇论文要解决的是：语言 reward model 往往只能给出一个整体偏好分数，但在多目标或目标变化的场景下，这种表示不够用。现有 reward model 经常把不同目标混成单一标量，导致一旦目标切换、约束变化或用户意图更细化，模型就难以稳定泛化。

Understanding Transformers via N-Gram Statistics

这篇论文要解决的是：能否用 n-gram 统计这个更可解释的视角来理解 Transformer 学到了什么，以及它与经典语言统计模型之间到底是什么关系。Transformer 很强，但内部机制难解释；如果它的大量行为可以由某类高阶统计近似解释，那么很多经验现象就不必只停留在黑箱观察。

Navigating the Safety Landscape: Measuring Risks in Finetuning Large Language Models

这篇论文要解决的是：大模型微调会在能力提升的同时引入新的安全风险，但业界缺少能量化“不同微调选择带来多大风险增量”的统一测量框架。

Kraken: Inherently Parallel Transformers For Efficient Multi-Device Inference

这篇工作要解决的是：Transformer 推理在多设备上扩展时天然受串行依赖和通信模式限制，尤其 decode 阶段很难高效并行，导致多卡推理吞吐上不去、延迟也难压。传统张量并行和流水并行都能分摊算力，但并没有改变 Transformer 结构本身对跨设备同步的依赖。

Pipeline Parallelism with Controllable Memory

这篇工作要解决的是：流水并行训练常在吞吐和显存之间做硬交换，想提高设备利用率就要接受更高 activation memory，想省显存又会拖慢流水。现有方案通常靠 checkpointing、重计算或固定的 micro-batch 调度折中，但对‘内存预算可控’这件事支持不够直接。

The Expressive Capacity of State Space Models: A Formal Language Perspective

现有SSM（状态空间模型）在语言建模任务上性能接近Transformer，但缺乏对SSM表达能力的系统性理论分析，无法指导架构迭代。过往的架构对比多基于实证结果，缺乏理论层面的优劣界定。

Rethinking LLM Memorization through the Lens of Adversarial Compression

现有LLM记忆的定义和度量指标存在缺陷，无法准确区分模型是记忆了训练数据还是合成了知识。过往的记忆度量多基于固定前缀的提取，容易高估或者低估记忆率，数据版权相关的研究缺乏可靠的记忆度量方法。

RL on Incorrect Synthetic Data Scales the Efficiency of LLM Math Reasoning by Eight-Fold

现有LLM数学推理的合成数据微调方案默认仅使用正确样本，收益有限且容易学习伪关联，业界始终没有明确合成数据对性能的影响边界。

Causal language modeling can elicit search and reasoning capabilities on logic puzzles

这篇工作要回答的核心问题是：纯因果语言建模是否能在没有显式搜索器或外部程序的前提下，学出真正需要搜索与多步推理的能力。过去这类问题常被程序合成、神经符号方法或带工具调用的框架处理，因为大家普遍怀疑 next-token 训练很难稳定学到显式搜索。

Transformers Represent Belief State Geometry in their Residual Stream

这篇工作的核心问题是：Transformer 内部是否真的形成了可解释的 belief state，也就是对环境潜在状态或不确定信息的内部表征，而不只是做表面 token 续写。过去很多 mechanistic interpretability 工作能定位局部电路，但较少直接回答“残差流里是否存在几何结构化的信念状态表示”。

Search for Efficient Large Language Models

这篇工作要解决的问题是：高效 LLM 的设计空间非常大，靠人工经验做架构/配置选择既慢又容易错过更优点，因此需要系统化搜索。过去很多“高效模型”工作只改一个模块或只在单一预算下比较，难以回答在真实算力、延迟、显存约束下什么组合最优。

Superposed Decoding: Multiple Generations from a Single Autoregressive Inference Pass

这篇工作要解决的问题是：自回归解码一次前向通常只产生一个 token 分布，想要多条样本就要重复跑多次，导致采样成本近乎线性增长。过去并行生成大多依赖 speculative decoding、非 AR 模型或工程批处理，但没有直接改变“单次 AR pass 只能服务一条生成轨迹”的限制。

AlchemistCoder: Harmonizing and Eliciting Code Capability by Hindsight Tuning on Multi-source Data

Code LLM 的指令微调通常只用单一来源数据，质量和多样性有限；而混合多源代码数据时，不同数据源的风格和质量冲突会导致训练信号互相干扰，性能次优。

Confidence Regulation Neurons in Language Models

LLM 如何在内部表示和调控 next-token 预测的不确定性？此前发现了 entropy neuron（通过影响 LayerNorm scale 来缩放 logits），本文进一步揭示其工作机制，并发现了新的 token frequency neuron。

Mission Impossible: A Statistical Perspective on Jailbreaking LLMs

从统计理论角度解释为什么对齐后的 LLM 仍然可以被 jailbreak：偏好对齐本质上只是在预训练分布上做了有限的修正，对抗性 prompt 可以绕过这层修正。

Easy-to-Hard Generalization: Scalable Alignment Beyond Human Supervision

当前对齐方法依赖人类标注，但人类能力有限，无法为超出自身能力的难题提供高质量监督信号。本文研究如何从简单问题的对齐泛化到困难问题（easy-to-hard generalization），实现超越人类监督的可扩展对齐。

Exploiting Activation Sparsity with Dense to Dynamic-k Mixture-of-Experts Conversion

稠密Transformer推理成本高，现有稠密层转MoE的方案没有利用激活稀疏性做前置优化，且固定选k个专家的逻辑忽略了不同输入的激活神经元方差，效率提升空间有限。

Time-Reversal Provides Unsupervised Feedback to LLMs

这篇工作试图回答：在没有人工标注奖励或参考答案的情况下，能不能给 LLM 提供一种可自动检验的反馈信号。传统做法要么依赖监督微调，要么依赖昂贵/脆弱的 reward model，而很多任务其实缺少稳定标注，因此无监督反馈是一个很现实的缺口。

Linear Transformers are Versatile In-Context Learners

这篇工作要解决的是：linear transformer 是否真的只是在效率上接近标准 attention，还是也能承担更一般的 in-context learning（ICL）能力。过去线性 attention 往往被认为在表达力上吃亏，因此多数讨论集中在速度和长序列，而不是它能否学会任务内算法。

HelpSteer 2: Open-source dataset for training top-performing reward models

现有开源偏好数据集（Open Assistant、HH-RLHF、HelpSteer1）已无法匹配强LLM的对齐需求，从闭源模型蒸馏的偏好数据存在商业使用限制，无法支撑商用奖励模型训练。

Understanding the Expressive Power and Mechanisms of Transformer for Sequence Modeling

此前对Transformer各组件（自注意力、位置编码、FFN）如何共同影响长稀疏复杂序列建模的表达能力没有系统的理论解释，也缺乏显式的近似率量化结果。

Grokking of Implicit Reasoning in Transformers: A Mechanistic Journey to the Edge of Generalization

此前不清楚Transformer是否能学习参数知识上的隐式推理，也不明确这种推理能力的泛化边界和形成机制，现有强LLM在这类任务上普遍表现较差。

Speculative Decoding with CTC-based Draft Model for LLM Inference Acceleration

这篇工作要解决的是：在不改动目标大模型输出质量的前提下，进一步提高 speculative decoding 的实际加速效果。传统 draft model 仍然是自回归的，生成候选 token 本身就有串行瓶颈；如果用 CTC 这类并行预测草稿，理论上可以把 draft 端延迟再压低一截。

From Unstructured Data to In-Context Learning: Exploring What Tasks Can Be Learned and When

这篇工作关心的核心问题是：模型从无结构数据中到底能学到哪些 in-context learning 任务，以及这种能力在什么条件下出现。很多 ICL 研究直接在合成任务或干净提示上观察现象，但回避了更关键的一步——这些能力能否从自然分布数据中自发涌现。

On the Role of Attention Masks and LayerNorm in Transformers

这篇工作研究的是 Transformer 里两个经常被当作工程细节的组件——attention mask 和 LayerNorm——到底在表示与优化中扮演什么角色。过去很多实践默认它们只是稳定训练或实现因果性的工具，但它们很可能更深地影响模型可表达性和训练动力学。

Cal-DPO: Calibrated Direct Preference Optimization for Language Model Alignment

现有DPO等对比偏好优化方法仅关注两个回复的隐式奖励相对值，忽略奖励的实际绝对值，导致模型和人类偏好的对齐效果次优。

Stress-Testing Long-Context Language Models with Lifelong ICL and Task Haystack

这篇论文要解决的是：现有长上下文评测（如 needle-in-a-haystack）过于“检索式”，无法刻画模型在长 prompt 中连续经历多任务示例时的干扰、遗忘与选择性利用能力。作者提出 Lifelong ICL 场景：模型需要在一个长上下文里学一串任务，并在测试时只利用相关任务的 demonstrations，同时抵抗其他任务的干扰。

In-Context Learning with Representations: Contextual Generalization of Trained Transformers

缺少摘要与关键信息，无法可靠判断其关于“用表征做 ICL/上下文泛化”的具体问题定义与结论边界。

Regularizing Hidden States Enables Learning Generalizable Reward Model for LLMs

缺少摘要与关键信息，无法可靠判断其要解决的 reward model 泛化问题具体表现在哪里（分布外指令、对抗提示、长度外推等）。

UniAudio 1.5: Large Language Model-Driven Audio Codec is A Few-Shot Audio Task Learner

缺少摘要与关键信息，无法可靠总结 UniAudio 1.5 如何把“LLM 驱动的音频 codec”做成 few-shot 音频任务学习器，以及它覆盖哪些任务与输入输出形式。

Online Iterative Reinforcement Learning from Human Feedback with General Preference Model

缺少摘要与关键信息，无法可靠总结其要解决的“在线迭代 RLHF”痛点（偏好漂移、数据效率、分布外崩坏、反馈延迟等）以及 General Preference Model 的角色。

MAmmoTH2: Scaling Instructions from the Web

现有推理类指令微调数据要么来自人工标注成本极高，要么来自闭源模型蒸馏存在商用限制，无法低成本扩展到千万级规模。

B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory

Rethinking Memory and Communication Costs for Efficient Data Parallel Training of Large Language Models

现有分布式数据并行的基础策略未考虑组内组间通信性能的差异，在异构通信场景下优化空间有限，无法充分释放大模型预训练的速度潜力。

Wings: Learning Multimodal LLMs without Text-only Forgetting

基于预训练纯文本LLM初始化的多模态大模型（MLLM）在图文对齐和多模态混合微调阶段，会灾难性遗忘初始LLM已掌握的纯文本指令执行能力，此前方案大多未针对性解决注意力偏移导致的遗忘问题。

SpeechAlign: Aligning Speech Generation to Human Preferences

神经编码语音生成模型的训练和推理分布存在差异，且现有研究普遍忽略引入偏好优化对齐语音输出与人类偏好，导致生成语音的自然度、符合度不及预期。

CoVoMix: Advancing Zero-Shot Speech Generation for Human-like Multi-talker Conversations

现有零样本TTS模型仅能生成单说话人语音，无法实现多说话人、多轮对话场景下的自然语音生成，对话的韵律、说话人切换流畅度等符合人类习惯的特征难以建模。

In-Context Learning of a Linear Transformer Block: Benefits of the MLP Component and One-Step GD Initialization

现有线性Transformer块（LTB）的上下文学习（ICL）能力研究仅关注注意力组件的作用，忽略了MLP组件对ICL性能的贡献，也未明确线性Transformer的ICL能力与梯度下降估计器的对应关系。

ReST-MCTS*: LLM Self-Training via Process Reward Guided Tree Search

这篇工作要解决的是：用 LLM 自训练构造推理数据时，只按最终答案是否正确来筛选样本，会保留大量‘答案对但过程错’的轨迹，反而把错误中间推理教回模型。过去很多 self-training 或 rejection sampling 都停在 outcome supervision，也就是只看终局，不看过程；这在数学、代码等需要长链推理的任务上尤其不够。

Can Models Learn Skill Composition from Examples?

这篇工作要解决的是：模型能否从示例中真正学会技能组合，而不只是记住单技能模式或训练分布里见过的组合。过去关于 compositional generalization 的讨论很多，但在 LLM 上常常混杂了规模效应、数据泄漏和 prompt 工程；作者选择类似 SKILL-MIX 的受控设定，是想把‘会不会组合’这个问题单独拉出来测。

CLUES: Collaborative Private-domain High-quality Data Selection for LLMs via Training Dynamics

这篇工作要解决的是：在多数据孤岛、不能直接共享原始数据的协作训练场景里，如何做高质量数据选择。数据质量对 LLM 预训练很关键，但现有数据清洗和混配方法大多默认可以集中访问样本；一旦进入私域协作或联邦环境，最直接的数据评分手段就失效了。

Probing the Decision Boundaries of In-context Learning in Large Language Models

这篇工作要解决的是：ICL 到底学到了怎样的分类规则，尤其其决策边界长什么样。过去理解 in-context learning 常从缩放、数据、注意力模式或隐式优化器角度切入，但这些分析不够直观，难以直接看出模型是在做线性分隔、原型匹配，还是别的奇怪规则。

Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning

指令微调（instruction tuning）的数据质量直接决定模型对齐效果，但人工筛选和标注成本高昂。已有的自动数据生成方法缺乏系统性的质量优化机制，生成数据的多样性和难度分布往往不理想。

Towards a Theoretical Understanding of the 'Reversal Curse' via Training Dynamics

Reversal Curse 是指 LLM 学会了 'A is B' 后却无法推断 'B is A' 的现象。之前的工作主要是实证观察，缺乏从训练动态角度的理论解释——为什么 autoregressive 训练会导致这种单向性？

Measuring Per-Unit Interpretability at Scale Without Humans

神经网络中单个神经元（unit）的可解释性评估传统上依赖人工标注，成本高且难以规模化。需要一种自动化方法来大规模衡量每个 unit 的可解释性程度。

What Factors Affect Multi-Modal In-Context Learning? An In-Depth Exploration

这篇论文要回答“多模态 ICL 为什么有时有效、有时失效”，并把问题拆成可操作的三段：示例检索、示例排序、提示构造；以往工作多停留在经验配方，缺少系统性因子分析。

Faster Neighborhood Attention: Reducing the O(n2) Cost of Self Attention at the Threadblock Level

这篇论文要把自注意力从 O(n^2) 的全连接代价降下来，并且把优化落到 GPU threadblock 级别的实现细节上；以往很多高层近似注意力在理论上省 FLOPs，但在硬件上不一定跑得快。

ChatQA: Surpassing GPT-4 on Conversational QA and RAG

这篇论文要解决对话式 QA/RAG 中“检索与生成彼此不匹配、对话上下文导致查询改写成本高”的问题；以往常用 query rewriting 或通用 retriever，部署复杂且不一定适配对话 QA。

Large Scale Transfer Learning for Tabular Data via Language Modeling

这篇论文要把 foundation model 式的迁移学习带到表格预测：表格数据异构、列语义弱、任务分布碎片化，导致以往很难像 NLP/CV 那样靠大模型预训练/微调获得稳定收益。

Instruction Embedding: Latent Representations of Instructions Towards Task Identification

这篇论文要把“指令的表示”从语义 embedding 中解耦出来，专注于任务识别；以往用文本 embedding 做指令检索/数据选择时，语义细节会掩盖“这条指令属于哪个任务”的信息。

A Theoretical Understanding of Self-Correction through In-context Alignment

这篇论文要解释的核心现象是：LLM 为什么有时能通过自我纠错提升回答质量，以及这种能力何时会出现、何时不会。过去关于 self-correction 的讨论多停留在经验观察，或者依赖过度简化的线性 transformer 理论，难以回答 prompt 设计、反馈质量和 in-context alignment 之间到底是什么关系。

Vitron: A Unified Pixel-level Vision LLM for Understanding, Generating, Segmenting, Editing

这篇论文试图解决 Vision LLM 仍然过于粗粒度的问题：能做问答和描述，但很难统一覆盖像素级理解、分割、编辑，以及图像和视频两种输入。过去多数系统是任务拼装式的，图像理解、视频理解、分割和生成各有各的模型，接口不统一，token/region 级语义也无法在一个语言接口里自然流动。