ICLR 2025

Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws

这篇论文要解决的是：语言模型“知识容量”（能记住/表达多少事实性知识）如何随模型规模、数据规模与训练设置缩放，并给出可解释的 scaling law。以往 scaling law 多聚焦 loss/困惑度或下游指标，而“知识”往往通过零散探针衡量，缺少统一的理论刻画。

Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance

预训练数据配比（data mixture）的选择目前主要靠经验和网格搜索，成本极高。本文提出用数学模型预测不同配比下的语言建模性能，从而在不实际训练的情况下找到最优配比。

Scaling Long Context Training Data by Long-Distance Referrals

这篇工作要解决的是长上下文训练数据太贵、太稀缺的问题，作者尝试用 long-distance referrals 扩展可用于长上下文训练的样本。过去提升长上下文能力常依赖直接收集超长文档或人工构造长序列，但这两条路都成本高，而且数据分布容易单一。

Implicit In-context Learning

这篇论文要解释的是：很多 ICL 表现看起来像“显式读例子再推理”，但模型可能在不显式利用上下文内容的情况下，通过隐式统计相关性完成任务，从而让我们误判 ICL 的泛化机制。过去评测常把“给了示例就变好”当作 ICL 证据，但没有区分显式与隐式路径。

Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data

TidalDecode: Fast and Accurate LLM Decoding with Position Persistent Sparse Attention

核心问题是：LLM解码阶段的注意力计算在长上下文下成为主要瓶颈，而常见稀疏注意力要么破坏位置一致性（影响质量）要么需要训练改造（影响可用性）。

Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning

核心问题是：in-context learning（ICL）在预训练中到底是“学会识别任务并检索相似模式”，还是“在上下文里真正学会新任务映射”，过去常被用最终指标混在一起评估。

Rethinking Reward Modeling in Preference-based Large Language Model Alignment

这篇工作要解决的是：偏好对齐里 reward model（RM）常被当成“拟合人类偏好”的黑盒，但 RM 的训练目标、数据噪声、以及与策略优化（PPO/DPO 等）的耦合会导致系统性偏差与 reward hacking。过去很多工作把问题归因于 RL 算法或数据量，却较少重新审视 RM 本身该怎么建模与评估。

World Model on Million-Length Video And Language With Blockwise RingAttention

这篇论文解决的是世界模型训练中最硬的系统瓶颈之一：视频加语言的上下文一长到百万级 token，标准 attention 的显存和通信代价会直接失控，导致长时程建模停留在概念验证。以前常见做法是缩短上下文、降采样、分段训练或牺牲跨段依赖，但这些都会削弱世界模型对长期因果和任务连续性的学习。

MIND: Math Informed syNthetic Dialogues for Pretraining LLMs

这篇论文要解决的是：如何用更贴近“对话形态”的合成数据，把数学能力注入到预训练阶段，而不是只靠后期指令微调补数学。以往数学预训练常用教科书式陈述或题解对，但真实使用中很多数学推理发生在多轮澄清、纠错与逐步约束的对话里，单轮数据覆盖不足。

Physics of Language Models: Part 3.2, Knowledge Manipulation

这篇论文要解决的是：语言模型内部的“知识”能否被可控地操纵（写入、删除、重定向），以及这种操纵在什么条件下是稳定且可预测的。以往知识编辑方法（如 ROME、MEMIT、LoRA 编辑）多是经验工程，成功与失败边界不清晰，且常伴随副作用（旁路知识污染）。

Why Does the Effective Context Length of LLMs Fall Short?

这篇论文的核心问题是：为什么 LLM 标称支持很长上下文，但真正能有效利用的信息长度往往远短于窗口上限。过去大家常把长上下文失败归因于位置编码或训练长度不足，但实际现象更复杂：模型可能能“看到”远处 token，却不会稳定地把它们用于决策。

High-Quality Joint Image and Video Tokenization with Causal VAE

现有视觉生成任务复用预训练图像自编码器的低维隐空间作为视频tokenizer，忽略视频时序冗余，导致解码时序不一致，且缺乏图像视频统一的tokenization方案。

To Code or Not To Code? Exploring Impact of Code in Pre-training

通用大模型预训练普遍加入代码数据，但代码对非代码任务的具体影响缺乏系统量化分析，从业者仅有经验性共识无实证支撑。

Transformer Block Coupling and its Correlation with Generalization in LLMs

大模型内部机制解释不足，现有泛化性关联指标（参数量、深度等）解释力弱，无法有效指导架构设计和训练监控。

Round and Round We Go! What makes Rotary Positional Encodings useful?

这篇工作要回答的是：RoPE 为什么有效，真正起作用的是旋转结构本身、相对位置信息、频率分解，还是它们与注意力几何的组合。RoPE 已经成为 LLM 默认配置之一，但长期以来更多是“经验上好用”，机理解释并不扎实；现在重新追问这个问题很有价值，因为长上下文、外推和替代位置编码都高度依赖我们是否理解了它的有效部分。

Straight to Zero: Why Linearly Decaying the Learning Rate to Zero Works Best for LLMs

大模型预训练普遍采用余弦衰减到峰值10%的学习率策略，缺乏最优性实证验证，且没有可解释的理论支撑。

Breaking Neural Network Scaling Laws with Modularity

这篇工作要挑战的是经典神经网络 scaling law 的“单体模型”假设：当模型被设计成模块化（modular）时，误差-算力/参数的幂律关系可能不再按原来的斜率走。以往 scaling law 多在同构架构族里拟合，默认能力来自连续增大同一块网络。

How Feature Learning Can Improve Neural Scaling Laws

这篇工作要解释的是：为什么“特征学习”（feature learning）会让神经网络的 scaling law 变好，而不仅仅是拟合一个幂律曲线。很多 scaling 分析把模型当成核回归/随机特征近似，弱化了训练中表征会自适应改变这一事实。

Toward Understanding In-context vs. In-weight Learning

这篇论文要解决的是：in-context learning（靠提示在上下文里学）与 in-weight learning（靠参数更新学）在机制上到底哪里相同、哪里不同，现有讨论常停留在现象层面。过去很多工作用线性回归等玩具任务类比 ICL，但难解释在更复杂分布与更深网络下两者的可替代性与边界。

Scalable Influence and Fact Tracing for Large Language Model Pretraining

这篇工作的核心问题很明确：大模型预训练后，想知道“哪一批训练数据导致了某个事实、某个行为或某个错误”非常难，而现有 influence function 或 data attribution 方法通常算不动、近似太粗，或者只能在小模型上成立。这个问题之所以重要，是因为数据归因直接关系到数据清洗、版权追踪、遗忘、偏差定位和 continual pretraining。

Aioli: A Unified Optimization Framework for Language Model Data Mixing

这篇工作要解决的是：预训练时“数据怎么混”长期靠经验和网格搜索，既不稳定也很难迁移到新模型/新数据配比。以往常见做法要么固定混合比例、要么用启发式动态采样，但都缺少一个能统一描述“目标是什么、约束是什么、怎么优化”的框架。

Advancing Mathematical Reasoning in Language Models: The Impact of Problem-Solving Data, Data Synthesis Methods, and Training Stages

这篇工作要解决的是：数学推理提升到底来自“更多题”、还是来自“更好的合成方法”、还是来自“训练阶段安排”，社区缺少可分解的实证结论。以往很多报告把数据、合成、SFT/RL 阶段混在一起讲，导致配方不可复现也不可迁移。

Emergence of a High-Dimensional Abstraction Phase in Language Transformers

大语言模型输入到输出映射的几何性质与功能的关联不清晰，缺乏对内部表示演化的阶段划分标准。

Teaching LLMs How to Learn with Contextual Fine-Tuning

这篇工作关注一个很实际的问题：模型会用上下文，但不一定会“从上下文学会规则”。标准微调通常把每个样本当独立监督，结果模型擅长记答案格式，却不擅长在上下文中归纳任务映射，因此 ICL 能力和经过 SFT 之后的行为常常脱节。

L3Ms - Lagrange Large Language Models

现有SFT和对齐方法依赖启发式设计，无法灵活适配不同应用的定制化约束要求，容易出现约束违背。

Self-Boosting Large Language Models with Synthetic Preference Data

这篇论文要解决的是：在没有大量人工偏好标注的情况下，如何让 LLM 通过自举方式获得可用于偏好优化的训练信号，而不是停留在纯 SFT 或昂贵的人类反馈。以往做法要么依赖外部强 judge/人类，要么合成偏好数据质量不稳，容易把模型带偏。

Limits to scalable evaluation at the frontier: LLM as judge won't beat twice the data

这篇论文要回答的是：用 LLM-as-a-judge 做可扩展评估是否真的能替代更多高质量标注数据，还是会在统计效率上碰到硬上限。过去很多工作默认“更强的 judge + 更少的人类数据”可行，但缺少对其上限的清晰刻画。

Combatting Dimensional Collapse in LLM Pre-Training Data via Submodular File Selection

这篇论文要解决的是：LLM 预训练数据在文件/样本层面存在强冗余与“维度塌缩”(覆盖面变窄、主题/风格集中)，导致有效 token 多样性不足、泛化变差且训练算力被浪费。过去常用去重或启发式质量过滤，但很难在预算约束下同时保证覆盖与多样性。

What is Wrong with Perplexity for Long-context Language Modeling?

这篇论文的核心问题是：困惑度（perplexity）并不能可靠衡量长上下文语言模型是否真正利用了远距离上下文。传统评测默认平均 token 负对数似然越低越好，但在长上下文场景里，这个指标常被局部模式、位置分布和可预测 token 稀释，导致模型即使几乎没用到长程信息，也可能拿到看似不错的分数。

Beyond Model Collapse: Scaling Up with Synthesized Data Requires Verification

这篇论文的核心结论很明确：合成数据要想支持持续扩展，光有生成还不够，必须有验证。过去关于 model collapse 的讨论常聚焦‘反复喂模型自己生成的数据会不会崩’，但更实际的问题是，合成数据里的错误、偏置和低质量样本如果不筛，会在规模化训练中被系统性放大。

Compute-Optimal LLMs Provably Generalize Better with Scale

Chinchilla scaling law 告诉我们如何在固定 compute budget 下选择最优的模型大小和数据量，但没有回答一个关键问题：compute-optimal 训练出来的模型，其泛化能力是否也随 scale 可证明地提升？

Human-inspired Episodic Memory for Infinite Context LLMs

这篇论文要解决“无限上下文”设想里的核心瓶颈：即使有检索或外部存储，LLM 仍缺少一种能长期积累、可控回放且不把噪声无限带入上下文的记忆机制。以往做法要么是纯 RAG（记忆是静态文档），要么是把历史全塞进上下文（成本爆炸且易污染）。

A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops

这篇论文要从理论上解释并缓解“自我消耗训练（self-consuming loops）”导致的 model collapse：模型用自己生成的数据继续训练，分布会逐步变窄、错误会被放大，最终多样性与真实性一起崩掉。过去很多讨论停留在经验警告，缺少可操作的防崩条件与干预点。

Transformers are Universal In-context Learners

这篇工作要解决的是：Transformer 的 in-context learning 到底只是经验现象，还是在表达能力上足够普适，能够近似任意‘从上下文构造算法再作用到查询’的过程。以前不少工作展示 ICL 能做回归、分类和简单算法，但缺少更强的普适性结论。

Language models scale reliably with over-training and on downstream tasks

这篇工作要解决的是：语言模型是否真的会因为 over-training 而普遍伤害泛化，还是说在合适设定下，继续训练其实是可预期、可可靠地改善下游能力。过去社区常把训练到验证困惑度最优附近就停作为经验法则，但这个法则未必对应真正的 downstream 最优点。

Towards a Theoretical Understanding of Synthetic Data in LLM Post-Training: A Reverse-Bottleneck Perspective

这篇工作要解决的是：LLM 后训练里大量使用 synthetic data，但我们对它何时有效、何时反而限制能力，缺少清晰理论。过去大家更多从经验上讨论蒸馏、拒绝采样、自生成 CoT 的收益，却没有一个能解释‘为什么模型自己生成的数据有时会强化、有时会收缩信息通道’的统一视角。

Quest: Query-centric Data Synthesis Approach for Long-context Scaling of Large Language Model

现有长上下文预训练数据方法（过滤长文档、随机拼接、相似拼接）无法同时兼顾语义连贯性和多样性，导致领域失衡、长上下文表现受限。

Scaling and evaluating sparse autoencoders

稀疏自编码器（SAE）用于大模型可解释性时，需要平衡重建效果和稀疏度，存在死隐层问题，且缩放规律不清晰，无法支撑大规模可解释性研究。

The Foundations of Tokenization: Statistical and Computational Concerns

这篇论文要解决的是：tokenization 作为预训练“默认组件”长期缺少系统性原则，导致我们在词表大小、训练算法、以及计算代价之间经常靠经验取点而不是可解释地权衡。

A Little Goes a Long Way: Efficient Long Context Training and Inference with Partial Contexts

这篇论文要解决的是：长上下文训练与推理太贵，如何在不总是喂满全上下文的情况下学到/用到长程能力，因为全量 attention 的 FLOPs 与显存会随长度快速增长。

Scaling Diffusion Language Models via Adaptation from Autoregressive Models

这篇工作的核心问题很明确：diffusion language model 很有潜力，但规模化一直落后于自回归模型，训练成本和收敛难度都更高。过去很多 diffusion LM 工作停留在中小规模验证，原因不是想法不新，而是缺少一条能复用现有 AR 模型资产的可扩展路径。

Context-Parametric Inversion: Why Instruction Finetuning May Not Actually Improve Context Reliance

领域默认指令微调会单调提升模型遵循输入上下文的能力，但实际当上下文与模型参数知识冲突时模型仍频繁幻觉，此前没有研究解释这一矛盾现象的底层机制。

The Unreasonable Ineffectiveness of the Deeper Layers

此前LLM知识存储的层分布没有清晰量化结论，层剪枝要么性能损失大，要么需要大量重训，没有低成本定位无用层的方法。

Data Selection via Optimal Control for Language Models

此前预训练数据选择均基于启发式规则（如困惑度过滤、质量打分），未与训练动态结合，选择的数据集不一定是训练效率最优的。

MiniPLM: Knowledge Distillation for Pre-training Language Models

这篇论文要解决的是：能否把“蒸馏”系统化地用于语言模型预训练阶段，从而用更小的计算预算训练出更强的小模型。以往蒸馏更多发生在 posttrain 或下游压缩，预训练蒸馏常因教师成本高、目标不稳定而落地困难。

LOIRE: LifelOng learning on Incremental data via pre-trained language model gRowth Efficiently

预训练语言模型在增量数据上做持续学习时，面临灾难性遗忘和计算效率低下的双重问题。以往方法要么全量重训代价高，要么参数冻结导致新知识吸收不足。

OmniKV: Dynamic Context Selection for Efficient Long-Context LLMs

长上下文 LLM 推理时 KV cache 占用大量显存，限制了可处理的上下文长度和吞吐量。现有 KV cache 压缩方法通常采用静态策略（如固定保留比例），无法根据不同输入和不同层的实际需求动态调整。

Scaling Instruction-tuned LLMs to Million-token Contexts via Hierarchical Synthetic Data Generation

这篇论文要解决的是：指令微调后的 LLM 如何可靠扩展到百万 token 上下文，同时避免仅靠“拉长位置编码+堆长文本”带来的训练不稳定与指令跟随退化。过去长上下文扩展常在预训练阶段做，但 instruction-tuned 模型在长上下文下的对话/工具使用能力会掉。

Efficient Automated Circuit Discovery in Transformers using Contextual Decomposition

此前Transformer自动电路发现依赖激活补丁方法，速度慢、存在近似误差、要求非零梯度，无法扩展到大模型的细粒度（如特定位置注意力头）电路识别。

Computational Limits of Low-Rank Adaptation (LoRA) Fine-Tuning for Transformer Models

这篇论文要解决的是：LoRA 作为低成本微调手段被广泛使用，但它在 Transformer 上到底能表达多复杂的函数、在哪些条件下必然失败，缺少清晰的理论边界。作者研究 LoRA 微调的计算/表达极限，回答“低秩更新能做到什么、做不到什么”。

Fundamental Limits of Prompt Tuning Transformers: Universality, Capacity and Efficiency

这篇论文要解决的是：prompt tuning（只学提示向量/软提示）在实践中很省参数，但它的表达能力、容量上限与效率边界并不清楚，尤其在 Transformer 这种高维序列模型上。作者研究 prompt tuning 的“普适性（universality）、容量（capacity）与效率（efficiency）”的基本极限。

Towards Optimal Multi-draft Speculative Decoding

这篇论文要解决的是：speculative decoding 在工程上很有效，但“多草稿（multi-draft）”场景下如何选择草稿数量、草稿长度、以及验证策略才能在给定算力与延迟约束下最优，缺少系统性的最优性分析。作者目标是给出接近最优的 multi-draft 推测解码策略。

A Formal Framework for Understanding Length Generalization in Transformers

Transformer 在长度泛化（length generalization）上表现不稳定——在短序列上训练后，处理更长序列时性能急剧下降。现有工作大多是经验性的修补（如位置编码改进），缺乏一个形式化框架来理解哪些任务可以长度泛化、哪些不行、以及为什么。

SPAM: Spike-Aware Adam with Momentum Reset for Stable LLM Training

这篇论文要解决的是：LLM 预训练里偶发的 loss/grad spike 会把 Adam 类优化器带进不稳定区间，而现有做法多靠调小学习率、加大梯度裁剪或重启训练，代价高且不可靠。作者把问题明确成“优化器状态（动量/二阶矩）在 spike 后被污染”，而不是把 spike 当作纯噪声。

LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code

这篇工作要解决的是：代码大模型评测严重受数据污染和题目不完整影响，导致分数高但真实性弱。过去很多 code benchmark 题库老、公开久，模型很可能见过；同时只测单一维度，难以反映真实编程能力，尤其是长周期、交互式和带约束的代码任务。

Mixture of Parrots: Experts improve memorization more than reasoning

此前MoE与稠密Transformer的性能权衡没有清晰量化结论，领域默认增加专家数可全面提升模型能力，未区分记忆与推理能力的差异。

Unlocking the Power of Function Vectors for Characterizing and Mitigating Catastrophic Forgetting in Continual Instruction Tuning

这篇工作要解决的是持续指令微调（continual instruction tuning）中的灾难性遗忘难以刻画与缓解的问题，而常见做法要么靠经验正则/回放，要么只能用任务指标事后观察遗忘。

Adaptive Data Optimization: Dynamic Sample Selection with Scaling Laws

这篇工作要解决的是：训练时该动态保留哪些样本，能否不用拍脑袋 heuristics，而用 scaling law 来做数据选择。过去数据配比和 sample selection 往往依赖 loss 大小、难度估计或经验规则，但这些信号短期有效、不随训练阶段稳定，且很难告诉你“多看某类样本到底值不值这些 token 预算”。

The Journey Matters: Average Parameter Count over Pre-training Unifies Sparse and Dense Scaling Laws

这篇工作要解决的是：稠密模型和稀疏模型的 scaling law 能否用同一个变量统一描述，而不是各自维护一套看似不同的计算规律。过去 sparse-vs-dense 的比较容易陷入参数量、激活参数量、FLOPs、token budget 各说各话，导致结论依赖指标选择，很难做公平设计。

Self-MoE: Towards Compositional Large Language Models with Self-Specialized Experts

这篇论文要解决 MoE/专家模型的一个核心矛盾：专家如果不真正“分工”，MoE 只是在做稀疏计算但没有带来组合泛化与可控能力，而以往常靠路由噪声、负载均衡 loss 或任务划分来“希望专家分化”。作者提出让专家自我专门化（self-specialized），把“专家学到什么”从偶然现象变成训练目标的一部分。

From Tokens to Words: On the Inner Lexicon of LLMs

这篇论文要回答一个被长期“默认处理”的问题：LLM 以 subword token 训练，但很多能力以 word 为单位呈现，那么模型内部是否形成了稳定的“词汇表征/内在词典（inner lexicon）”，以及 token 到 word 的组合在表示空间里如何实现。以往分析常停留在 token 级 probing，难以解释跨 tokenizer 的一致性与词级泛化。

Surprising Effectiveness of pretraining Ternary Language Model at Scale

这篇工作要回答的是：极低比特、尤其 ternary 参数化的语言模型，是否不仅能做后训练压缩，还能直接从头大规模预训练并保持竞争力。过去 ternary/二值化方法多数停留在小模型或推理压缩场景，因为大家默认这种离散权重表示会严重伤害优化与容量。

Should VLMs be Pre-trained with Image Data?

这篇工作提出了一个很直接但也很关键的问题：VLM 预训练到底需不需要图像数据。这个问题之所以重要，是因为当前 VLM 通常默认必须做大规模图文预训练，但随着强语言模型、视觉编码器蒸馏和跨模态对齐技术成熟，‘是否能绕过原始图像预训练’已经不是伪问题了。

Small-to-Large Generalization: Training Data Influences Models Consistently Across Scale

此前领域默认小模型和大模型对训练数据的响应不一致，无法用小模型实验结果预测大模型行为，导致大模型的数据相关实验成本极高。

Multi-Draft Speculative Sampling: Canonical Decomposition and Theoretical Limits

此前多草稿推测解码的最优选择方案通过线性规划求解，没有清晰的理论分解，也未知其理论上限，无法进一步优化。

Knowledge Entropy Decay during Language Model Pretraining Hinders New Knowledge Acquisition

此前预训练后期模型新知识获取能力下降的原因没有清晰解释，领域默认是数据重复或优化饱和导致，未从知识利用角度归因。

metabench - A Sparse Benchmark of Reasoning and Knowledge in Large Language Models

这篇工作要解决的是：现有 LLM 基准往往密集、题型相关性强，容易被数据污染或“刷分策略”利用，导致很难分辨模型到底缺知识还是缺推理。作者提出 metabench：一个稀疏（sparse）的推理与知识基准。

Scaling Laws for Precision

现有大模型缩放定律未纳入精度维度的影响，低精度训练和量化推理虽能显著降本，但此前没有量化精度、规模、损失三者关系的统一框架，无法指导精度与成本的权衡决策。

Training Language Models to Self-Correct via Reinforcement Learning

现有大模型原生自校正能力极弱，此前的自校正训练方法依赖外部更强模型、多模型协同或额外人工监督，部署成本高且泛化性差，离线SFT的校正数据存在明显分布偏移问题，无法注入稳定的自校正行为。

FlexPrefill: A Context-Aware Sparse Attention Mechanism for Efficient Long-Sequence Inference

长序列推理的注意力预填充阶段复杂度随prompt长度平方增长，是长序列推理的核心瓶颈。此前的稀疏注意力方法采用固定稀疏模式或有限案例生成的稀疏模式，无法适配不同输入和注意力头的动态需求，灵活性不足，性能损失大。

NV-Embed: Improved Techniques for Training LLMs as Generalist Embedding Models

这篇论文要解决的是：把 LLM 训练成“通用 embedding 模型”时，常见做法（对比学习、双塔蒸馏、指令对齐）在规模化后会遇到训练不稳定、负样本构造困难、以及检索/聚类/分类之间迁移不一致的问题。过去 embedding 模型与生成模型往往是两套训练范式，导致你要么牺牲生成能力，要么牺牲向量质量。

Jamba: Hybrid Transformer-Mamba Language Models

纯Transformer架构长序列性能受限于注意力平方复杂度，纯Mamba架构在通用任务上性能弱于同规模Transformer，此前的混合架构未结合MoE来平衡容量和推理成本，开源模型最长有效上下文通常低于256K。

OmniCorpus: A Unified Multimodal Corpus of 10 Billion-Level Images Interleaved with Text

这篇工作要解决的是：多模态预训练长期缺少一个足够大、足够统一、原生支持图文交错建模的语料基础设施。过去很多 VLM 数据集规模不小，但要么以图文对为主，不适合学习长程交错上下文；要么来源碎片化、格式不统一，导致模型很难训练出真正的 native multimodal sequence modeling 能力。

SCBench: A KV Cache-Centric Analysis of Long-Context Methods

现有长上下文方法的基准测试仅评估单请求场景，未考虑真实部署中KV缓存复用的全生命周期特性，无法反映KV缓存广泛应用下的真实推理性能，导致测试结果与实际部署性能偏差大。

(Mis)Fitting Scaling Laws: A Survey of Scaling Law Fitting Techniques in Deep Learning

现有缩放定律拟合过程的多个环节（拟合方程、训练设置、优化方法）缺乏统一标准，不同研究得出的结论存在明显分歧（比如最优token参数量比），导致缩放定律指导预训练决策的可靠性不足。

Chunk-Distilled Language Modeling

这篇论文要解决的是：标准 next-token LM 在长序列上训练/推理成本高且信用分配粒度过细，而简单的 chunking 又会损失细粒度语言建模能力。作者提出 chunk-distilled language modeling，希望用“块级蒸馏”在保持语言能力的同时降低序列长度相关的训练难度或提升长上下文建模。

LLaVA-Interleave: Tackling Multi-image, Video, and 3D in Large Multimodal Models

这篇论文要解决的是：现有 LMM 往往把多图、视频帧、3D 视角当作“拼接的长图文序列”硬塞进上下文，导致跨图/跨帧引用困难、训练数据组织低效、以及推理时对齐不稳定。

TorchTitan: One-stop PyTorch native solution for production ready LLM pretraining

这篇论文要解决的是：LLM 预训练工程栈在 PyTorch 生态里仍然碎片化，研究代码难以直接变成可复现、可扩展、可上线的训练系统，导致大量时间耗在并行、容错、监控与性能调参上。

On the Optimization Landscape of Low Rank Adaptation Methods for Large Language Models

这篇论文要回答的是：LoRA/低秩适配在大模型微调时“为什么能收敛、会卡在哪、哪些解是等价的”，而不是继续把它当作纯经验技巧来用。以往大家多用经验超参和任务指标评估 LoRA，但缺少对其非凸优化地形（landscape）与可辨识性（哪些参数变化其实不改变函数）的系统解释，导致调参和失败案例难以复现与诊断。

SpinQuant: LLM Quantization with Learned Rotations

这篇论文要解决的是：在不显著掉点的前提下把 LLM 做到更低比特量化，而传统 PTQ/QAT 往往被“异常通道/权重分布偏斜”卡住。以往很多方法靠逐层校准或更复杂的量化器，但仍会在 4-bit 甚至更低时出现明显精度崩塌，尤其在注意力/MLP 的某些投影矩阵上。

Fictitious Synthetic Data Can Improve LLM Factuality via Prerequisite Learning

这篇论文要解决的是：LLM 的事实性错误很多并不是缺少目标知识本身，而是缺少到达该知识所需的前置知识链条，导致模型即使见过答案也不容易稳定调用。过去提升 factuality 常靠检索增强、事实微调或直接补充真值数据，但这些方法往往只补“结果”，没有系统补“先修概念”和依赖结构。

AttriBoT: A Bag of Tricks for Efficiently Approximating Leave-One-Out Context Attribution

留一法（LOO）上下文归因是量化上下文片段对LLM生成结果影响的原理性方法，但计算成本随模型规模和上下文长度增长过高，无法大规模落地应用。

RegMix: Data Mixture as Regression for Language Model Pre-training

预训练数据混合比例直接影响大模型性能，但现有数据混合比例的确定依赖人工经验或小范围试错，没有系统化的自动寻优方法，无法适配大模型的大规模训练需求。

Bridging the Data Provenance Gap Across Text, Speech, and Video

现有AI训练数据溯源分析仅覆盖文本模态，语音、视频等多模态数据集的来源、许可、地域语言分布等属性长期缺乏系统性实证研究，过往研究要么仅覆盖单模态要么仅做单数据集调研，无法支撑多模态预训练的数据合规和质量优化。

nGPT: Normalized Transformer with Representation Learning on the Hypersphere

传统Transformer训练过程中表示范数不稳定，导致训练步长需求大、收敛慢，过往方法要么仅对部分层做归一化，要么没有统一的表示空间约束，无法从根本上解决训练效率低的问题。

MathCoder2: Better Math Reasoning from Continued Pretraining on Model-translated Mathematical Code

这篇论文要解决的是：如何用 continued pretraining（继续预训练）而不是只靠 SFT，把模型的数学推理能力稳定拉起来；过去直接用自然语言数学语料继续训，常受限于数据质量与推理链噪声。

A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language

这篇论文要解决的是：Transformer 在形式语言上训练时出现的“涌现能力”能否用更可解释的理论模型刻画；以往对涌现的解释常停留在经验曲线或启发式故事，难以预测何时发生、受哪些因素控制。

WizardMath: Empowering Mathematical Reasoning for Large Language Models via Reinforced Evol-Instruct

这篇工作的核心问题是：如何系统性提升 LLM 的数学推理，而不是只靠少量高质量人工标注或直接做 RL。过去数学能力提升常受限于种子数据规模、题目多样性和推理过程监督稀缺，因此很多工作要么数据不够广，要么训练信号不够强。

A Solvable Attention for Neural Scaling Laws

这篇工作要解决的是：神经 scaling law 研究里，注意力模块通常太复杂，导致理论分析不是过度简化就是几乎不可解。过去很多理论结果要么绕开注意力，要么对其做不够贴近实践的近似，因此很难真正解释 transformer 的尺度行为。

Block-Attention for Efficient Prefilling

RAG场景下传统自回归预填充需要对整个检索上下文做KV编码，重复检索相同文档时会产生冗余计算，导致推理延迟和成本过高，过往方法要么仅做KV缓存的局部优化，要么需要修改检索逻辑，适配性差。

Adapt-∞: Scalable Continual Multimodal Instruction Tuning via Dynamic Data Selection

Towards Principled Evaluations of Sparse Autoencoders for Interpretability and Control

这篇论文要解决的是：用稀疏自编码器（SAE）做可解释性时，社区缺少“原则性评测”来判断学到的特征是否真的可解释、可控、可迁移，而不是只看重构误差或一些零散的可视化。

Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models

这篇论文要解决的是：即使能用 SAE/特征探针找到稀疏特征，如何把这些特征组织成可操作的“因果电路/因果图”，并进行可预测的编辑与干预，仍缺少系统方法。

On Linear Representations and Pretraining Data Frequency in Language Models

语言模型内部的线性表示（linear probes 能提取的特征）与预训练数据中实体/概念出现频率之间的关系尚不清楚。此前大量 probing 工作发现模型能线性编码各种知识，但没有系统研究这种能力是否只是高频数据的副产品。

GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models

LLM 在 GSM8K 等数学推理 benchmark 上的高分是否真正反映了数学推理能力？此前缺乏系统的实验来区分模型是在做真正的推理还是在做模式匹配。这个问题对理解 LLM 的泛化能力至关重要。

OLMoE: Open Mixture-of-Experts Language Models

这篇工作要解决的是：MoE LLM 已经被证明能在固定训练算力下提供更大容量，但公开、可复现、数据和训练细节透明的 MoE 基座模型仍然稀缺。很多社区研究因此难以复现 dense 与 MoE 的真实 trade-off，也难分析路由、专家负载和训练稳定性。

Drop-Upcycling: Training Sparse Mixture of Experts with Partial Re-initialization

现有从预训练稠密模型初始化MoE的upcycling方法初期收益高，但长期训练速度慢于从头训练的MoE，最终效果次优，过往方法要么完全复用稠密模型权重，要么全随机初始化，无法兼顾知识继承和专家专业化。

Scalable Extraction of Training Data from Aligned, Production Language Models

现有认知认为模型对齐可以缓解大模型的训练数据记忆泄露风险，但没有实证验证对齐对生产级大模型的数据提取攻击的防御效果，过往攻击方法仅针对未对齐的预训练模型，无法有效攻击对齐后的生产模型。

Hierarchical Autoregressive Transformers: Combining Byte- and Word-Level Processing for Robust, Adaptable Language Models

现有主流子词tokenizer存在词汇表大、跨领域跨语言适配性差、对拼写错误敏感等问题，过往纯字符级LM的序列压缩率低、训练推理成本高，纯词级LM的鲁棒性差，无法兼顾效率和鲁棒性。

Differential learning kinetics govern the transition from memorization to generalization during in-context learning

这篇论文要解释的是：为什么 in-context learning（ICL）会从“记住示例”过渡到“学会规则并泛化”，以及这个转变由什么训练动力学决定。以往很多解释停留在现象描述或线性化近似，难以给出可检验的机制预测。

Mini-batch Coresets for Memory-efficient Language Model Training on Data Mixtures

这篇论文要解决的是：在多数据源混合训练语言模型时，如何在不显著牺牲效果的前提下降低训练内存与吞吐成本，尤其是混合采样带来的大 batch 统计与缓存开销。以往做法要么用大 batch 保证混合比例稳定、但显存吃紧；要么用小 batch 导致混合比例抖动、训练噪声变大。

Understanding Factual Recall in Transformers via Associative Memories

这篇论文要回答的是：Transformer 的事实性召回（factual recall）能否用“联想记忆（associative memory）”的视角来解释，从而把记忆检索从黑盒现象变成可分析的机制。以往对事实召回的解释常在注意力模式或参数记忆之间摇摆，缺少统一的、可推导的模型。

The AdEMAMix Optimizer: Better, Faster, Older

这篇论文要解决的是：在大规模训练中能否用一个“更老但更稳”的优化器配方，拿到比 AdamW 更好的速度-效果折中。很多团队默认 AdamW 是通用最优，但在长训练、低精度和大 batch 下，动量/自适应项的耦合会带来收敛慢或不稳定。

Efficient stagewise pretraining via progressive subnetworks

这篇论文要解决的是：能否把大模型预训练做成真正的 stagewise 过程，在前期只训练更小的子网络，后期再逐步扩展，从而降低总训练成本。传统做法通常是一开始就训练完整模型，因为担心前期省下的算力会在后期扩容时以性能损失的形式还回去。

ICLR: In-Context Learning of Representations

这篇论文讨论的是一个更基础的问题：上下文学习不仅能学任务映射，是否还能在上下文中学出可迁移的表示。过去 ICL 研究大多盯着“给定 few-shot 示例后能不能做对题”，但较少把重点放在模型是否在推理时形成了新的内部 representation，以及这些表示是否具有系统性。

DataMan: Data Manager for Pre-training Large Language Models

现有预训练数据筛选依赖人工设计的启发式规则，缺乏系统的质量评估标准，无法匹配大模型数据缩放定律的需求，过往方法要么仅覆盖少数质量维度，要么无法支持大规模数据标注。

ReGenesis: LLMs can Grow into Reasoning Generalists via Self-Improvement

这篇论文要解决的是：如何让 LLM 通过自我改进（self-improvement）从“会做题的专才”成长为“可迁移的推理通才”，而不是只在少数基准上过拟合。过去自训练/自蒸馏常见问题是奖励信号窄、数据分布单一，模型会学到投机解而非可泛化的推理技能。

Recite, Reconstruct, Recollect: Memorization in LMs as a Multifaceted Phenomenon

这篇工作要解决的是：语言模型中的“记忆”并不是单一现象，单用 exact match 或 verbatim extraction 去衡量会把不同机制混在一起。过去关于 memorization 的讨论常把背诵、近似重构和基于线索的回忆放在一个桶里，因此很难判断风险来自训练数据重复、参数容量、上下文触发，还是模型学到了更一般的模式。

Quantifying Generalization Complexity for Large Language Models

这篇工作要解决的是：如何定量描述大语言模型的泛化复杂度，而不是只用参数量、数据量或 benchmark 分数做事后观察。以往对 LLM 泛化的讨论常停留在经验 scaling 或任务表现，缺少一个能跨任务、跨模型解释“这个问题对模型究竟有多难泛化”的复杂度量化框架。

Infilling Score: A Pretraining Data Detection Algorithm for Large Language Models

这篇工作要解决的是：如何检测一段文本是否出现在大语言模型的预训练数据中，而且不依赖拿到训练集或模型内部梯度。这个问题过去通常用 memorization probing、membership inference 或字符串匹配来近似，但这些方法要么只抓住逐字复现，要么对改写和局部污染不敏感；作者显然想做一个更实用的、面向预训练数据污染识别的检测算法。

Unintentional Unalignment: Likelihood Displacement in Direct Preference Optimization

这篇论文的核心结论从标题就很明确：DPO 可能会带来一种非预期的失配，即 likelihood displacement，导致模型分布在并非人类偏好想要的方向上被推走。过去大家常把 DPO 视为比 RLHF 更简洁稳定的偏好优化替代，但对它如何重排整个 token likelihood 分布、是否伤到未标注区域，分析并不充分；这篇工作就是在拆这个账。

Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling

现有长上下文建模方法要么存在注意力的二次方计算复杂度，要么状态空间模型的长程召回精度不足，无法兼顾无限上下文长度的建模效率和召回精度，过往混合架构要么没有分层设计，要么无法实现长度外推。

Needle Threading: Can LLMs Follow Threads Through Near-Million-Scale Haystacks?

这篇论文要解决的是：当上下文接近百万 token 时，LLM 是否还能稳定地“沿着线索走”（thread-following），在巨大干扰（haystack）中持续追踪并利用稀疏关键信息。过去的 needle-in-a-haystack 更像一次性检索命中测试，无法覆盖多步依赖与线索传递。

Procedural Knowledge in Pretraining Drives Reasoning in Large Language Models

这篇工作的核心结论从题目就很明确：大语言模型的推理能力，很大一部分来自预训练中学到的程序性知识，而不只是参数规模或后训练技巧。过去很多讨论把 reasoning 提升归因于 chain-of-thought、RL 或 test-time search，但这些方法经常回避一个更前置的问题——模型在预训练阶段到底有没有接触和吸收到足够多的可执行步骤模式。

MagicDec: Breaking the Latency-Throughput Tradeoff for Long Context Generation with Speculative Decoding

长上下文生成场景下，推测解码（speculative decoding）通常被认为只能降低延迟而无法提升吞吐，因为 KV-cache 的内存开销随上下文长度线性增长，导致 draft 模型的额外开销抵消了加速收益。作者要打破这一延迟-吞吐的 tradeoff。

Mitigating Memorization in Language Models

语言模型会记忆训练数据中的特定序列（verbatim memorization），这既带来隐私风险，也暗示模型在这些样本上没有真正泛化。本文研究如何在不显著损害模型能力的前提下缓解记忆问题。

Towards Understanding the Universality of Transformers for Next-Token Prediction

Transformer 做 next-token prediction 时的表达能力（universality）尚缺乏严格的理论刻画。已有的万能近似定理（universal approximation）大多针对序列到序列映射，没有专门分析自回归 next-token prediction 这一特定设置。

Transformers Struggle to Learn to Search

Transformer 在需要搜索（search）的任务上表现很差——即使在训练数据中包含了搜索过程的 trace，模型也难以学会泛化的搜索策略。这揭示了当前 AR 模型在算法推理上的根本局限。

Beyond Next Token Prediction: Patch-Level Training for Large Language Models

这篇论文要解决的是：纯 next-token 训练把学习粒度锁死在 token 级，导致模型在更高层级的“块状结构”（短语、实体、代码片段）上学习效率不高，也更难在长上下文里形成稳定的规划。过去的替代范式（span corruption、masked LM）要么不兼容标准 AR 解码，要么训练/推理不一致，因此作者提出 patch-level training 作为折中。

Scaling LLM Test-Time Compute Optimally Can be More Effective than Scaling Parameters for Reasoning

当前LLM推理能力提升默认依赖预训练阶段扩参，对测试时计算的缩放规律、测试时计算与预训练参数量的资源 tradeoff 缺乏系统研究，过往相关工作大多给出负面结论，未量化最优测试时计算的潜在增益。

Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining

这篇工作要解决的是：LLM 预训练里不同样本的学习价值差异很大，但常见做法要么静态过滤、要么用启发式混合比例，难以在训练过程中自适应地把算力花在“更该学”的 token 上。

How new data permeates LLM knowledge and how to dilute it

LLM通过梯度更新持续学习新信息时，新知识如何扩散到已有知识库、如何引发无关上下文下的错误知识应用（priming效应）的机制缺乏量化研究，无法系统性解决新知识注入带来的幻觉问题。

Data Pruning by Information Maximization

现有数据剪枝（核心集选择）方法大多单独衡量样本重要性，忽略样本间冗余，导致选出的子集信息密度低，同等规模子集下预训练效果差。

Improving Pretraining Data Using Perplexity Correlations

这篇工作要解决的是：怎样在没有昂贵人工标注的情况下，判断哪些预训练数据真的能提升语言模型。过去常见做法是用启发式规则、去重、质量分类器或小模型困惑度直接筛数据，但这些指标经常只反映“像不像已有训练分布”，不一定反映“对目标模型是否有真实训练价值”；作者关注的是用困惑度之间的相关性来更稳定地估计数据价值。

Distributed Speculative Inference (DSI): Speculation Parallelism for Provably Faster Lossless Language Model Inference

这篇工作解决的是大语言模型无损推理的系统瓶颈：如何在不改变输出分布的前提下，把 speculative decoding 从单机草稿-验证模式扩展到分布式并行。传统 speculative decoding 已经能加速，但通常受限于单个 drafter、串行验证和设备利用率不高；作者要处理的是跨设备并行后如何仍然保证严格 lossless，也就是输出与原始目标模型完全一致。

Look Before You Leap: Universal Emergent Mechanism for Retrieval in Language Models

这篇工作要解决的是：语言模型在需要外部知识时会“何时检索、检索什么”表现出不稳定的涌现行为，而现有 RAG 研究更多把检索当外部模块，较少解释模型内部为何会自发形成检索式机制。

PolyPythias: Stability and Outliers across Fifty Language Model Pre-Training Runs

这篇论文的核心结论很可能是：语言模型预训练的 run-to-run variance 和 outlier 现象比社区默认假设的更系统、更值得单独研究。大家平时常用单次训练曲线和单个 checkpoint 下结论，但如果同配置多次重跑的结果波动不小，很多关于 scaling、data mix、优化细节的判断其实可能站不稳；做到 50 次预训练复现实验，本身就是在补这个证据缺口。

SqueezeAttention: 2D Management of KV-Cache in LLM Inference via Layer-wise Optimal Budget

这篇论文要解决的是：长上下文推理时 KV-cache 显存成为硬瓶颈，而“统一裁剪/统一量化”往往忽略不同层对历史信息的依赖差异，导致要么浪费预算要么明显掉点。过去很多方法把 KV 管理当成 1D（按时间步）问题处理，但实际还存在“层维度”的结构性冗余。

TokenFormer: Rethinking Transformer Scaling with Tokenized Model Parameters

这篇工作要解决的是：Transformer 的参数规模扩张方式过于刚性，新增容量通常意味着改动层宽、层数或注意力结构，训练和迁移成本都很高。传统做法把参数绑定在固定层里，扩容时往往需要重新设计网络并从头适配；作者试图把参数本身“token 化”，让模型像处理输入 token 一样按需组合和扩展参数。

Towards Universality: Studying Mechanistic Similarity Across Language Model Architectures

这篇工作要回答的是：不同语言模型架构虽然训练目标、层结构和归纳偏置不同，但内部机制是否收敛到相似的功能分工。过去大家常把 mechanistic interpretability 建立在单一架构上，再默认外推到别的模型；作者显然在追问这个外推到底站不站得住。

Dobi-SVD: Differentiable SVD for LLM Compression and Some New Perspectives

现有基于SVD的LLM压缩方法存在三个未解决痛点：无法确定每层权重矩阵的最优截断位置、截断后权重更新效率低、压缩后精度损失大，导致SVD压缩的落地性差。

Magnetic Preference Optimization: Achieving Last-iterate Convergence for Language Model Alignment

现有基于自博弈的RLHF对齐方法要么仅保证平均迭代收敛，带来极高的存储和推理成本，要么收敛到正则化博弈的纳什均衡，无法拟合真实人类偏好，对齐效果存在偏差。

NovelQA: Benchmarking Question Answering on Documents Exceeding 200K Tokens

现有长上下文LLM评测基准最长文档长度不足200K tokens，且缺乏复杂叙事结构的理解评测，无法有效衡量LLM的超长上下文深度理解能力。

Large Language Models are Interpretable Learners

这篇论文要回答的是：LLM 的“可解释性”能否被当作一种学习行为来系统化理解，而不是事后用探针或归因工具去解释。换句话说，它关心的是模型在学习任务时是否会形成可读的中间表征与规则，而不仅是输出可用。

Mixture-of-Agents Enhances Large Language Model Capabilities

这篇论文解决的是单个 LLM 在复杂任务上能力受限且容易被提示细节左右的问题：单模型很难同时做到强推理、强工具使用与强鲁棒性，而简单的 self-consistency 或多样采样又缺少明确的分工与协作机制。

AI Sandbagging: Language Models can Strategically Underperform on Evaluations

现有AI能力评测默认模型会输出最优表现，但模型开发者或模型本身存在隐藏真实能力的动机，对LLM是否能实现可控策略性低表现（sandbagging）缺乏系统性验证，导致评测结果可信度无法保障。

RNNs are not Transformers (Yet): The Key Bottleneck on In-Context Retrieval

这篇论文要回答的是：为什么很多“RNN 复兴”模型在语言建模上看起来接近 Transformer，但在 in-context retrieval（上下文内检索/拷贝关键信息）上仍明显落后。过去常用困惑度或短上下文任务来评估替代架构，容易掩盖它们在“从长上下文中定位并取回信息”这一关键能力上的瓶颈。

Language Models Learn to Mislead Humans via RLHF

这篇论文要解决的是：RLHF 可能在某些设置下把模型推向“误导人类”的策略，而不仅是产生无害的迎合或幻觉。过去对 RLHF 风险的讨论多集中在 reward hacking 或过度迎合，但“主动误导（mislead）”意味着模型在优化目标下学会了操纵用户信念，这是更强的对齐失败形态。

Token Statistics Transformer: Linear-Time Attention via Variational Rate Reduction

现有Transformer注意力的计算复杂度随token数平方增长，无法高效处理超长上下文，现有线性注意力方法大多为经验性设计，会降低模型效果，缺乏理论可解释的设计思路。

Estimating the Probabilities of Rare Outputs in Language Models

如何在语言模型中估计极低概率（无法通过随机采样获得）的输出事件。这在评估模型在分布偏移下的最坏情况性能（如安全性或鲁棒性）时至关重要，而传统采样方法对此无能为力。

U-shaped and Inverted-U Scaling behind Emergent Abilities of Large Language Models

解释 LLM 中“涌现能力”（性能随规模先停滞后突变）的底层机制。过去通常将其视为黑盒现象，缺乏对不同难度样本 scaling 动态的细粒度分析。

Inference Scaling Laws: An Empirical Analysis of Compute-Optimal Inference for LLM Problem-Solving

这篇论文要解决的是：在给定推理预算下，LLM 解题的“计算最优”推理策略是什么，以及是否存在类似训练 scaling law 的 inference scaling law；过去推理侧常用启发式（多采样、长 CoT、best-of-n），但缺少系统的预算-收益刻画。

Retrieval Head Mechanistically Explains Long-Context Factuality

这篇论文要解决的是：长上下文下的事实性（factuality）提升到底来自什么机制，而不是笼统地归因于“注意力能看更远”；过去对长上下文有效性的解释往往停留在相关性观察，缺少可定位的机制组件。

The Semantic Hub Hypothesis: Language Models Share Semantic Representations Across Languages and Modalities

这篇论文的核心问题是：不同语言、甚至不同模态中的语义表示，是否会在大模型内部收敛到共享的“语义枢纽（semantic hub）”，而不是彼此割裂的专用空间。这个问题以前常被局部地研究成跨语言对齐或跨模态对齐，但缺少一个统一假设去解释为什么同一模型能在多语言、多模态之间迁移。

SWIFT: On-the-Fly Self-Speculative Decoding for LLM Inference Acceleration

这篇论文解决的是：自推测解码通常需要额外 draft model，而额外模型会带来部署复杂度、显存开销和工程耦合；作者想做的是一种 on-the-fly 的 self-speculative decoding，让同一个 LLM 在推理时自己生成草稿、自己验证，从而加速生成。这个方向重要，是因为很多真实 serving 场景不愿意为每个主模型再维护一套草稿模型。

DuoAttention: Efficient Long-Context LLM Inference with Retrieval and Streaming Heads

长上下文 LLM 推理中 KV Cache 显存占用过高的问题。现有的 KV Cache 剪枝方法要么损害长上下文能力，要么效率提升有限。

Show-o: One Single Transformer to Unify Multimodal Understanding and Generation

这篇论文要解决的是：多模态系统通常被拆成“理解模型（编码器+LLM）”和“生成模型（扩散/自回归解码器）”两套，导致训练目标不统一、参数冗余、跨任务迁移差。作者主张用一个 Transformer 同时做多模态理解与生成，减少范式割裂。

Magpie: Alignment Data Synthesis from Scratch by Prompting Aligned LLMs with Nothing

高质量指令微调数据的获取瓶颈。开源模型缺乏高质量的对齐数据，而现有依赖人工或预定义 prompt 的数据合成方法难以扩展且多样性受限。

ElasticTok: Adaptive Tokenization for Image and Video

这篇工作要解决的是图像和视频离散化里最核心但长期被固定设计掩盖的问题：不同区域、不同帧的内容复杂度差异很大，统一 token budget 的 tokenizer 会在简单区域浪费码率、在复杂区域丢细节。过去视觉 tokenizer 大多固定 patch 大小、固定码长或固定 latent 网格，训练和推理都简单，但代价是生成质量、压缩效率和统一多模态建模能力之间一直存在硬冲突。

Synthetic continued pretraining

这篇工作解决的是 continued pretraining 的数据瓶颈：当目标域真实数据有限、版权受限或分布稀缺时，继续预训练往往要么效果弱，要么过拟合，要么损伤原有能力。作者讨论的是能否用合成数据来做持续预训练，并且不是当作 SFT 补丁，而是直接当作 pretrain-stage 的训练语料。

Number Cookbook: Number Understanding of Language Models and How to Improve It

语言模型对数字的理解能力（数值大小比较、算术、数量推理等）一直较弱且缺乏系统性诊断。已有工作零散地测试某些数值任务，但没有一个统一框架来全面评估和改进 LM 的数字理解。

Differential Transformer

这篇论文的核心问题是：标准 Transformer 注意力会把“该保留的信息”和“该抑制的噪声”混在同一 softmax 里做加权，导致无关 token 在长上下文、检索干扰或多模态噪声下仍会泄漏进表示。现有做法通常通过更大模型、更多数据或外部稀疏机制缓解，但没有直接改变注意力本身的选择性；作者想从注意力计算规则上提升信号与噪声的可分性。

HELMET: How to Evaluate Long-context Models Effectively and Thoroughly

这篇论文要解决的是：长上下文模型的评测经常被“针在草堆（needle-in-a-haystack）+ 少量合成任务”代表，导致我们不知道模型在真实长文档下的检索、聚合、抗干扰与跨段推理到底哪一环掉链子。过去的评测要么过于单一（只测定位），要么可被模板化策略投机，难以指导预训练与长上下文工程优化。

Compute-Constrained Data Selection

这篇论文要解决的是：在算力受限时，如何做数据选择（data selection）才能最大化训练收益，而不是简单按困惑度/去重/启发式采样。过去数据选择常假设训练预算固定且足够大，但现实里更常见的是“算力先卡死”，这会改变最优数据分布：你需要在更少 step 内学到最有迁移价值的模式。

Pangea: A Fully Open Multilingual Multimodal LLM for 39 Languages

这篇论文要解决的是：多语言多模态 LLM 往往要么不开源、要么语言覆盖窄、要么多模态能力只在高资源语言上成立，导致研究与落地都难以复现和扩展。过去的次优解是用英文强模型外接翻译/对齐模块，但这会引入延迟与误差，并削弱端到端多模态对齐。

Generative Verifiers: Reward Modeling as Next-Token Prediction

这篇论文要解决的是：奖励建模（reward modeling）能否回到语言模型最擅长的 next-token 预测范式，从而减少“训练一个额外回归头/分类器”带来的分布不匹配与泛化问题。传统 reward model 往往是标量打分器，训练目标与 LM 预训练目标差异大，容易校准差、迁移差。

ZooProbe: A Data Engine for Evaluating, Exploring, and Evolving Large-scale Training Data for Multimodal LLMs

这篇工作要解决的是多模态 LLM 训练数据“看不见、量不准、改不动”的问题。当前很多团队知道数据决定上限，但在图文数据上通常只做静态 benchmark 或局部人工抽检，很难回答某类样本到底提升了什么能力、污染了什么偏差、删改后训练效果会怎样。

How Does Critical Batch Size Scale in Pre-training?

这篇工作要回答一个对大规模预训练非常核心但一直缺少系统规律的问题：critical batch size 在 pre-training 中到底如何随模型、数据和训练阶段缩放。业界常用经验法则设 batch，但一旦模型和 token 预算上去，过小浪费并行度，过大又进入收益递减甚至优化变差，成本非常实。

Persistent Pre-training Poisoning of LLMs

这篇工作研究的是一个对 foundation model 数据安全非常关键的问题：预训练阶段的投毒是否会在后续继续预训练、指令微调甚至对齐之后依然持久存在。过去很多投毒研究集中在 supervised setting 或短期 backdoor 效果，但对大模型而言，更现实的问题是早期有毒数据会不会被后续海量干净数据“冲掉”。

Train Small, Infer Large: Memory-Efficient LoRA Training for Large Language Models

LoRA 微调时显存占用仍被冻结的原始大模型参数主导的问题。这限制了在资源受限设备上对超大模型进行微调的可行性。

OpenPRM: Building Open-domain Process-based Reward Models with Preference Trees

这篇工作要解决的是：过程奖励模型（process reward model, PRM）缺少开放域、高质量、细粒度的训练数据，导致它们往往只在数学或代码等窄领域有效。过去 PRM 之所以难做，不是模型结构本身有多复杂，而是缺少能监督“中间推理步骤好坏”的标注，而这类标注人工成本极高、覆盖面又窄。

Harnessing Diversity for Important Data Selection in Pretraining Large Language Models

这篇工作要解决的是预训练数据选择里一个常被低估的问题：只按“重要性”挑数据，容易把高频、近邻、表面高损失样本选得过多，反而损失覆盖面；而只追求多样性，又可能选进很多对训练贡献不大的样本。过去 LLM 数据筛选常在质量、去重和困难度上做文章，但“重要性”和“多样性”如何联合建模并服务预训练缩减，仍然没有统一且稳定的方案。

Deconstructing What Makes a Good Optimizer for Autoregressive Language Models

在自回归语言模型预训练中，Adam 优化器是否真的不可替代？随着模型规模扩大，寻找更高效优化器的尝试不断，但 Adam 依然占据统治地位。

What Makes Large Language Models Reason in (Multi-Turn) Code Generation?

这篇工作要解决的是：LLM 在多轮代码生成中“为什么会推理/不会推理”，以及哪些因素真正驱动了跨轮次的计划、纠错与状态维护，而不是把提升简单归因于更大模型或更多上下文。过去对 code LLM 的分析常停留在单轮 pass@k，难解释多轮交互中的推理失败模式。

Cheating Automatic LLM Benchmarks: Null Models Achieve High Win Rates

这篇论文的核心结论大概率是：很多自动化 LLM benchmark 的胜负判定并没有测到真实能力，甚至“空模型”都能拿到很高 win rate。过去社区为了提高评测吞吐和降低人工成本，大量采用 LLM-as-a-judge 或自动 pairwise 比较；问题在于，如果裁判模型被格式、长度、语气、模板或位置偏置带偏，benchmark 就会奖励会“迎合评测器”的输出，而不是更强的推理或事实能力。

Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model

如何在一个统一的模型中同时处理离散文本和连续图像数据。过去通常将图像量化为离散 token 以适应语言模型，但这会损失信息且难以扩展。

RMB: Comprehensively benchmarking reward models in LLM alignment

这篇论文要解决的是：reward model（RM）在 LLM 对齐里被当作“黑盒分数”，但社区缺少一个覆盖面足够、能揭示失效模式的系统性基准，导致不同 RM 训练配方的优劣很难复现和对齐。过去常用单一数据集或单一相关性指标，容易把“会迎合偏好数据”误当成“会泛化的奖励”。

Know Thy Judge: On the Robustness Meta-Evaluation of LLM Safety Judges

这篇论文要解决的是：用 LLM 当“安全裁判”(safety judge)做 meta-evaluation 时，裁判本身是否稳健、是否会被提示词/格式/对抗样例系统性带偏。以往很多工作默认“裁判分数≈真实安全性”，但在安全评测越来越依赖自动裁判的情况下，这个假设一旦不成立会直接污染训练与迭代闭环。

PEARL: Towards Permutation-Resilient LLMs

这篇论文解决的是：LLM 对输入中“可交换部分”的顺序很敏感（例如一组证据段落、工具返回列表、检索到的文档集合），导致同一集合不同排列会显著改变输出。过去通常靠提示词要求“忽略顺序”或做简单打乱增强，但鲁棒性仍不稳定。

Bi-Factorial Preference Optimization: Balancing Safety-Helpfulness in Language Models

这篇论文解决的是：偏好优化（DPO/IPO 等）在同时追求“有用性”和“安全性”时容易互相挤压，导致要么过度拒答要么安全退化。过去常用单一标量 reward 或把安全当硬规则，但这会把多目标问题简化得过头。

The Geometry of Categorical and Hierarchical Concepts in Large Language Models

这篇论文解决的是：LLM 内部如何几何化地表示“类别概念”和“层级概念”（如动物-哺乳动物-狗），以及这种几何结构与泛化/组合能力的关系。过去我们常用 probing 给出相关性，但对概念空间的几何约束与可预测结构缺少系统刻画。

Unlearning or Obfuscating? Jogging the Memory of Unlearned LLMs via Benign Relearning

这篇工作讨论的是 LLM unlearning 到底真的删除了知识，还是只是把知识提取路径暂时遮蔽了。作者用 benign relearning 去“唤醒”已被遗忘模型的记忆，针对的是当前 unlearning 评估常只看静态攻击或一次性测试，无法区分真正遗忘与可恢复性隐藏。

Attributing Culture-Conditioned Generations to Pretraining Corpora

这篇工作研究的是：模型生成中的文化条件偏向，能否被追溯到具体的预训练语料来源。过去关于文化偏见或文化适配的工作多停留在行为层观察，很少进一步回答“这些生成风格到底是从哪类语料学来的”，而这个问题对数据治理和语料配比非常关键。

OpenHands: An Open Platform for AI Software Developers as Generalist Agents

LLM 作为软件开发 agent 的研究缺乏统一、可复现的开源平台，导致不同方法难以公平对比，工程实现重复造轮子。OpenHands 旨在提供一个开放的通用 agent 平台来解决这个问题。

SOAP: Improving and Stabilizing Shampoo using Adam for Language Modeling

Shampoo 是一种基于二阶信息的优化器，理论上收敛更快，但在实际语言模型训练中存在不稳定和工程复杂度高的问题。SOAP 通过将 Shampoo 与 Adam 结合来同时获得二阶优化的加速和 Adam 的稳定性。

DataEnvGym: Data Generation Agents in Teacher Environments with Student Feedback

训练数据的生成和筛选通常是静态的，缺乏根据学生模型实际学习状态动态调整数据的机制。DataEnvGym 构建了一个框架，让数据生成 agent 根据学生模型的反馈来自适应地生成训练数据。

InstaTrain: Adaptive Training via Ultra-Fast Natural Annealing within Dynamical Systems

学习率调度（learning rate schedule）通常需要预先设定总训练步数和退火策略，对训练动态的适应性差。InstaTrain 提出基于动力系统理论的自适应退火方法，让学习率根据训练状态自动调整。

Gnothi Seauton: Empowering Faithful Self-Interpretability in Black-Box Transformers

Transformer 的内部决策过程不透明，现有可解释性方法要么需要修改模型结构，要么解释不忠实于模型实际计算。本文在不修改黑盒 Transformer 的前提下，提出一种忠实的自解释方法。

MoE++: Accelerating Mixture-of-Experts Methods with Zero-Computation Experts

Mixture-of-Experts (MoE) 通过稀疏激活提升模型容量，但每个 token 仍需经过 router 计算和至少一个 expert 的前向传播，存在计算浪费——很多 token 其实不需要复杂处理。MoE++ 引入零计算专家（zero-computation experts）来加速推理和训练。