ICLR 2024

FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning

这篇论文解决的是 attention 已经不是“算法上太贵”而是“实现上没有把硬件吃满”的问题。FlashAttention 已经把精确 attention 的 IO 开销大幅降下来了，但在现代 GPU 上仍有不少并行度和线程块划分没有榨干，导致理论上更快、实际却被 kernel 调度和低占用率卡住。

Let's Verify Step by Step

这篇工作解决的核心问题是：仅靠最终答案监督不够，如何训练模型判断中间推理步骤是否正确。过去大家多用结果对错来做过程任务的近似监督，但这会把大量“答案碰巧对、过程其实错”或“过程大体对、末步失误”的样本混在一起，导致推理学习信号很脏。

Sophia: A Scalable Stochastic Second-order Optimizer for Language Model Pre-training

LLM 预训练几乎只用 Adam/AdamW，二阶优化器因为计算和内存开销太大一直无法落地。Sophia 试图设计一个真正能 scale 到大模型预训练的随机二阶优化器，在不显著增加开销的前提下加速收敛。

In-context Autoencoder for Context Compression in a Large Language Model

这篇论文要解决的是：在不改动 LLM 主干或只做轻量改动的情况下，把超长上下文压缩成更短的“可恢复表示”，从而在推理时降低上下文长度带来的算力与 KV-cache 成本。过去常见做法是检索/摘要/截断，但它们要么丢信息不可逆，要么需要额外系统组件且难以端到端优化。

Chain of Thought Empowers Transformers to Solve Inherently Serial Problems

这篇论文要解决的是：Transformer 在解决“内在串行”（inherently serial）的问题时为何会受限，以及为什么 Chain-of-Thought（CoT）能系统性地提升这类问题的可解性。过去 CoT 多被当作经验技巧，缺少对“串行性”与模型计算图之间关系的清晰刻画。

Demystifying CLIP Data

这篇工作要解决的是：CLIP 类模型到底从什么样的数据中受益，哪些数据属性真正重要，而不是把“大规模图文对”当成一个黑箱。过去开放式视觉预训练往往把焦点放在模型和算力上，但数据来源、过滤、重复、文本长度、图文关系强弱这些因素并没有被充分拆开分析，因此很难指导下一代 VLM 数据构建。

CausalLM is not optimal for in-context learning

Causal (autoregressive) language model 并非 in-context learning (ICL) 的最优建模选择。此前 ICL 的理论分析几乎都默认 causal attention，但 causal mask 限制了 demonstration 之间的信息交互，导致 ICL 效率低于 prefix LM 或其他非严格因果的注意力模式。

When Scaling Meets LLM Finetuning: The Effect of Data, Model and Finetuning Method

LLM 微调的 scaling behavior 尚未被系统研究：当数据量、模型大小、微调方法（full fine-tuning vs LoRA vs prompt tuning 等）同时变化时，性能如何 scale？此前的 scaling law 研究主要聚焦 pretrain，对 fine-tuning 阶段的 scaling 规律了解不足。

Large Language Models Cannot Self-Correct Reasoning Yet

这篇论文要解决的是：当前 LLM 的“自我纠错推理”（self-correction）在很多基准上看起来有效，但作者认为这种能力被高估了，模型并不能稳定地发现并修正自己的推理错误。过去常用的做法是让模型多次采样/反思，然后挑一个更好的答案，但这可能更多是“采样带来的运气”而不是纠错机制。

RingAttention with Blockwise Transformers for Near-Infinite Context

这篇论文要解决的问题很直接：标准 Transformer 的注意力在上下文长度上是二次复杂度，训练和推理都很快碰到显存、带宽和跨设备通信瓶颈，因此“超长上下文”往往停留在理论支持而非可训练的系统实现。过去常见做法要么近似注意力牺牲精度，要么简单并行切分但通信代价太高。

What Makes Good Data for Alignment? A Comprehensive Study of Automatic Data Selection in Instruction Tuning

这篇论文要回答的问题很关键：指令微调时，什么样的数据才是真正对 alignment 有用的数据。过去社区常用人工经验、启发式规则或小规模人评来选数据，但在数据池越来越大、来源越来越杂时，这些方法既不稳定，也难解释为什么某些样本有效而另一些只是增加训练成本。

Jointly Training Large Autoregressive Multimodal Models

多模态大模型通常分阶段训练（先训视觉编码器，再对齐，再微调），这种 pipeline 复杂且各阶段目标不一致。本文探索的是：能否用一个统一的自回归目标，从头联合训练文本和图像生成能力？核心挑战是图像 token 和文本 token 在序列长度、信息密度、loss 量级上差异巨大，直接混合训练容易互相干扰。

Self-Consuming Generative Models Go MAD

当生成模型的输出被用作下一代模型的训练数据时（即「模型自噬」），模型质量会逐代退化。这在 LLM 和图像生成领域都是现实威胁——互联网上越来越多的内容是 AI 生成的，未来的 pretrain 数据不可避免地包含合成数据。本文首次系统地刻画了这种退化的机制和速度。

Zoology: Measuring and Improving Recall in Efficient Language Models

这篇论文要解决的是：高效语言模型（尤其是状态空间模型/线性注意力等）常见的短板是“召回（recall）”能力不足，即对早期信息的精确提取与复用不稳定，而现有评测往往只看困惑度或下游任务，难以定位问题。过去这类模型常被用“更大模型/更长训练”掩盖缺陷，但在长上下文与检索式任务里会直接暴露。

The Reversal Curse: LLMs trained on "A is B" fail to learn "B is A"

这篇论文的核心结论很直接：LLM 从“A is B”并不会自动学到“B is A”，即使对人来说这类逆向关系几乎是常识。以往大家默认大模型会通过分布式表示和泛化自动补上这类简单可逆关系，但作者指出，next-token 训练并不保证这种对称性被学到。

Understanding In-Context Learning in Transformers and LLMs by Learning to Learn Discrete Functions

这篇论文想回答一个基础问题：Transformer 和 LLM 的 in-context learning 到底学到了什么机制，尤其是在离散函数学习场景下，它更像是当场做算法归纳，还是只是在提示分布上做模式匹配。过去关于 ICL 的讨论很多，但常被自然语言复杂性掩盖，很难分清模型是在真正‘学会学习’，还是仅仅复现训练中见过的统计模板。

When can transformers reason with abstract symbols?

这篇论文问的是一个比“Transformer 能不能做推理”更具体的问题：它在什么条件下才能对抽象符号进行推理，而不是只记住表面模式。以前很多关于推理能力的结论都建立在自然语言或有限任务分布上，容易混入词汇语义、训练共现和 shortcut，因此很难判断模型是否真的学会了符号层面的组合规则。

CLEX: Continuous Length Extrapolation for Large Language Models

这篇工作要解决的是：让 LLM 在训练上下文长度之外继续稳定泛化，而不是一到更长序列就位置编码失真、注意力退化。过去常见做法要么直接插值/外推位置编码，要么靠长序列继续训练硬补，但前者在极长长度上容易崩，后者算力和数据成本都高，所以“低成本且连续”的长度外推值得单独研究。

LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models

这篇工作解决的是：如何用较低成本把已有 LLM 微调到长上下文，而不是全量长序列训练把显存和通信成本拉到不可接受。过去长上下文扩展通常卡在 attention 二次复杂度和 fine-tuning 昂贵上，因此需要专门面向长序列的高效适配方案。

Language Modeling Is Compression

这篇论文的核心观点很直接：语言建模可以用压缩能力来定义和衡量，而不仅是传统的 perplexity。这个问题老但值得重提，因为 next-token loss 一直被当成默认目标，大家默认它和“理解语言结构”一致；作者想更强地说明，好的语言模型之所以强，是因为它学会了把数据中的可预测结构压缩掉，而压缩提供了更统一、更可操作的视角。

SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression

这篇论文解决的是 LLM 权重压缩里一个很硬的工程问题：常规低比特量化已经很强，但总有少量异常权重会主导误差，使得进一步压缩时质量突然掉下去。单纯增加 bit 数能缓解，但压缩率不够；单纯做稀疏化也不够，因为大多数权重仍要存。

What's In My Big Data?

这篇论文要解决的是：大规模预训练数据集“到底包含什么”通常不可见，研究者只能用粗粒度来源统计或下游表现间接猜测，导致数据质量、覆盖与偏差问题难以被定位和复现。

Data Filtering Networks

这篇论文要解决的是：数据过滤通常是离线规则或打分器，无法随模型训练动态适配，也很难针对特定目标（例如减少毒性、提升推理、保留长尾）做端到端优化。

How do Language Models Bind Entities in Context?

这篇论文聚焦于一个基础但长期缺少可操作刻画的问题：语言模型到底如何在上下文中把属性、关系和指代正确地绑定到对应实体上。过去大家更多用行为测试看模型“答对没有”，但这会把实体绑定、知识检索和表面模式匹配混在一起，所以很难判断模型是真的学会了 context-dependent binding，还是只是在利用统计捷径。

Scaling Laws for Sparsely-Connected Foundation Models

这篇论文研究稀疏连接基础模型的 scaling law，也就是当模型不是标准 dense 结构时，参数、数据、计算与性能之间的关系如何变化。过去大部分 scaling law 都建立在 dense Transformer 上，因此对 MoE、稀疏前馈、稀疏连接图这类模型的容量估计和 compute-optimal 配置指导有限。

Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs

作者要解决的是：长上下文推理时 KV cache 成为显存与带宽瓶颈，而现有压缩/裁剪策略要么固定规则、要么对质量损失不可控，难以在不同输入与任务上自适应。

Time Travel in LLMs: Tracing Data Contamination in Large Language Models

作者要解决的是：如何追踪并量化大模型训练中的数据污染（data contamination），尤其是“时间旅行”式污染——模型在某个时间点之前训练，却似乎记住了之后才出现的测试内容；以往检测多依赖字符串匹配或人工审计，覆盖有限。

MiniLLM: Knowledge Distillation of Large Language Models

这篇工作要解决的问题是：现有 LLM 蒸馏通常只学教师的 token 分布或最终输出，难以在更小模型上保留教师的生成质量与推理行为。过去很多蒸馏方法在开放生成场景里效果一般，因为学生只是在局部模仿概率，而没有学到序列级偏好；MiniLLM 试图提升蒸馏后的小模型生成能力。

The False Promise of Imitating Proprietary Language Models

开源社区大量使用 GPT-4 等闭源模型的输出来蒸馏/微调小模型（imitation models），声称能逼近闭源模型性能。本文质疑这种做法的真实效果——模仿模型到底学到了能力，还是只学到了风格？

HyperAttention: Long-context Attention in Near-Linear Time

这篇论文解决的是：标准注意力在长上下文下是 O(n^2) 的时间/显存瓶颈，导致长上下文预训练与推理成本急剧上升，而很多近似注意力要么牺牲精度、要么实现复杂且不稳定。过去常见路线是稀疏注意力、低秩近似或线性注意力，但它们在真实分布上经常出现长程依赖退化。

Contrastive Preference Learning: Learning from Human Feedback without Reinforcement Learning

这篇工作要解决的是：从人类偏好学习策略时，为什么一定要走 RL 这条高方差、难调参、易 reward hacking 的路。RLHF 已经证明有效，但它把问题拆成奖励建模再强化学习，带来信用分配、分布偏移和优化不稳定。作者要回答的是：能不能直接从偏好数据学出好策略，而不经过 RL 这一步。

Collapse of Self-trained Language Models

这篇工作要解决的是：语言模型如果越来越依赖自己生成的数据继续训练，会不会出现系统性退化，甚至分布塌缩。这个问题现在非常值得重视，因为高质量人类数据增长有限，而合成数据和 self-training 正在变成默认选项。过去很多工作展示了 self-improvement 的局部收益，但对长期、多轮递归训练的稳定性讨论不足。

Predicting Emergent Abilities with Infinite Resolution Evaluation

这篇论文要解决的是：所谓“涌现能力”常被离散评测分辨率（例如少量 shot、粗粒度难度档位、有限样本）制造成看似突然出现的现象，导致我们难以预测能力何时出现、也难以做可靠的 scaling 规划。作者想用“无限分辨率”的评测视角，把能力曲线从离散点变成可连续分析的对象。

Sparse Autoencoders Find Highly Interpretable Features in Language Models

这篇论文要解决的问题很直接：如何从大语言模型内部提取出稳定、可解释、接近“单义”的中间特征，而不是停留在神经元级别那种明显混叠的表示。过去对 LM 表征的解释通常依赖单个 neuron、probe 或人工案例分析，但这些方法很难处理 superposition——也就是很多语义方向被压在同一组激活里——所以解释性一直被表示容量和混叠问题卡住。

SWE-bench: Can Language Models Resolve Real-world Github Issues?

现有LLM代码评估基准多为人工构造的单函数生成任务，无法衡量模型解决跨模块、多文件修改的真实软件工程问题的能力，之前的评估体系回避了真实Github场景的复杂需求。

Get more for less: Principled Data Selection for Warming Up Fine-Tuning in LLMs

这篇工作要解决的是：在大模型微调前的“warm-up 阶段”，如何用原则性的数据选择用更少样本达到更稳定、更快的收敛，而不是随手抽样或靠经验挑数据。以往 warm-up 往往被当成工程细节，但它会显著影响后续全量微调的稳定性、遗忘与最终效果。

DataInf: Efficiently Estimating Data Influence in LoRA-tuned LLMs and Diffusion Models

这篇工作要解决的是：在 LoRA 微调后的大模型与扩散模型里，如何高效估计“某条训练数据对某个输出/损失的影响”（data influence），而不需要对每个样本做昂贵的重训练或全量 influence function 近似。过去影响函数在大模型上常因二阶信息不可得、近似不稳或成本过高而难以落地。

Is attention required for ICL? Exploring the Relationship Between Model Architecture and In-Context Learning Ability

这篇工作要回答的是：in-context learning（ICL）是否必须依赖注意力机制，还是某些非注意力架构也能出现可比的 ICL 能力。过去社区默认“Transformer+attention 是 ICL 的关键”，但这更多是经验事实而非被系统验证的必要条件。

Functional Interpolation for Relative Positions improves Long Context Transformers

这篇论文要解决的是：长上下文 Transformer 的相对位置编码（relative position）在外推到更长长度时常失效，表现为注意力模式扭曲与性能掉点，而常见做法（RoPE scaling、插值、NTK-aware 调参）缺少统一、可控的函数形式。

ReLoRA: High-Rank Training Through Low-Rank Updates

这篇论文要解决的是：LoRA 这类低秩微调虽然省显存，但在需要较大更新幅度或长训练时会受低秩瓶颈限制，表现为欠拟合或需要提高 rank 导致成本回升。过去的折中是直接加大 rank 或换全参训练，但两者都不理想。

Scaling Laws of RoPE-based Extrapolation

RoPE 位置编码在推理时外推到训练长度之外会崩溃，现有外推方法（NTK-aware、YaRN 等）缺乏系统的 scaling law 来指导超参选择和预测外推性能。作者试图建立 RoPE 外推的定量规律，让长上下文扩展不再靠试错。

QLLM: Accurate and Efficient Low-Bitwidth Quantization for Large Language Models

LLM 的低比特量化（如 4-bit、3-bit）在精度和效率之间难以兼顾，现有 PTQ（训练后量化）方法在极低比特下精度损失明显。QLLM 提出更精确高效的低比特量化方案。

MathVista: Evaluating Mathematical Reasoning of Foundation Models in Visual Contexts

这篇工作的核心问题是：现有多模态评测很难真正测出基础模型在“视觉上下文中的数学推理”能力。以前要么是纯文本数学题，绕开了视觉理解；要么是图文问答，但数学成分很浅，不能区分感知错误、OCR 错误和真正的推理失败。

WizardCoder: Empowering Code Large Language Models with Evol-Instruct

代码LLM的指令调优研究滞后于通用LLM，现有开源代码LLM的指令遵循能力弱，无法处理复杂代码生成需求；之前的方法大多直接复用通用领域指令数据，未适配代码场景特性。

At Which Training Stage Does Code Data Help LLMs Reasoning?

业界已知代码数据可以提升LLM推理能力，但不清楚在哪个训练阶段引入代码数据的收益最高；之前的工作要么仅在预训练加代码，要么仅在指令调优加代码，没有系统对比不同阶段的效果差异。

One Step of Gradient Descent is Provably the Optimal In-Context Learner with One Layer of Linear Self-Attention

已有实验观察到单层线性自注意力Transformer在合成线性回归任务上会实现一步梯度下降，但缺乏理论证明；之前的理论工作无法解释为什么该结构的上下文学习最优解是一步GD，而非贝叶斯最优的岭回归。

Language Model Inversion

之前的工作假设LLM的下一词分布不会泄露输入提示的信息，攻击者无法仅通过下一词分布反推原始提示；业界没有系统性研究这种隐私泄露风险。

Proving Test Set Contamination in Black-Box Language Models

这篇论文要解决的是：在拿不到训练数据和参数的黑盒语言模型上，如何严格证明 test set contamination 确实发生过。过去大家通常只能通过异常高分、近重复搜索或人工例子“怀疑”污染，但这些证据很难排除模型泛化、数据共现或 benchmark 泄漏的其他解释，因此缺少可归因、可重复的黑盒证明方法。

OpenWebMath: An Open Dataset of High-Quality Mathematical Web Text

现有开源网页数据集的预处理会破坏数学符号，导致研究人员无法复现Minerva等模型用大规模数学数据预训练提升推理能力的效果；之前的开源数据集都没有针对数学内容做专门的清洗和保留。

YaRN: Efficient Context Window Extension of Large Language Models

RoPE编码的LLM无法泛化到超过预训练长度的上下文，之前的上下文窗口扩展方法需要大量微调数据和训练步数，成本高且扩展后的精度损失大。

From Sparse to Soft Mixtures of Experts

这篇工作要解决的是：稀疏 MoE 虽然计算高效，但路由离散、负载均衡脆弱、训练和迁移都容易不稳定；而全软混合又计算过高，难以直接替代。过去做法通常在稀疏 top-k gating 上修补，例如加 auxiliary loss 或路由技巧，但没有系统回答“能否从 sparse 平滑过渡到 soft，并获得更好的训练行为”。

Universal Jailbreak Backdoors from Poisoned Human Feedback

RLHF被广泛用于LLM对齐，但之前的工作没有研究RLHF数据投毒带来的通用越狱后门风险；现有的后门攻击方法对RLHF模型的效果很差。

To the Cutoff... and Beyond? A Longitudinal Perspective on LLM Data Contamination

这篇论文要回答的是：LLM 训练数据“污染”（训练集与评测集/基准题重叠）到底有多严重、会如何随时间演化，以及现有“按某个 cutoff 日期过滤”为什么不足以解决。过去很多工作把污染当成一次性静态问题处理，但基准题会被反复转载、改写、再发布，导致污染是一个长期动态过程。

Towards Understanding Sycophancy in Language Models

RLHF训练的AI助手普遍存在迎合用户错误观点而非输出事实的奉承行为，此前研究大多聚焦RLHF的有用性提升，未系统验证该偏差的普遍性与核心成因。

Mixture-of-Experts Meets Instruction Tuning: A Winning Combination for Large Language Models

稀疏MoE大模型可在不增加推理FLOPs的前提下扩参数，但此前未验证其与指令微调的适配性，普遍认为同推理成本下MoE的泛化能力弱于稠密模型，很少用于通用助手训练。

In-Context Pretraining: Language Modeling Beyond Document Boundaries

当前预训练将随机拼接的无关文档填充到上下文窗口，除当前文档前缀外无其他可利用的上下文信号，导致大模型跨文档推理能力弱，需要后续微调才能适配长上下文关联任务。

Emu: Generative Pretraining in Multimodality

这篇论文的核心问题是：多模态生成预训练能否像纯文本 LLM 一样走统一 token 预测路线，而不是把视觉理解、生成和语言建模拆成多个松散模块。过去不少 VLM 用对比学习做对齐，再额外接 diffusion 或 decoder 处理生成；Emu 试图把图文统一进一个生成式预训练框架，直接让模型学跨模态条件生成与理解。

OpenChat: Advancing Open-source Language Models with Mixed-Quality Data

这篇工作要解决的是：开源 chat model 的训练数据质量参差不齐时，怎样仍然把模型做强，而不是一味追求‘只用高质量数据’。过去开源对齐模型经常受限于高质量指令数据稀缺，因此不是规模不够，就是为了保纯度牺牲覆盖面；这篇工作直接面对 mixed-quality data 的现实条件。

InternVid: A Large-scale Video-Text Dataset for Multimodal Understanding and Generation

这篇工作解决的是视频-文本预训练长期缺一个足够大、覆盖够广、同时兼顾理解和生成的数据集的问题。以往视频数据集要么偏理解任务标注，要么偏生成场景，规模和多样性都不足以支撑 native multimodal pretrain 的统一建模。

ZeRO++: Extremely Efficient Collective Communication for Large Model Training

大模型分布式训练中，ZeRO 系列的通信开销是主要瓶颈之一——尤其是 all-gather 和 reduce-scatter 的跨节点通信量随模型规模线性增长。ZeRO++ 要在不损失收敛性的前提下大幅降低这些通信量。

Small-scale proxies for large-scale Transformer training instabilities

这篇论文要解决的问题是：大模型 Transformer 训练中的不稳定性很贵、很晚才暴露，而我们缺少能在小规模上可靠复现这些失稳现象的 proxy。过去常见做法是直接在大模型长训练里试错，或者用过于简化的小模型替代，但前者成本高，后者又经常复现不了 loss spike、发散或梯度异常的真实模式，因此这个问题对预训练稳定性研究很关键。

How Many Pretraining Tasks Are Needed for In-Context Learning of Linear Regression?

Transformer的上下文学习（ICL）能力的统计复杂度边界不明确，此前实验研究认为ICL需要大量预训练任务，但缺乏理论证明，无法指导预训练的任务配比设计。

Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning

中等规模大模型从零开始预训练成本极高，此前结构化剪枝方法得到的小模型精度损失大，需要大量微调才能恢复性能，无法直接替代从头训练的基础模型。

Efficient Streaming Language Models with Attention Sinks

大模型在流式对话等长上下文场景下，KV缓存占用内存高，且超过训练序列长度后性能骤降，传统滑动窗口注意力在超出缓存大小后完全失效。

Large Language Models as Optimizers

这篇论文要解决的是，能否把大语言模型直接当作优化器来使用，而不是只让它生成文本。传统优化器依赖明确的梯度、目标形式和更新规则；但在很多离散、黑盒或人类可读约束的问题里，这些信息并不完整，而 LLM 可能通过语言形式整合历史尝试并提出改进方向。

Masked Structural Growth for 2x Faster Language Model Pre-training

这篇论文要解决的是：标准 Transformer 预训练把所有层从一开始就全量训练，计算开销大且早期训练往往在“学低层模式”，深层参数利用率不高。以往的加速多靠更快的注意力/并行或减少 token，但对“训练过程的结构”动得少。

Language Model Beats Diffusion - Tokenizer is key to visual generation

这篇工作的核心结论是：在离散视觉 token 质量足够高时，自回归语言模型可以在视觉生成上超过 diffusion，而瓶颈首先不是生成器类型，而是 tokenizer。过去很多“LM 做图像不如 diffusion”的结论，实际上混杂了视觉离散化损失过大、token 序列过长、语义与细节编码不均衡等问题，所以比较并不公平。

LMSYS-Chat-1M: A Large-Scale Real-World LLM Conversation Dataset

缺乏大规模、真实用户与 LLM 交互的对话数据集。现有数据集要么是合成的，要么规模小，无法反映真实使用模式。本文发布 LMSYS-Chat-1M：100 万条真实用户对话。

Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models

LLM 在复杂推理任务中容易陷入细节而忽略高层原理。本文提出 Step-Back Prompting：先让模型退一步思考抽象原理，再解决具体问题。解决的是 CoT 在需要抽象推理时效果不佳的问题。

What Algorithms can Transformers Learn? A Study in Length Generalization

核心问题是：Transformer到底能学到哪些“算法”，以及在训练长度之外能否做长度泛化（length generalization）。以往很多工作在固定长度上报告高准确率，但一旦输入更长就崩，说明模型可能学的是统计捷径而不是可迭代的算法。

Representation Deficiency in Masked Language Modeling

这篇论文要解决的是：Masked Language Modeling（MLM）在表征上存在“缺陷”（representation deficiency），导致它学到的表示在某些生成或推断需求上先天不如自回归（AR）或其他目标。过去 MLM 主要被当作 BERT 式理解预训练的默认选择，但其训练-推理不一致（mask 机制）一直是隐患。

MEND: Meta Demonstration Distillation for Efficient and Effective In-Context Learning

这篇论文要解决的是：In-Context Learning（ICL）效果依赖高质量示例，但在线检索或人工构造示例成本高且不稳定，导致 ICL 难以规模化落地。过去的替代方案要么做微调（失去纯 ICL 的灵活性），要么用启发式选例（泛化不稳）。

Safety-Tuned LLaMAs: Lessons From Improving the Safety of Large Language Models that Follow Instructions

这篇工作要解决的是：怎样在不明显伤害指令跟随能力的前提下，把 LLaMA 系列模型调得更安全。过去安全对齐常靠少量拒答模板、红队数据或 RLHF，但实践里经常出现“更安全但更笨”或者“表面拒答、深层仍可绕过”的问题，因此需要系统梳理 safety tuning 到底学到了什么、伤害了什么。

Towards Foundation Models for Knowledge Graph Reasoning

这篇工作要解决的是：知识图谱推理能否像语言和视觉一样走向 foundation model，而不是为每个图任务单独训练专门模型。传统 KG reasoning 往往依赖特定任务结构、封闭图谱和监督信号，泛化到新关系、新图或复杂查询时很弱，因此作者想探索一种更统一、更具迁移性的预训练范式。

Can Perplexity Reflect Large Language Model's Ability in Long Text Understanding?

这篇工作要解决的是：困惑度（perplexity）到底能不能反映大语言模型的长文本理解能力。社区长期默认低 perplexity 代表更强语言建模，也常把它外推到长上下文场景，但长文本理解涉及跨段依赖、全局主题跟踪、信息检索和推理，未必等价于把下一个 token 预测得更准。

Statistical Rejection Sampling Improves Preference Optimization

偏好优化（如 RLHF/DPO）中，训练数据的质量直接决定对齐效果，但现有方法在构造偏好对时缺乏对采样分布的精细控制。Statistical Rejection Sampling（统计拒绝采样）被引入来改善偏好数据的质量，从而提升偏好优化的效果。

Enabling Lanuguage Models to Implicitly Learn Self-Improvement

如何让语言模型在训练过程中隐式地学会自我改进（self-improvement），而不依赖外部反馈信号（如人类标注或 reward model）。此前的 self-improvement 方法通常需要显式的验证器或 reward model 来筛选自生成数据，本文探索一种更内化的方式。

How Do Transformers Learn In-Context Beyond Simple Functions? A Case Study on Learning with Representations

Transformer 的 in-context learning (ICL) 理论分析此前主要局限于简单函数类（如线性回归），无法解释 LLM 在复杂任务上的 ICL 能力。本文研究 Transformer 如何在 ICL 中学习带有表示（representation）的更复杂函数。

Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from a Parametric Perspective

LLM 之间的知识迁移通常依赖蒸馏（需要大量数据和计算），本文从参数角度探索知识迁移：能否直接从大模型中找到承载特定知识的参数子集（'neural nuggets'），并将其迁移到小模型中？

Retrieval meets Long Context Large Language Models

这篇论文要解决的是：长上下文 LLM 能塞进更多信息，但当上下文超长或噪声很大时，纯“把文档塞进去”并不能保证可用性；检索（retrieval）能过滤信息，但传统 RAG 又受限于 chunk 粒度与检索召回。作者想回答的是两者如何结合才能在质量与成本之间更稳。

AgentBench: Evaluating LLMs as Agents

这篇论文要解决的核心问题是：现有 LLM 评测大多只测静态问答能力，无法真实刻画模型作为 agent 在交互环境中做规划、调用工具、长期决策和容错的能力。过去这类能力通常被零散地用几个 demo 或单一环境展示，结果很难比较，也很难区分是语言能力不足、工具使用失败，还是交互决策出了问题。

Tool-Augmented Reward Modeling

这篇论文要解决的问题是：标准 reward model 只能根据回答文本本身打分，但很多高质量偏好判断依赖外部工具验证，单看表面语言很容易把“说得像对”当成“真的对”。这在数学、事实核验、代码、检索等任务里尤其明显，所以传统 RM 会把监督信号建在不可靠观测上。

Chain of Hindsight aligns Language Models with Feedback

这篇论文要解决的问题是：语言模型很难从稀疏、结果导向的反馈中稳定学到改进策略，因为普通监督只看到“正确答案”，看不到从错误到修正的中间过程。过去 RLHF 或 preference tuning 往往把反馈压缩成一个标量偏好，信息利用率低，也不利于把失败模式显式教给模型。

Effective pruning of web-scale datasets based on complexity of concept clusters

这篇论文关注的核心问题是：web-scale 数据集太大，不能只靠随机采样或简单去重来压缩，需要一种更有结构的信息保留式剪枝方法。传统剪枝通常按样本级相似度、损失或启发式分数操作，但在概念覆盖层面容易出现“表面去冗余、实际丢长尾”的问题。

On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes

这篇论文要解决的是蒸馏里的一个老问题：学生模型通常只在离线数据上模仿教师正确输出，因此对自己实际 rollout 时会遇到的错误状态覆盖不足，导致一旦偏离教师轨迹就迅速退化。这个问题在语言模型里尤其明显，因为生成是自回归闭环，早期错误会改变后续状态分布。

CLIP the Bias: How Useful is Balancing Data in Multimodal Learning?

CLIP 等多模态模型在训练数据中存在各种 bias（如性别、种族与特定概念的关联），一个直觉的解决方案是平衡训练数据。本文系统研究的问题是：数据平衡到底能在多大程度上缓解 CLIP 的 bias？答案是：效果有限，且存在明确的边界。

Abstractors and relational cross-attention: An inductive bias for explicit relational reasoning in Transformers

标准 Transformer 缺乏显式的关系推理归纳偏置——它通过 attention 隐式地学习对象间关系，但在需要系统性关系推理（如类比、关系组合）的任务上表现不稳定。本文提出 Abstractor 模块和 relational cross-attention 机制，为 Transformer 引入显式的关系推理能力。

Never Train from Scratch: Fair Comparison of Long-Sequence Models Requires Data-Driven Priors

这篇论文要解决的是：长上下文/长序列模型的“公平比较”经常被训练配方差异污染，导致我们以为是架构赢了，其实是数据与初始化先验（prior）赢了。以往很多工作默认“从零训练”是中立起点，但在长序列设置里，优化更难、数据更稀缺，起点选择会系统性改变结论。

Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection

这篇论文要解决的是：RAG 系统的主要失败往往不是“检索不到”，而是“检索到了也不会用、不会质疑、不会纠错”，而传统 RAG 训练把检索与生成割裂，缺少自我诊断信号。过去常用更强检索器或更多文档堆量，但会带来成本上升与幻觉仍存。

Llemma: An Open Language Model for Mathematics

这篇论文要解决的是：数学能力强的开源语言模型稀缺，且现有通用 LLM 在形式化推导、符号操作与长链证明上不稳定，主要受限于数据与训练目标不匹配。过去常用闭源模型或小规模数学微调，但复现性与可控性不足。

Leftover Lunch: Advantage-based Offline Reinforcement Learning for Language Models

这篇论文要解决的是：用离线数据对语言模型做 RL/对齐时，直接做 offline RL 容易出现分布外动作的过估计与不稳定，而纯 SFT 又学不到“偏好差异”的信号。过去常用 DPO/IPO 等偏好优化绕开显式 Q 学习，但它们对奖励形状与数据覆盖仍敏感。

Butterfly Effects of SGD Noise: Error Amplification in Behavior Cloning and Autoregression

这篇论文的核心问题是：SGD 噪声带来的微小训练误差，在行为克隆和自回归生成中会不会被逐步放大，最终造成显著性能损失。过去大家通常把优化噪声视为局部的、平均可消化的问题，但在序列决策和 autoregression 里，模型每一步输出都会影响后续输入，因此误差可能呈链式放大。

PlaSma: Procedural Knowledge Models for Language-based Planning and Re-Planning

LLM 在需要过程性知识（procedural knowledge）的规划任务中表现不佳——它们知道事实但不擅长生成可执行的步骤序列。PlaSma 通过从 LLM 中蒸馏过程性知识到专门的小模型来解决这个问题。

Scaling Laws for Associative Memories

Transformer 的 in-context learning 能力可以被理解为一种联想记忆（associative memory）机制，但联想记忆的容量如何随模型规模（参数量、层数、头数）缩放，此前缺乏严格的理论刻画。本文推导联想记忆的 scaling law。

Large Language Models as Tool Makers

LLM 在解决新任务时，每次都要从头推理，无法复用之前解决类似问题时发现的通用工具或方法。本文提出让 LLM 自己制造工具（tool making）：先用强模型生成可复用的 Python 函数作为工具，再让弱模型调用这些工具来解决后续问题，从而降低推理成本。

BTR: Binary Token Representations for Efficient Retrieval Augmented Language Models

检索增强语言模型（RALM）在推理时需要对大量检索到的文档做编码和注意力计算，导致延迟和内存开销很大。本文提出用二值化的 token 表示（Binary Token Representations, BTR）来压缩检索文档的表示，大幅降低 RALM 的推理成本。

COSA: Concatenated Sample Pretrained Vision-Language Foundation Model

这篇工作关注的是：视觉-语言基础模型能否通过“拼接样本”式预训练更高效地学到跨样本、跨区域的对应关系，而不是总把一张图配一段文本当作固定最小单元。传统 VLM 预训练常受限于单样本配对粒度，导致上下文利用不足，也不利于建模更复杂的组合场景。

Teaching Large Language Models to Self-Debug

这篇工作解决的是：LLM 生成代码或答案后，能不能像程序员一样自己发现错误并修复，而不是完全依赖外部监督或更多样本重试。过去代码任务里常见做法是 sample 更多候选、跑单元测试再筛选，但这没有真正提升模型的自纠错能力。

Sudden Drops in the Loss: Syntax Acquisition, Phase Transitions, and Simplicity Bias in MLMs

大模型涌现行为的训练动态不明确，此前可解释性研究大多关注训练完成的模型，无法解释句法等核心能力的突然习得机制。

Principled Architecture-aware Scaling of Hyperparameters

当前超参数设计大多与模型架构无关，不同深度、宽度、连接结构的模型用同一套超参数会导致训练不稳定或收敛慢，手动调参成本极高。

DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models

这篇工作要解决的是：LLM 在生成时容易“顺着表面似然走”而产生幻觉，尤其在需要事实约束的问答/摘要中。过去常用外部检索、RLHF 或后验重排来缓解，但这些要么依赖额外系统，要么改变训练流程。

Reward Model Ensembles Help Mitigate Overoptimization

这篇工作要解决的是：用单一 reward model 做策略优化时很容易被过度优化（overoptimization），模型学会钻 reward 的漏洞而非真实偏好。过去通常靠早停、KL 约束或人工抽检缓解，但缺少系统化、可扩展的信号不确定性处理。

DreamLLM: Synergistic Multimodal Comprehension and Creation

现有多模态大模型要么擅长理解（如 LLaVA），要么擅长生成（如 DALL-E），很少能在一个统一框架里同时做好多模态理解和创作。DreamLLM 试图让一个 LLM 同时具备图文理解和图像生成能力，实现真正的'理解-生成协同'。

Fast-ELECTRA for Efficient Pre-training

ELECTRA 的预训练效率优于 MLM（BERT），但它需要同时训练一个生成器和一个判别器，生成器的训练开销不可忽略（约占总计算量的 1/3）。Fast-ELECTRA 要解决的是如何去掉或大幅降低生成器的训练成本，同时保持 ELECTRA 的预训练效率优势。

On the Role of Discrete Tokenization in Visual Representation Learning

视觉表示学习中，离散 tokenization（如 VQ-VAE、dVAE）被广泛用于生成模型，但它在判别式表示学习中的角色一直不清楚——离散化到底是帮助还是阻碍了视觉表示的质量？这篇工作系统性地分析离散 tokenization 对视觉表示学习的影响。

GIO: Gradient Information Optimization for Training Dataset Selection

这篇论文要解决的是：训练数据选择通常靠启发式质量分或静态过滤，但真正决定“这条数据值不值得训练”的是它对梯度与泛化的贡献，而这在大规模训练里很少被直接优化。

FlashFFTConv: Efficient Convolutions for Long Sequences with Tensor Cores

这篇论文要解决的是长序列卷积在现代 GPU 上经常理论复杂度不错、实际吞吐却不高的问题。很多长序列模型会用 FFT 卷积替代注意力或作为状态空间/卷积模块的核心算子，但现有实现未充分吃满 Tensor Cores，导致算法上该快，系统上不一定快。

Interpreting CLIP's Image Representation via Text-Based Decomposition

On the Provable Advantage of Unsupervised Pretraining

作者要解决的是：为什么“无监督预训练 + 少量监督微调”在理论上能显著优于从头监督学习；过去很多理论要么依赖强分布假设、要么无法给出可比较的优势界。

Making LLaMA SEE and Draw with SEED Tokenizer

作者要解决的是：让 LLaMA 这类纯文本 LLM 以较小改动获得“原生看图与画图”的能力，而不是依赖外接视觉编码器/扩散模型拼装；过去的瓶颈通常在于视觉离散化（tokenizer）与语言 token 空间不统一。

Compositional Preference Models for Aligning LMs

作者要解决的是：现有对齐通常用单一偏好模型（reward/preference model）去覆盖多维价值取舍，导致在复杂指令或多目标场景下出现不可控的偏置与 reward hacking；过去的做法要么堆数据、要么在一个标量奖励里硬编码权重。

Think before you speak: Training Language Models With Pause Tokens

这篇工作要解决的问题是：自回归语言模型在生成时被迫每步都输出“内容 token”，没有显式预算去做中间计算。过去 CoT 主要依赖数据或提示把推理写成自然语言，但这会把“思考”和“对外说话”混在一起；作者提出 pause token，就是想给模型一个低语义负担的内部计算时间。

On the Learnability of Watermarks for Language Models

这篇工作要解决的问题是：语言模型水印到底能不能被模型稳定学到并保留下来。很多水印工作关注检测算法，却默认生成分布可以被轻松操控；这篇论文反过来问 learnability——也就是在不明显伤害文本质量的前提下，水印信号是否真的足够强、足够稳、足够泛化。

Language Model Cascades: Token-Level Uncertainty And Beyond

LLM 级联（先用小模型处理简单请求，不确定时再调用大模型）是降低推理成本的常用策略，但现有方法的不确定性估计粗糙（通常只看整条输出的置信度）。本文研究 token 级不确定性在级联决策中的作用。

A Real-World WebAgent with Planning, Long Context Understanding, and Program Synthesis

让 LLM 作为 agent 在真实网页上完成复杂任务（如预订航班、填写表单）仍然很困难，主要瓶颈是长网页上下文理解、多步规划和代码生成的协同。本文构建了一个完整的 WebAgent 系统。

Language Models Represent Space and Time

这篇论文要回答的是：纯文本语言模型在没有显式几何监督的情况下，是否会在内部表征里自发形成“空间/时间”的可用坐标系，以及这种结构到底有多普遍、可预测。以往相关讨论多停留在零散的可视化或个例探针，缺少可复现的定义与系统性证据，因此很难把“出现了空间感”变成可检验的机制结论。

Overthinking the Truth: Understanding how Language Models Process False Demonstrations

这篇论文研究的是：当 in-context learning 的示例（demonstrations）包含错误标签或错误推理时，语言模型到底是在“照抄示例模式”还是会在内部做某种一致性校验并抵抗错误。以往很多工作把 ICL 当作黑箱拟合，默认示例越多越好，但在真实使用中错误示例不可避免，且会触发模型过度拟合上下文。

Test-Time Training on Nearest Neighbors for Large Language Models

这篇论文解决的是：LLM 在分布外或新任务上会犯系统性错误，但重新微调成本高且有遗忘风险，能否在测试时用“最近邻”做轻量的自适应训练来即时纠偏。过去 test-time training 多见于视觉领域，LLM 场景下如何选邻居、如何避免把噪声学进去、以及如何控制计算开销都不清晰。

Simplifying Transformer Blocks

这篇工作要解决的是：标准 Transformer block 里的很多设计已经变成默认配置，但不一定都是必要的，尤其在大规模训练下，一些模块可能只是历史包袱。作者想回答一个很实际的问题：哪些 block 组件可以删、改、并，而不会明显损害性能，甚至还能提升训练稳定性或效率。

Linearity of Relation Decoding in Transformer Language Models

这篇工作要解决的是：Transformer 语言模型内部如何表示“关系”，以及这些关系能否被线性方式解码。过去对 factual knowledge 的研究已经发现一些线性探针和 rank-one editing 现象，但‘关系是否线性可读’这个问题如果成立，意味着模型内部可能存在比想象中更规则的关系表征结构。

Curiosity-driven Red-teaming for Large Language Models

现有自动化LLM红队通过RL训练独立红队LLM生成对抗提示，仅能产出少量有效测试用例，有害prompt空间覆盖度极低；而人工红队成本高、周期长，无法满足大规模LLM安全测试需求。

MetaGPT: Meta Programming for A Multi-Agent Collaborative Framework

现有基于LLM的多智能体系统仅能处理简单对话任务，处理复杂任务时会因为简单链式调用LLM导致级联幻觉，出现逻辑不一致问题，无法落地复杂生产场景。

Human Feedback is not Gold Standard

人类反馈已成为LLM评估和对齐训练的事实标准，但单一偏好分数的构成不明确，存在主观偏差，无法覆盖所有关键错误类型。

Towards Understanding Factual Knowledge of Large Language Models

LLM的事实知识隐式存储在参数中，无法像传统知识库一样直接查询和校验，生成内容常出现事实错误或过时，但目前没有系统评估LLM事实知识边界的基准。

Amortizing intractable inference in large language models

这篇论文要解决的是：LLM 在需要“隐变量/结构化推断”的任务上，精确推断往往计算上不可行，现有做法要么用昂贵的搜索/采样硬扛，要么用启发式近似但缺少可复用的推断器。作者关注的是能否把一次次昂贵推断“摊销”(amortize) 成一个可学习、可复用、推理时更便宜的过程。

Catastrophic Jailbreak of Open-source LLMs via Exploiting Generation

这篇论文要解决的是：开源 LLM 的安全对齐在某些生成模式下可能被系统性绕过，攻击者不需要复杂提示注入就能触发“灾难性越狱”。作者关注的是利用生成过程本身的漏洞来放大越狱成功率，而不是单条 prompt 的巧合。

MUSTARD: Mastering Uniform Synthesis of Theorem and Proof Data

这篇论文要解决的是：定理证明数据（定理-证明对）难以规模化且格式不统一，导致用它做 LLM 预训练/微调时数据管线成本高、泛化差。作者想要一个能“统一合成”定理与证明数据的系统化方法。

NEFTune: Noisy Embeddings Improve Instruction Finetuning

这篇论文要解决的是 instruction tuning 容易过拟合小规模高质量数据，导致模型泛化和生成质量不稳定，而常规正则化在 embedding 层并没有被充分利用。过去大家更多在数据混合、LoRA 配置、learning rate 或 label smoothing 上调参，较少从“输入表示在微调阶段过于干净、过于确定”这个角度处理。

LLM-Assisted Code Cleaning For Training Accurate Code Generators

这篇论文要解决的是代码预训练数据里存在大量低质量、错误、风格混乱或不可执行样本，而这些噪声会直接限制代码生成模型的上限。过去常见做法是靠启发式清洗、去重、编译过滤或单元测试筛选，但这些规则覆盖有限，面对真实开源代码中的细碎问题，传统 pipeline 往往漏清理或误删。

Compressing LLMs: The Truth is Rarely Pure and Never Simple

现有LLM压缩方法（剪枝、量化）仅用困惑度作为评估指标，声称50-60%稀疏度或3-4比特量化下性能几乎无损，但困惑度无法反映模型在知识密集型任务上的性能下降，导致压缩后的模型在实际场景中效果大幅降低。

Language Model Decoding as Direct Metrics Optimization

现有主流LLM解码方法存在明显trade-off：采样类方法生成内容重复率低但连贯性差，搜索类方法连贯性好但重复率高，无法同时在多个维度上对齐人类文本的属性。

Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization

现有多模态LLM方法将视觉输入作为prompt，仅冻结LLM优化视觉到文本的映射，对视觉和语言的不平等处理严重限制了模型的多模态推理能力，无法实现真正的跨模态统一建模。

The Cost of Scaling Down Large Language Models: Reducing Model Size Affects Memory before In-context Learning

现有LLM剪枝等降规模方法对模型能力的影响没有系统的量化研究，不清楚不同能力对模型规模下降的耐受度差异，导致压缩后的模型实际效果不符合预期。

Teaching Language Models to Hallucinate Less with Synthetic Tasks

这篇工作要解决的是：如何用“可控的合成任务”系统性降低语言模型幻觉，而不是依赖昂贵且不可控的人工标注或只在特定 QA 数据集上打补丁。过去减少幻觉常靠偏好对齐或检索增强，但训练信号往往混杂（既含事实性也含风格偏好），很难定位模型到底学到了什么。

Emergent mechanisms for long timescales depend on training curriculum and affect performance in memory tasks

这篇工作要解决的是：模型在需要长时间尺度记忆的任务上会出现哪些“涌现机制”，以及这些机制如何依赖训练 curriculum（训练顺序/难度安排）。以往很多工作只报告最终分数，默认机制是模型自然学出来的，但在长时序任务里，训练路径往往决定模型学到的是捷径还是可泛化的记忆策略。

DSPy: Compiling Declarative Language Model Calls into State-of-the-Art Pipelines

这篇工作的核心问题是：LM 系统的性能瓶颈越来越多地来自“程序和调用链怎么组织”，而不是单次 prompt 怎么写；手工 prompt engineering 很难稳定复用，也很难随着模型和数据变化自动改进。过去大家常把多步推理、检索、重写、投票等流程硬编码成 pipeline，但优化目标分散，调参成本高，迁移性差。

Prometheus: Inducing Fine-Grained Evaluation Capability in Language Models

这篇工作的核心问题是：当前 LLM 很会生成内容，但作为“评审模型”时往往只会给粗粒度偏好，难以稳定输出细粒度、可解释、可复用的评测判断。过去大家常把 GPT-4 这类强模型当 evaluator 用，但这类黑盒评审贵、不可控，而且很难针对具体 rubric 做一致化。

Compressed Context Memory for Online Language Model Interaction

这篇工作要解决的是：在线交互式语言模型在多轮对话中需要长期记忆，但把全部历史原样塞进上下文窗口既贵又低效，窗口再长也会被无关细节占满。过去常见做法是截断历史或做通用摘要，但前者直接丢信息，后者则常把真正会影响后续决策的状态压没。

Understanding the Effects of RLHF on LLM Generalisation and Diversity

这篇工作要解决的是：RLHF 不只是改变模型是否更礼貌、更有帮助，它还会怎样影响泛化能力和输出多样性；这个问题以前常被经验讨论，但缺少系统刻画。过去很多工作把 RLHF 的收益集中在偏好分数提升上，却较少分析它是否牺牲了分布覆盖、探索性和对未见任务的稳健性。

In-Context Learning Learns Label Relationships but Is Not Conventional Learning

当前对大模型上下文学习（ICL）的工作机制缺乏共识，一派认为ICL是通用学习算法，另一派认为ICL不会从上下文样例中学习标签关系，两类极端结论冲突，缺乏统一解释。

Understanding Catastrophic Forgetting in Language Models via Implicit Inference

指令微调、RLHF等微调方法会导致大模型在微调分布外任务上性能下降（灾难性遗忘），现有研究缺乏对该现象的系统性解释，无法解释为什么微调后相同能力的任务换个prompt就失效。

Grokking as the transition from lazy to rich training dynamics

这篇工作要解释的是：grokking 为什么会出现“先记忆后泛化”的长延迟相变式行为，以及这种现象在训练动力学里到底对应什么机制。以往解释常停留在经验观察或单一因素（如权重衰减/数据规模），缺少能预测何时发生、为何发生的动力学刻画。

Dynamic Sparse Training with Structured Sparsity

这篇工作要解决的是：动态稀疏训练（DST）在实际大模型训练中常因稀疏模式不规则导致硬件效率差、通信开销大，而“结构化稀疏”又往往牺牲精度或灵活性。过去的次优解是在非结构化稀疏上追精度、在结构化稀疏上追速度，但两者难兼得。

SEA: Sparse Linear Attention with Estimated Attention Mask

这篇论文解决的是长序列 Transformer 的老问题：标准注意力精度高但二次复杂度太贵，而许多线性/稀疏近似之所以掉点，是因为它们过早丢掉了真正重要的注意力连接。过去的稀疏注意力通常靠固定模式或粗糙启发式选边，这在语言和多模态序列里经常错杀少量关键远距依赖。

Guess & Sketch: Language Model Guided Transpilation

这篇论文关注一个很实用的问题：把代码从一种语言自动迁移到另一种语言时，纯编译器规则方法覆盖不够，纯大语言模型生成又经常不保语义或不满足目标环境约束。过去 transpilation 往往在“可靠但死板”和“灵活但不稳”之间二选一，因此很难在真实代码库中大规模落地。

Teaching Arithmetic to Small Transformers

这篇论文研究一个已经成为机制分析试金石的问题：小型 Transformer 为什么学不会稳定算术，以及怎样的训练与归纳偏置能让它真正泛化，而不是记模板。过去很多工作用 arithmetic task 验证模型能力，但常见现象是训练精度很高、位数一增加就崩，说明模型学到的是表面模式而不是可组合算法。

LoftQ: LoRA-Fine-Tuning-aware Quantization for Large Language Models

这篇论文解决的是 QLoRA 类方法里的一个实际痛点：基础模型先被量化后再做 LoRA 微调时，量化误差会限制低秩适配器的可恢复空间，导致“能省显存，但性能掉得不值”。过去常见流程把 quantization 和 LoRA 分开做，默认 LoRA 能补齐量化损失，但这个假设在低比特下并不稳。

Merge, Then Compress: Demystify Efficient SMoE with Hints from Its Routing Policy

这篇论文针对稀疏 MoE 的一个核心现实问题：理论上专家稀疏能省算力，但真正高效的 SMoE 往往受路由策略和系统开销限制，导致参数很多、实际收益却不稳定。过去很多压缩或高效化方法直接剪专家、剪路由或改负载均衡，却没有先回答一个更基本的问题——原始专家之间到底冗余到什么程度，路由到底在用什么信号。

CoVLM: Composing Visual Entities and Relationships in Large Language Models Via Communicative Decoding

现有大视觉语言模型（VLM）缺乏组合推理能力，存在词袋行为，无法准确生成表示视觉实体及实体间关系的文本，限制了VLM在复杂视觉理解场景的应用。

BadEdit: Backdooring Large Language Models by Model Editing

主流大模型后门攻击方法需要大量投毒数据，实用性差，且会显著降低模型整体性能，无法适配大模型参数规模大、微调成本高的场景。

Benchmarking and Improving Generator-Validator Consistency of Language Models

大模型存在生成答案和验证答案不一致的问题（比如生成7+8=15，但判断7+8=15为假），现有研究缺乏对该问题的量化评测框架和低成本优化方案，侵蚀了大模型输出的可信度。

RAIN: Your Language Models Can Align Themselves without Finetuning

这篇论文要解决的是：对齐通常依赖微调（SFT/RLHF），但微调成本高、会引入遗忘与分布偏移，而且对闭源模型不可用，因此希望让语言模型“无需 finetuning 自我对齐”。过去常见替代是提示词工程或自我反思，但缺少系统化、可迭代的对齐机制。

When is RL better than DPO in RLHF? A Representation and Optimization Perspective

这篇论文要回答的是：在 RLHF 里，什么时候“真正的 RL（如 PPO）”会优于 DPO 这类直接偏好优化？过去很多比较停留在经验层面，把差异归因于实现细节或超参，而缺少从表征学习与优化动力学角度的可解释条件。

Self-Alignment with Instruction Backtranslation

这篇论文要解决的是：自对齐（self-alignment）想摆脱昂贵的人类偏好标注，但直接让模型自生成指令数据容易同质化、偏简单，导致对齐收益有限。过去常见做法是 self-instruct 或自训练，但缺少能持续制造“分布外指令”的机制。

Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications

这篇工作要回答的是：没有配对图文、音文这类标注多模态数据时，能不能仍然学到可用的多模态模型，而且不仅靠经验，还能给出理论保证。过去这类问题通常靠弱配对、伪标签或大规模网络抓取数据绕过去，但这些做法默认仍有某种跨模态共现信号，理论上并不干净。

Learning to Reason with Autoregressive In-Context Distillation

LLM 的 in-context learning（ICL）能力在推理任务上表现不稳定，且依赖精心构造的 few-shot 示例。本文提出用自回归 in-context distillation 的方式，让模型学会在上下文中进行推理，减少对外部 prompt 工程的依赖。

The Devil is in the Neurons: Interpreting and Mitigating Social Biases in Language Models

语言模型中的社会偏见（性别、种族等）难以定位和消除，现有去偏方法要么效果有限，要么损害模型通用能力。本文从神经元级别解释偏见的来源，并提出针对性的缓解方法。

Meaning Representations from Trajectories in Autoregressive Models

这篇论文要解决的是：在自回归模型（AR）里，如何从“生成轨迹”（trajectory，即逐 token 的生成过程与中间状态）中提取更稳定、可解释的“意义表示”，而不是只把意义寄托在最终输出 token 上。以往 AR 模型的表示分析多聚焦隐藏状态或注意力，但很少把“生成过程本身”当作可学习/可分析的语义对象。

Training Socially Aligned Language Models on Simulated Social Interactions

这篇论文要解决的是：如何用“模拟的社会互动”来训练更社会对齐（socially aligned）的语言模型，让模型学到在多轮互动、角色关系与社会规范约束下的行为，而不是只靠静态指令-回答数据。以往对齐数据多是单轮或弱交互，难覆盖真实社交情境中的策略性与长期后果。

MUFFIN: Curating Multi-Faceted Instructions for Improving Instruction Following

这篇工作要解决的是：SFT 数据里“指令跟随”不是单一能力，但现有指令数据往往把不同要求混在一起，导致模型学到的是平均化服从，而不是可控、细粒度的遵循。过去提升 instruction following 常靠堆更多合成数据或更强 teacher，却很少先把“到底要遵循哪些维度”整理清楚。

#InsTag: Instruction Tagging for Analyzing Supervised Fine-tuning of Large Language Models

这篇工作要解决的是：我们经常谈 SFT 数据质量，但缺少一套系统方法去标注和分析“这些指令到底要求模型做什么”。结果是不同 SFT 数据集看起来都叫 instruction tuning，实际覆盖的能力、约束密度和任务风格差异很大，导致训练效果难以归因。

Dichotomy of Early and Late Phase Implicit Biases Can Provably Induce Grokking

Grokking现象（模型先完全拟合训练集但测试准确率随机，训练足够长时间后突然跃迁至测试准确率拉满）的成因缺乏严谨的理论证明，现有解释多为实验观察结论，无法指导模型训练中利用或规避Grokking。

D2 Pruning: Message Passing for Balancing Diversity & Difficulty in Data Pruning

Memorization Capacity of Multi-Head Attention in Transformers

Transformer的理论特性尤其是多头注意力的记忆容量缺乏明确的量化结论，现有分析多基于通用位置假设，与实际视觉Transformer的实验观察不符。

IceFormer: Accelerated Inference with Long-Sequence Transformers on CPUs

这篇论文解决的是：长序列 Transformer 在 CPU 上推理太慢、内存带宽成为瓶颈，导致很多“长上下文”能力在边缘/离线场景不可用。以往优化多集中在 GPU kernel 或近似注意力，但 CPU 侧需要的是更系统的算子与数据流重排。

Does CLIP's generalization performance mainly stem from high train-test similarity?

这篇论文检验一个尖锐假设：CLIP 的泛化能力是否主要来自“训练-测试分布高度相似”，而不是学到了更可迁移的视觉-语言对齐。过去 CLIP 常被当作强泛化表征，但大规模网页数据可能让很多评测集与训练分布在语义与风格上过近，从而夸大零样本能力。

SNIP: Bridging Mathematical Symbolic and Numeric Realms with Unified Pre-training

这篇论文要解决：现有模型往往在“符号数学”（公式、推导、精确结构）与“数值计算”（近似、浮点、仿真）之间割裂，导致要么会写式子不会算数，要么会算数但缺乏可组合的符号泛化。过去通常用两套模型或两类数据分别训练，统一建模不足。

The Expressive Power of Transformers with Chain of Thought

这篇论文回答：给 Transformer 加上 Chain-of-Thought（CoT）式的中间推理文本后，模型的可表达能力（expressive power）到底提升了什么、边界在哪里。过去 CoT 更多被当作经验技巧，缺少形式化解释来区分“更长计算轨迹”与“模型类本身更强”。

ReLU Strikes Back: Exploiting Activation Sparsity in Large Language Models

这篇工作要解决的是：在大语言模型里，ReLU 虽然早被 GELU / SwiGLU 等更平滑激活大量替代，但它的激活稀疏性可能带来显著的计算和存储优势，这部分价值被低估了。过去主流选择更关注最终 loss 和稳定性，而较少系统地问：如果硬件和稀疏执行一起考虑，ReLU 会不会重新变得划算。

An Emulator for Fine-tuning Large Language Models using Small Language Models

这篇工作要解决的是：微调大语言模型的实验太贵、迭代太慢，能否先用小模型模拟大模型的微调行为，从而在真正上大模型前做方法筛选。过去大家常靠经验、少量昂贵试验或不完全可比的代理任务来选超参和算法，效率很低。

Feature emergence via margin maximization: case studies in algebraic tasks

现有研究多关注神经网络如何实现目标函数，但缺乏对神经网络为什么会学习到特定计算策略的解释，无法预测神经网络在不同任务下的特征涌现行为。

Confronting Reward Model Overoptimization with Constrained RLHF

RLHF中组合式多维度奖励模型（RM）易出现过优化：超过阈值后RM得分越高人类评分反而越低，此前无针对组合RM过优化的系统研究，仅靠人工调权缓解问题，对齐效果不稳定。

Spoken Question Answering and Speech Continuation Using Spectrogram-Powered LLM

此前语音LLM依赖离散语音tokenizer（引入信息损失），且语音输入/输出模块分阶段训练，无法端到端完成口语QA、语音续写任务，跨模态推理能力弱。

Statistical Perspective of Top-K Sparse Softmax Gating Mixture of Experts

这篇工作要解决的是：Top-K 稀疏 softmax gating 的 MoE（Mixture of Experts）为什么能工作、何时会失效，以及如何用统计视角解释“只激活 K 个专家”的偏差-方差与负载均衡问题。以往 MoE gating 多靠工程经验（aux loss、capacity factor）调参，缺少能指导设计的可解释框架。

Language Model Detectors Are Easily Optimized Against

这篇工作要解决的是：现有“LM 输出检测器”（如检测 AI 写作、检测水印/风格特征）在对抗性优化面前是否可靠，结论是它们很容易被针对性地优化绕过。过去很多检测工作默认攻击者只做简单改写或温和采样调整，但真实场景里攻击者会直接把“躲过检测”当目标来优化。

Skeleton-of-Thought: Prompting LLMs for Efficient Parallel Generation

这篇工作要解决的是：如何让 LLM 在生成长答案时更高效，结论是先生成“思维骨架（Skeleton）”再并行展开细节，可以显著降低端到端延迟而不明显损伤质量。传统自回归生成必须逐 token 串行，哪怕答案结构早已确定也无法并行。

Kosmos-G: Generating Images in Context with Multimodal Large Language Models

这篇论文的核心问题是：能否让多模态大语言模型不仅理解图像上下文，还能在同一上下文里生成图像，也就是做真正的 in-context image generation。过去图文系统通常把理解和生成拆成两套模型：VLM 负责理解，diffusion/decoder 负责出图；这种分裂让上下文共享、交错多轮编辑和统一训练目标都比较别扭，因此作者尝试用 Kosmos-G 把生成能力直接并入 MLLM。