NeurIPS 2023

DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining

这篇论文的核心结论很明确：预训练数据混合比大家通常处理得更重要，而且可以被系统优化，而不是靠经验拍配比。过去大模型常用固定数据比例训练，最多做少量启发式调参；问题在于不同数据域对损失下降和最终泛化的边际贡献差异很大，错误配比会让训练 token 被浪费在低价值数据上。

Likelihood-Based Diffusion Language Models

这篇论文要解决的是：离散扩散语言模型过去最大的短板之一，是很难像 AR LM 那样给出 tractable likelihood，因此训练目标、评估方式和与主流语言建模的可比性都受限。大家知道 diffusion 可能带来更强的全局建模和非左到右生成能力，但如果不能做似然建模，它就很难真正成为语言预训练的一等公民。

Scaling Data-Constrained Language Models

这篇论文的核心问题是：当高质量训练数据受限时，语言模型应该如何扩展，才能比盲目增参或重复训练数据更有效。经典 Chinchilla 类结论默认数据和参数可以共同扩展，但很多真实场景——多语种、专业领域、许可受限语料——首先撞到的是数据瓶颈；这篇工作正面研究 data-constrained regime 下的 scaling。

The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data Only

这篇论文要解决的是大模型预训练数据是否必须依赖重度人工策展。过去高质量 LLM 语料常强调 curated corpora，例如精筛网页、书籍和百科组合，但这条路成本高、扩展慢，也容易把数据工程变成难以复现的黑箱；作者要证明，纯 web 数据只要清洗和去重足够好，也能支撑强模型。

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

这篇工作解决的核心问题是：RLHF 虽然有效，但流程过长、训练不稳定，而且 reward model 与 policy optimization 的误差会层层放大。过去主流做法是先拟合奖励模型，再用 PPO 等 RL 方法优化语言模型，并用 KL 约束防止漂移；这条链路在大模型上可行，但实现复杂、调参脆弱、算力成本高。

D4: Improving LLM Pretraining via Document De-Duplication and Diversification

这篇工作解决的是 LLM 预训练数据里的重复与同质化问题：大规模网页语料看似很多，但常含大量近重复文档和主题过度集中，导致模型把算力浪费在重复 token 上。过去业界更多关注去重是否提升 benchmark，而对"去重 + 多样化采样"如何共同影响训练效率和泛化，讨论还不够系统。

Data Selection for Language Models via Importance Resampling

预训练数据筛选此前依赖人工设计的启发式规则或人工标注，无法高效从大规模无标注原始语料中提取匹配目标分布的子集，通用、领域预训练均存在该痛点。

MEGABYTE: Predicting Million-byte Sequences with Multiscale Transformers

这篇工作要解决的是：标准 Transformer 按 token 逐步建模长字节序列时，计算和上下文长度都很快失控，导致原生字节级建模难以扩展到百万级序列。以往做法通常退回到子词 tokenizer，或者用局部注意力牺牲全局建模能力。

PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model

自回归文本生成存在曝光偏差，错误累积导致重复低质量输出，此前的文本扩散模型计算开销大，长文本生成流畅度远低于自回归模型，段落级文本的流畅度与全局可控性无法兼得。

Direct Preference-based Policy Optimization without Reward Modeling

这篇工作解决的是：能不能直接用偏好数据优化策略，而跳过显式奖励模型这一步。过去 RLHF/DPO 一类流程里，奖励建模常是信息瓶颈和失真来源，因为偏好标注先被压成一个奖励函数，再被策略优化二次利用。

Emergent and Predictable Memorization in Large Language Models

这篇工作研究的核心问题是：大语言模型的记忆不是偶发现象，而是会随着规模和训练条件呈现可预测规律。过去关于 memorization 的讨论常常停留在个案层面，比如模型是否复现训练语料中的敏感文本；作者更进一步，想回答什么时候会出现明显记忆、它是否像涌现一样在某个规模后变得突然，以及这种现象能否被提前预测。

Birth of a Transformer: A Memory Viewpoint

这篇工作试图回答一个更基础的问题：Transformer 在训练早期是如何长出来的，尤其是注意力和记忆能力是怎样形成的。过去很多 Transformer 理论要么分析已经训练好的模型，要么在非常静态的函数近似框架下解释注意力；作者则从 memory viewpoint 切入，研究模型在出生阶段为何会偏向形成某种记忆机制。

Quantizable Transformers: Removing Outliers by Helping Attention Heads Do Nothing

这篇工作解决的是 Transformer 量化里的一个具体痛点：激活 outlier 会严重破坏低比特量化，而很多 outlier 实际上来自注意力头被迫在‘无事可做’时也输出非零结果。传统量化方法多在事后校准、裁剪或更复杂的量化器上补救；作者想从结构上减少 outlier 的生成源头。

Symbolic Discovery of Optimization Algorithms

这篇论文要解决的是：优化算法能否被自动发现，而不是主要依赖人工推导与经验调参。过去学习优化器常受限于参数化形式太强、可解释性差或泛化差；而纯符号搜索又难以在大空间里找到真正有用的更新规则。

Improving Language Plasticity via Pretraining with Active Forgetting

这篇论文讨论的核心问题是：语言模型在持续预训练或多语种/多域学习中，如何保持 plasticity，也就是继续学新东西的能力，而不是越来越僵化。传统预训练通常默认“记住越多越好”，但模型一旦过度固化已有统计规律，后续学习新语言或新分布时会明显变慢，甚至出现顽固的干扰。

Skill-it! A data-driven skills framework for understanding and training language models

这篇论文要解决的是：语言模型训练数据里的“技能”到底是什么，能否用数据驱动方式刻画，并据此指导训练配比。过去数据混合大多按来源、领域或启发式标签来分桶，但这和模型真正学到的能力并不一一对应，所以很难解释为什么某些 mixture 有效、某些无效。

Order Matters in the Presence of Dataset Imbalance for Multilingual Learning

多语言/多任务学习存在严重数据不均衡时，标准静态权重混合训练的高低资源任务性能tradeoff差，此前的方法仅调整损失权重，没有考虑训练顺序的影响，无法同时提升高低资源任务性能。

Towards Automated Circuit Discovery for Mechanistic Interpretability

此前Transformer机制可解释性的电路发现完全依赖人工直觉和手动操作，效率极低，无法规模化推广到大模型的复杂行为分析。

QLoRA: Efficient Finetuning of Quantized LLMs

这篇论文解决的核心问题是：如何在单卡或低资源条件下高质量微调大语言模型，而不显著牺牲效果。此前 LoRA 已经降低了可训练参数量，但全精度权重仍然占据主要显存，因此 33B、65B 级模型对大多数研究者仍然不可达。

AlpacaFarm: A Simulation Framework for Methods that Learn from Human Feedback

这篇论文要解决的核心问题是：RLHF 方法迭代太慢、太贵，导致很多算法改进停留在小规模离线比较，难以做系统研究。过去做法通常依赖封闭的人类标注流程或昂贵 API，研究者很难反复试错；作者因此提出一个可控的模拟环境，把 instruction tuning、reward modeling 和 preference-based fine-tuning 放到同一套可复现实验框架里。

Monarch Mixer: A Simple Sub-Quadratic GEMM-Based Architecture

Transformer在序列长度和模型维度两个维度上均为二次复杂度，无法同时扩展长上下文和大模型维度，此前的次二次架构要么硬件效率低，要么只能优化单一维度的复杂度。

Textually Pretrained Speech Language Models

这篇工作要解决的是：语音语言模型通常受限于语音数据稀缺，而纯文本数据极其丰富，如何把文本预训练的规模优势迁移到 speech LM 上。过去常见做法是分别训练文本 LM 和语音模型，再靠蒸馏或级联系统连接；作者关注的是更直接的统一语言建模视角。

Speculative Decoding with Big Little Decoder

大语言模型自回归推理延迟高，此前的推测解码依赖小模型草稿和大模型验证，需要两个模型同构且草稿模型与目标模型分布对齐要求高，对齐不好时加速比低。

Generating Images with Multimodal Language Models

这篇工作讨论的核心问题是：多模态语言模型能不能直接承担图像生成，而不依赖单独训练的扩散解码器。过去图像生成主流是扩散模型，语言模型更多负责理解或离散 token 生成；作者想验证，把图像离散化并统一进自回归多模态 LM，是否能得到一个更统一的“理解+生成”体系。

OBELICS: An Open Web-Scale Filtered Dataset of Interleaved Image-Text Documents

这篇论文解决的是多模态预训练里一个很现实的瓶颈：公开可用、质量可控、规模足够大的交错图文文档数据太少。过去很多视觉语言模型依赖网页 alt-text 式图文对，或者依赖闭源爬取集；这类数据要么上下文弱，要么难复现，无法很好支持“在一篇文档中多图多段联合建模”的训练。

Voicebox: Text-Guided Multilingual Universal Speech Generation at Scale

这篇论文的核心问题是：能否用统一的大规模生成模型，把语音编辑、条件生成、跨语言说话人泛化等任务合并起来做，而不是为 TTS、语音修复、风格迁移分别训练专用系统。过去语音生成通常是任务专用、语言专用或说话人专用，泛化能力和灵活性都有限。

Blockwise Parallel Transformers for Large Context Models

这篇论文要解决的是：标准 Transformer 在长上下文下训练和推理都太慢，因为自注意力在序列维度上是严格串行依赖且二次复杂度。过去要么靠稀疏/近似注意力牺牲精度，要么只在推理端做工程优化；作者关注的是另一条路——能否把长序列拆成块，在尽量不损失建模能力的前提下并行化更多计算。

Latent Diffusion for Language Generation

这篇工作要解决的是：扩散语言模型如何摆脱离散 token 空间上的采样困难与长序列低效问题，从而在文本生成上成为更现实的替代范式。离散扩散 LM 虽然能提供非自回归生成和不同的训练信号，但直接在 token 上做扩散通常训练难、采样慢、质量也不稳。

Fine-Tuning Language Models with Just Forward Passes

大模型微调依赖反向传播，显存开销大，单卡可训练的模型参数上限低，此前的零阶优化方法被认为在大模型上收敛太慢无法落地。

Data Portraits: Recording Foundation Model Training Data

基础模型训练数据集不透明，无法快速查询给定样本是否被用于训练，此前的方法要么存储开销大，要么查询速度慢，无法规模化应用于TB级训练数据集的审计。

4M: Massively Multimodal Masked Modeling

这篇论文要解决的问题是：能不能用一个统一的 masked modeling 框架同时处理多种模态和多种任务，而不是为图像、文本、语义分割、深度等分别训练专门模型。过去多模态预训练常见两条路：要么只做图文对齐，统一性有限；要么做统一 token 建模，但任务接口不够自然。4M 试图把“多模态输入 + 多模态输出”都收进一个掩码建模范式里。

Random-Access Infinite Context Length for Transformers

这篇论文解决的是 Transformer 上下文长度受限且推理成本随序列增长恶化的问题，尤其是如何在不把全部历史重新塞进窗口的情况下，对超长上下文进行随机访问。以前的长上下文方法多在局部注意力、线性注意力或检索增强之间做折中，但要么失去精确访问能力，要么系统复杂；这篇工作试图保留 Transformer 的表达力，同时突破固定窗口。

On Masked Pre-training and the Marginal Likelihood

这篇论文的核心问题是：masked pre-training 到底在优化什么，它与真正关心的边缘似然（marginal likelihood）之间是什么关系。过去 masked LM 很成功，但目标函数更多被当作实用 surrogate；作者试图从概率建模角度澄清它何时是在近似最大化边缘似然，何时则会产生系统偏差。

Meet in the Middle: A New Pre-training Paradigm

这篇论文的核心问题是：标准自回归预训练只从左到右预测下一个 token，训练信号局部、路径单一，导致对双向约束、全局一致性和中间位置建模都不够直接。过去 masked LM 虽然提供双向上下文，但训练-推理不一致；作者试图重新设计一种预训练范式，让模型从序列两端向中间汇合，从而同时利用前后文而不过度偏离生成式使用方式。

Language Model Tokenizers Introduce Unfairness Between Languages

这篇论文的结论很直接：语言模型 tokenizer 会系统性地制造跨语言不公平。过去多语 LLM 常把 tokenizer 当成中性预处理步骤，但不同语言被切成多少 token、词形是否被破碎、常见词是否落入长子词链，会直接影响训练成本、上下文占用和模型学习难度。

MosaicBERT: A Bidirectional Encoder Optimized for Fast Pretraining

这篇工作要解决的是：BERT 类双向编码器在预训练效率上长期落后于同规模解码器和更现代的工程实现，导致很多人默认“BERT 已经没有系统优化空间”。过去对此的处理多是换目标函数或直接转向 encoder-decoder / decoder-only，而不是把 BERT 的训练配方、架构细节和系统栈重新按吞吐量与收敛速度一起优化。

Hierarchically Gated Recurrent Neural Network for Sequence Modeling

这篇工作要解决的是：近年线性 RNN 重新受到关注，但很多方法只在递推输出端加 gate，没有把“忘记多少历史”直接纳入状态更新，因此长短期依赖的分工仍然粗糙。Transformer 用注意力显式处理长程依赖，RNN 若想重新具备竞争力，必须在递推层面把记忆时间尺度设计清楚，而不是只做轻量线性化。

Toolformer: Language Models Can Teach Themselves to Use Tools

这篇论文解决的是：如何让语言模型在没有大规模人工标注 tool-use 数据的情况下，学会何时调用外部工具以及如何把结果并回生成过程。过去要么靠人工构造 API 训练集，要么完全依赖 prompting，前者成本高、覆盖窄，后者稳定性差且不会自动学会调用策略。

Large language models transition from integrating across position-yoked, exponential windows to structure-yoked, power-law windows

这篇论文要解释的问题是：大语言模型在处理长距离上下文时，实际整合信息的“窗口”是如何随规模和训练变化的。过去大家常用固定上下文长度或 attention map 可视化讨论上下文利用，但很少精确刻画模型到底在多大范围、按什么衰减规律整合证据。

Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision

当前LLM对齐依赖SFT和RLHF，人力标注成本高，存在标注质量不稳定、一致性差、偏见引入等问题，现有方法均无法脱离大规模人工监督实现低成本高质量对齐。

How Far Can Camels Go? Exploring the State of Instruction Tuning on Open Resources

开源指令微调的效果宣称缺乏统一系统评测，不同模型、数据集的效果对比混乱，现有工作仅在小范围测试集上评测，无法客观判断开源与闭源模型的真实差距，也无法明确哪些指令微调资源有效。

Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning

这篇论文的核心问题是：如何解释 in-context learning 为何依赖示例选择，以及怎样系统地找到更好的 demonstrations。过去很多工作把 ICL 当作黑箱现象来做启发式 prompt 选择，但缺少一个能解释‘为什么某些 few-shot 例子有效、另一些会明显拖后腿’的统一视角。

The Learnability of In-Context Learning

这篇论文研究的是一个很关键但常被模糊处理的问题：in-context learning 到底在什么条件下是可学习的。ICL 现象已经被大量观察到，但‘模型什么时候能通过预训练学会在上下文里执行学习算法’并不清楚；如果没有可学习性分析，我们很难判断哪些训练分布、模型族和任务结构真正支持 ICL。

AR-Diffusion: Auto-Regressive Diffusion Model for Text Generation

这篇论文要解决的是：文本生成如何同时利用自回归模型的强条件建模能力和 diffusion 模型对全局生成过程的灵活性。过去文本 diffusion 经常因为离散 token 难处理、生成步数多、条件依赖弱而落后于 AR；而纯 AR 虽然强，但生成顺序被固定在左到右，难以获得 diffusion 式的逐步修正能力。

Training Transformers with 4-bit Integers

这篇论文要解决的核心问题是：Transformer 能否直接用 4-bit 整数稳定训练，而不只是做后训练量化或低比特推理。过去低比特训练的主要障碍不是算术上不能做，而是训练期激活、梯度和优化器状态的动态范围变化太大，4-bit 很容易把有用信号压扁，最终导致 loss 爆炸、精度显著下降或根本不收敛。

RRHF: Rank Responses to Align Language Models with Human Feedback

这篇工作要解决的是：RLHF 很有效，但训练成本高、实现复杂，而且 reward model 和 PPO 带来的不稳定性会让对齐过程难以复现。过去大家默认‘有人类偏好就要上强化学习’，作者想证明其实只用排序信号做监督式优化，也能把语言模型往人类偏好方向推得很远。

VCC: Scaling Transformers to 128K Tokens or More by Prioritizing Important Tokens

这篇工作想解决的核心问题是：Transformer 上下文长度扩到 128K 甚至更长时，标准全注意力的计算和显存成本会爆炸，而许多稀疏或线性注意力方法又会明显损伤质量。过去的方法要么牺牲精度换复杂度，要么只在训练时可行、生成时不好用，因此需要一种更贴近实际推理需求的长上下文方案。

H2O: Heavy-Hitter Oracle for Efficient Generative Inference of Large Language Models

这篇工作解决的是 LLM 生成推理时的 KV cache 瓶颈：上下文一长，注意力需要读取全部历史 key/value，显存和带宽压力都很高，而大多数 token 对后续生成的贡献其实并不均匀。过去常见方案是窗口截断或统一压缩，但这些方法容易把真正重要的远距离信息一起丢掉。

LIMA: Less Is More for Alignment

这篇论文给出的核心判断很直接：对齐一个强基座模型，不一定需要海量指令数据，少量高质量样本也能把聊天能力拉起来。此前社区常把 instruction tuning 视为“数据越多越好”，但很多数据其实冗余、风格杂、监督信号并不干净。作者想验证的是，若只保留极高质量、风格一致、以回答示范为主的小数据集，能否获得出乎意料的对齐效果。

Multimodal C4: An Open, Billion-scale Corpus of Images Interleaved with Text

这篇工作要解决的是：公开可用的多模态预训练数据长期缺少真正大规模、图文交错且接近网页原生结构的语料，导致很多多模态 LLM/VLM 只能依赖封闭数据或退回到图文对配对数据。过去常见的数据要么规模不足，要么只有 caption 级配对，难以支持 interleaved 文档建模和原生多模态上下文学习。

Jailbroken: How Does LLM Safety Training Fail?

这篇工作的结论很直接：LLM 的安全训练失败，不只是因为攻击者会写奇怪提示，而是因为能力目标和安全目标之间存在结构性冲突，加上安全泛化范围落后于能力泛化。过去很多讨论把 jailbreak 当成红队技巧集合，但这篇工作试图把它拆成可分析的失效模式。

How does GPT-2 compute greater-than?: Interpreting mathematical abilities in a pre-trained language model

这篇工作的核心问题是：GPT-2 这类预训练语言模型到底是怎么实现“greater-than”这种看似简单、其实涉及数值与序列模式结合的能力的。过去我们知道模型能做一些算术或比较，但往往停留在行为层评测，缺少电路级解释。

MAViL: Masked Audio-Video Learners

这篇工作要解决的是：音频和视频能否像文本中的 masked modeling 一样，用统一的掩码式预训练来学到强表示，而不是把两种模态分开做对比学习或重建。以前音视频学习常在对齐、检索或单模态重建之间做折中，导致联合表示学得不够统一。

Supervised Pretraining Can Learn In-Context Reinforcement Learning

现有扩散模型在语言引导图像编辑时无法准确渲染文字内容和文字风格，现有方法均回避文字编辑需求，仅支持非文字区域的编辑。

Transformers learn through gradual rank increase

Transformer 在训练过程中是如何逐步学习特征的？具体来说，权重矩阵的秩（rank）在训练中如何演化？此前对深度网络学习动态的理论分析大多局限于线性模型或浅层网络，对 Transformer 的理解很少。

Transformers learn to implement preconditioned gradient descent for in-context learning

Transformer 在做 in-context learning（ICL）时，内部到底在执行什么算法？此前的理论工作（如 Akyürek et al., von Oswald et al.）表明 Transformer 可以实现梯度下降，但这些分析局限于普通 GD，没有解释 Transformer 是否能实现更高效的优化算法。

Getting ViT in Shape: Scaling Laws for Compute-Optimal Model Design

这篇工作解决的是 ViT 在给定算力预算下应该如何选宽度、深度、patch 大小等结构超参，而不是继续沿用 NLP 或 CNN 时代的经验比例。过去很多 ViT 设计是经验驱动或面向固定训练 recipe 调出来的，导致同样 FLOPs 下经常不是 compute-optimal。

Dynamic Context Pruning for Efficient and Interpretable Autoregressive Transformers

这篇工作关注 autoregressive Transformer 的上下文效率问题：不是所有历史 token 都同等重要，但标准自注意力在每一步都为全部上下文付费。过去常见的压缩或稀疏注意力多是固定规则，效率上有帮助，但难以随输入动态调整，也不容易解释模型到底保留了什么。

Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection

这篇工作的核心问题是：Transformer 的 in-context learning 到底是不是在“临时学算法”，以及这种能力能否被严格证明，而不是只靠现象学解释。过去 ICL 常被描述为像做贝叶斯推断、梯度下降或元学习，但缺少一个同时覆盖多类经典学习算法、并给出统计最优性保证的统一理论。

QuIP: 2-Bit Quantization of Large Language Models With Guarantees

LLM 推理的显存和带宽瓶颈要求极致量化，但将权重压缩到 2-bit 时精度通常崩溃。现有 PTQ（训练后量化）方法在 3-4 bit 效果尚可，到 2-bit 则缺乏理论保证和实用方案。

DiffUTE: Universal Text Editing Diffusion Model

Lift Yourself Up: Retrieval-augmented Text Generation with Self-Memory

传统检索增强生成依赖固定外部语料库，语料质量限制生成效果，现有工作仅优化检索匹配策略，未对语料库本身做迭代优化。

Tools for Verifying Neural Models' Training Data

Meta-in-context learning in large language models

现有工作普遍认为上下文学习策略是模型预训练时固定的，无法通过上下文调整，现有工作仅优化上下文示例，未优化上下文学习本身的能力。

Pengi: An Audio Language Model for Audio Tasks

这篇论文要解决的问题是：能不能像文本大模型一样，把音频任务统一成“给定指令或文本，预测音频相关输出”的语言建模问题，而不是每个任务单独训练一个专用头。过去音频领域常见做法是任务特定模型或音频编码器加分类/检索头，迁移性和任务统一性都有限，所以值得重新用 LM 范式做一遍。

Faith and Fate: Limits of Transformers on Compositionality

这篇论文的核心结论是：Transformer 在组合泛化上的失败不是边角问题，而是当前自回归语言建模范式在结构性推理上的稳定短板。过去很多工作通过扩大数据、prompt engineering 或任务特化来回避这个问题，但作者直接问一个更尖锐的问题：即使模型在表面分布上表现很好，它是否真正学会了可组合的规则，而不是记住高频模板。

Reinforcement Learning for Fine-tuning Text-to-Image Diffusion Models

这篇论文要解决的是：文本到图像 diffusion 模型通常靠 likelihood 或 reconstruction 类目标训练，但这些目标和人类偏好并不完全一致，因此生成结果常常在‘可采样’和‘真正好看/符合指令’之间有差距。过去做法多是依赖更大数据或人工筛选，作者则尝试把 RL 直接用于 diffusion fine-tuning，让优化目标更贴近可评价的最终图像质量。

What can a Single Attention Layer Learn? A Study Through the Random Features Lens

单个多头注意力层的表达能力和泛化边界缺乏严谨的理论证明，现有工作多为经验性的架构迭代，未从随机特征视角解释注意力层的学习机制。

DataComp: In search of the next generation of multimodal datasets

多模态预训练数据集设计的研究投入远少于模型架构和训练算法研究，现有工作仅优化模型和训练方法，没有标准化的数据集设计测试平台，无法客观对比不同数据过滤和筛选策略的效果。

Training Chain-of-Thought via Latent-Variable Inference

这篇工作要解决的是：Chain-of-Thought 训练通常把推理过程当成显式监督文本来学，但真实场景里高质量 CoT 标注稀缺，而且把思维链硬当唯一正确序列会引入很强的表面形式偏置。作者试图把 CoT 视为潜变量，通过潜变量推断来训练模型，而不是要求每个样本都给出唯一可见的推理轨迹。

Sequential Preference Ranking for Efficient Reinforcement Learning from Human Feedback

这篇工作要解决的是 RLHF 中偏好数据采集和利用效率低的问题：传统做法通常独立地比较成对回答，再训练 reward model，但这种静态 pairwise 标注信息密度不高，标注成本也大。随着大模型对齐越来越依赖人工偏好，如何在同等标注预算下学到更强偏好信号变得很关键。

Mnemosyne: Learning to Train Transformers with Transformers

这篇工作要解决的是优化器和训练规则高度手工设计的问题：Transformer 训练通常依赖人写的 optimizer、lr schedule 和若干经验技巧，而这些规则跨模型和任务迁移性有限。作者想问的是，能不能让一个 Transformer 学会如何训练另一个 Transformer，从而自动发现更好的更新策略。

The Emergence of Essential Sparsity in Large Pre-trained Models: The Weights that Matter

这篇工作的核心结论是：大规模预训练模型里会自然出现“essential sparsity”，只有一部分权重真正对性能关键。过去稀疏化常被当成后处理压缩手段，但这篇工作更关心一个前置问题——在大模型里，重要权重是否天然集中，以及这种结构能否被识别出来。

BeaverTails: Towards Improved Safety Alignment of LLM via a Human-Preference Dataset

这篇工作要解决的是：现有 LLM 安全对齐数据把 helpfulness 和 harmlessness 混在一起，导致模型很难学到“既有用又安全”的边界。过去很多 RLHF 或偏好数据只给一个总偏好分，模型分不清回答差是因为没帮助，还是因为有害；这会直接污染奖励建模和拒答策略，因此作者专门构造了把两者拆开的数据集。

Pre-RMSNorm and Pre-CRMSNorm Transformers: Equivalent and Efficient Pre-LN Transformers

这篇工作要解决的是：Pre-LN Transformer 里到底该用 LayerNorm 还是 RMSNorm，以及两者能否在不改模型行为的前提下互相转换。过去社区对 LN 和 RMSNorm 的使用很分裂：RMSNorm 更省算，但缺少去均值，大家担心表达能力下降；LN 更标准，但开销更高，且已经有大量大模型转向 RMSNorm。作者试图给出一个更干净的等价性分析，而不是继续停留在经验争论。

No Train No Gain: Revisiting Efficient Training Algorithms For Transformer-based Language Models

这篇工作要解决的是：很多号称“高效训练”的 Transformer/LM 优化算法，在真正语言建模训练里是否还成立。过去大量高效训练方法在 vision 或小规模 setting 上有效，但一到实际 LM 训练就因为优化噪声、并行开销、实现细节或超参数敏感性而失效；作者重新审视这些算法，意图把“看起来省”与“实际可用”区分开。

The Impact of Positional Encoding on Length Generalization in Transformers

Transformer的长度泛化能力（从小训练上下文推广到更长上下文的能力）受限，已有研究指出位置编码是核心影响因素，但不同位置编码方案在下游推理任务上的外推效果差异没有系统性的明确结论，现有对比存在覆盖任务少、PE类型不全的问题。

Memory-Efficient Fine-Tuning of Compressed Large Language Models via sub-4-bit Integer Quantization

大模型微调的内存瓶颈不仅来自优化器状态，预训练权原本身体积也占很高比例，现有量化方法大多针对推理部署阶段设计，没有适配参数高效微调（PEFT）的低比特量化训练方案，导致量化后模型很难直接用于微调。

Token-Scaled Logit Distillation for Ternary Weight Generative Language Models

生成式大模型的三值权重量化感知训练（QAT）会带来明显的精度损失，现有知识蒸馏方法没有针对生成任务的token级分布差异优化，容易出现过拟合或拟合教师模型噪声的问题。

OpenAssistant Conversations - Democratizing Large Language Model Alignment

这篇工作要解决的核心问题是：开源社区缺少高质量、可复现、可持续扩展的人类偏好与助手对话数据，导致 LLM alignment 长期依赖封闭数据和不可审计流程。过去很多对齐结果只能复现模型外形，复现不了数据分布和标注决策；作者想补的是这一层基础设施。

Multiplication-Free Transformer Training via Piecewise Affine Operations

这篇工作要解决的是 Transformer 训练对乘法器的重度依赖，这在低功耗硬件、边缘设备和新型数字/模拟加速器上代价很高。以往大家更多讨论推理期低比特量化或乘法近似，但训练期几乎默认需要标准乘加，这限制了更激进的硬件-算法协同设计。

MADLAD-400: A Multilingual And Document-Level Large Audited Dataset

这篇工作要解决的是：现有多语言预训练数据要么语言覆盖不够，要么文档级结构被打散，要么审计和清洗不透明，导致 multilingual LM 在长文档、低资源语言和跨语种迁移上受限。过去很多语料更像网页片段堆积，而不是可控的文档级训练基座。

High-Fidelity Audio Compression with Improved RVQGAN

这篇工作解决的是高保真音频压缩中的一个核心短板：离散 codec token 质量不够高时，后续 AudioLM/VALL-E 一类音频语言模型的上限会被前端表示直接卡住。过去不少 neural audio codec 在码率、失真和感知质量之间取舍明显，尤其在音乐和复杂环境声上更难兼顾。

ComSL: A Composite Speech-Language Model for End-to-End Speech-to-Text Translation

这篇论文解决的是端到端语音到文本翻译里一个长期难题：如何同时利用语音建模能力和文本语言建模能力，而不是让 ASR 与 MT 两段流水线各自为战。传统串联方案容易误差传递，端到端方案又常常在数据稀缺时学不到足够强的语言先验，因此需要一种更自然的语音—语言复合预训练形式。

Softmax Output Approximation for Activation Memory-Efficient Training of Attention-based Networks

这篇论文解决的是注意力网络训练中的一个很实际的系统瓶颈：softmax 输出需要保留用于反向传播，会占用大量 activation memory。过去常见做法是 activation checkpointing 或近似注意力，但前者增加重算，后者改动模型行为；作者瞄准的是一个更细粒度的问题——只近似 softmax 输出本身，来节省显存而尽量不改训练动力学。

Memory Efficient Optimizers with 4-bit States

优化器状态是大模型训练的主要内存消耗来源之一，现有优化器状态压缩最低支持到8比特，进一步压缩到4比特时，传统块量化无法处理一二阶矩的复杂离群点模式，会导致明显的训练不稳定和精度损失。

StyleTTS 2: Towards Human-Level Text-to-Speech through Style Diffusion and Adversarial Training with Large Speech Language Models

现有文本转语音（TTS）模型的自然度和风格多样性不足，要么需要参考语音才能生成指定风格，要么风格生成一致性差，传统对抗训练的判别器没有利用预训练语音大模型的语义信息。

Repetition In Repetition Out: Towards Understanding Neural Text Degeneration from the Data Perspective

神经文本退化（生成重复、冗余的循环内容）的成因存在多种矛盾假设，现有工作大多从模型结构、解码策略角度解释，没有从数据根源给出明确的实证结论。

Dissecting Chain-of-Thought: Compositionality through In-Context Filtering and Learning

思维链（CoT）提升大模型复杂推理能力的底层机制不明确，现有研究大多在真实任务上测试，变量控制难度大，无法分离CoT的具体作用。

Exposing Attention Glitches with Flip-Flop Language Modeling

这篇论文的核心结论是：标准 Transformer 在看似简单的长程依赖任务上会出现系统性的 attention glitch，而不是单纯容量不够。作者用 flip-flop language modeling 这种结构化任务暴露问题，说明模型即使训练 loss 不差，也可能在需要稳定状态跟踪时发生脆弱错误；这类失败以前常被更自然的数据分布掩盖了。

Scissorhands: Exploiting the Persistence of Importance Hypothesis for LLM KV Cache Compression at Test Time

这篇论文的核心问题是：LLM 长上下文推理时，KV cache 占用会迅速成为推理显存瓶颈，而现有压缩方法往往需要复杂重算或会明显伤害质量。作者抓住一个经验规律：token 的重要性具有持续性，早期判断为不重要的 KV 往往之后也不重要，因此可以做更激进的测试时压缩。

Visual Instruction Tuning

这篇论文的核心问题是：视觉-语言模型在预训练后通常能看图说话，但并不会真正遵循复杂用户指令。过去 VLP 更强调图文对齐和 caption learning，离多轮、细粒度、开放式视觉助手还有距离；作者要解决的是如何把 LLM 的 instruction-following 能力迁移到视觉输入上。

Language Quantized AutoEncoders: Towards Unsupervised Text-Image Alignment

这篇工作要解决的是：能否不依赖大量成对图文数据，仅通过离散语言式表示把图像和文本拉到同一个无监督对齐空间。传统 CLIP 路线高度依赖图文对，而这类监督在很多场景昂贵且带偏置，因此无监督文本-图像对齐是统一多模态预训练里一个很硬的问题。

LLM-Pruner: On the Structural Pruning of Large Language Models

这篇工作要解决的是：大语言模型如何做结构化剪枝，而不是只靠非结构化稀疏或简单层裁剪来压缩。LLM 部署和二次训练成本很高，但很多剪枝方法要么不够硬件友好，要么破坏模型能力过大，因此需要更适合 Transformer 结构的压缩方案。

Event Stream GPT: A Data Pre-processing and Modeling Library for Generative, Pre-trained Transformers over Continuous-time Sequences of Complex Events

GPT类预训练模型在连续时间复杂事件序列（如电子病历）场景的落地缺乏端到端工具链，现有工具要么只支持文本数据，要么没有针对事件序列的预处理、建模、评估流程，导致跨域应用门槛高。

Do SSL Models Have Déjà Vu? A Case of Unintended Memorization in Self-supervised Learning

自监督学习（SSL）图像模型被普遍认为仅学习通用语义关联，实际存在非预期的样本特定信息记忆，过往研究未系统量化这类记忆的存在和风险。

The Quantization Model of Neural Scaling

这篇论文要解决的问题是：为什么神经网络的 scaling law 会呈现分段式、带有能力台阶的形态，而不是简单平滑地随参数量增长。以往工作多用连续幂律去拟合损失随规模下降的趋势，但这类拟合很难解释为什么一些能力会在特定规模突然出现、随后又进入平台期；作者试图用“量化”视角给出一个更结构化的解释。

Learning to Compress Prompts with Gist Tokens

这篇论文要解决的问题是：长 prompt 在推理时既昂贵又重复，能不能把一段提示压缩成少量可复用的表示，而不明显损失下游行为。以前常见做法要么直接截断上下文，要么依赖 KV cache 复用，但前者丢信息，后者仍受 token 长度线性成本约束；gist tokens 试图学习一种更主动的 prompt 压缩方式。

Cheaply Estimating Inference Efficiency Metrics for Autoregressive Transformer Models

这篇论文要解决的核心问题是：自回归 Transformer 的真实推理效率指标——延迟、吞吐、成本——很难便宜地估计，导致模型设计和 serving 优化常常依赖昂贵的端到端跑数。过去大家用 FLOPs、参数量或理论复杂度当代理，但这些指标对 KV cache、并行度、内存带宽和 batch 形态都不敏感，因此经常预测不准，尤其在长上下文和在线解码场景下偏差很大。

Improving multimodal datasets with image captioning

这篇论文解决的问题很直接：现有图文多模态数据集的文本侧往往过短、过噪、语义覆盖不足，限制了视觉-语言预训练的上限，而重新大规模人工标注又太贵。过去很多工作默认网页 alt-text 勉强够用，或者只把 captioning 当下游任务；这篇工作反过来把图像描述模型当成数据清洗和数据增强工具，用来系统提升预训练语料质量。

Demystifying Softmax Gating Function in Gaussian Mixture of Experts

这篇论文的核心问题是：Gaussian Mixture of Experts 中常用的 softmax gating 到底在做什么，为什么它经常有效，以及它带来的归纳偏置和限制是什么。过去很多 MoE / mixture 模型直接把 softmax gate 当默认组件使用，但对其几何解释和专家分配行为理解并不充分，这限制了我们判断何时该继续用 softmax、何时该换别的 gating 机制。

Language Model Alignment with Elastic Reset

RLHF 对齐训练中，模型容易偏离预训练分布（alignment tax），常用的 KL 惩罚虽然能缓解但会限制优化空间。本文提出一种更灵活的方式来平衡对齐优化与保持预训练能力。

Propagating Knowledge Updates to LMs Through Distillation

LLM 的参数化知识会过时，直接编辑参数（如 ROME/MEMIT）虽能修改单个事实但难以处理知识的连锁更新（如修改了某人的职位，相关的组织信息也应联动更新）。本文研究如何将知识更新可靠地传播到模型中。

Fast Attention Over Long Sequences With Dynamic Sparse Flash Attention

长序列上的注意力计算是 Transformer 的核心瓶颈。Flash Attention 解决了 IO 效率问题但仍是精确全注意力，而稀疏注意力方法虽然降低了计算量但通常需要固定的稀疏模式（如 local + global），无法根据输入动态调整。本文提出动态稀疏注意力与 Flash Attention 的结合。

Block-State Transformers

这篇论文要解决的是标准 Transformer 在长序列上的状态管理效率问题。传统 Transformer 每层都依赖完整 token-level 激活，推理时要缓存大量 KV，训练时显存和时延都很高；很多替代方案虽然更省，但往往牺牲表达能力或难以兼容现有架构。

Why think step by step? Reasoning emerges from the locality of experience

这篇工作要回答的核心问题是：为什么 step-by-step reasoning 会在语言模型或序列学习系统里自然出现，而不是把链式推理当成纯粹由监督模板灌输出来的行为。过去很多解释停留在“CoT 提供了更多中间监督”或“更像人类解题过程”，但对其出现条件和归纳偏置缺少更机制化的说明。

Rewarded soups: towards Pareto-optimal alignment by interpolating weights fine-tuned on diverse rewards

这篇工作要解决的是：对齐通常不是单目标优化，而是多个互相冲突的奖励之间的折中，但常规 RLHF 或单 reward fine-tuning 往往只把模型推向某一个点，难以得到 Pareto 更优的解。过去要兼顾 helpfulness、harmlessness、brevity、truthfulness 等目标，通常需要重新训练多次或手调 reward 权重，效率低且结果不稳定。

Pretraining task diversity and the emergence of non-Bayesian in-context learning for regression

这篇工作研究的核心问题是：回归任务中的 in-context learning 为什么会表现出非贝叶斯行为，以及这种行为是否由预训练任务多样性诱发。过去很多 ICL 理论把 transformer 解释成某种近似贝叶斯推断器，但经验上模型经常偏离贝叶斯最优，尤其当预训练任务分布复杂、多峰或结构混杂时。

Sparse Modular Activation for Efficient Sequence Modeling

这篇工作要解决的是：高效序列建模里，模型既需要足够的表达能力，又需要控制计算和激活成本，但 dense activation 往往让每个 token 都经过同样昂贵的路径。过去 MoE 主要在 FFN 级别做稀疏化，而序列模型内部不同位置、不同时间尺度其实也可能需要不同模块参与。

From Discrete Tokens to High-Fidelity Audio Using Multi-Band Diffusion

现有基于离散token的音频生成方法在条件信息有瑕疵时易产生可闻 artifacts，此前扩散模型仅用于语音声码器或低采样率音频生成，无法覆盖全模态高保真音频生成需求。

Are Emergent Abilities of Large Language Models a Mirage?

这篇论文的核心结论是：很多所谓 LLM“涌现能力”可能是评测刻度造成的海市蜃楼，而不是能力在某个模型规模点突然出现。以往工作常在离散指标上观察到从 0 到非 0 的跳变，但如果底层能力其实是平滑增长，阈值化或非线性度量就会把连续改进放大成“突现”。

Beyond MLE: Convex Learning for Text Generation

这篇论文想解决的是：文本生成训练为什么几乎被 MLE（最大似然）垄断，以及是否存在更稳健、具有更好优化或泛化性质的替代目标。MLE 的问题并不新鲜，包括 exposure bias、训练目标与生成质量不完全对齐，以及对长尾或多样性控制的局限，但大家通常缺少可训练、可证明、还能在文本任务上落地的替代方案。

Reflexion: language agents with verbal reinforcement learning

这篇工作要解决的问题是：当语言模型作为 agent 在多步任务中失败时，如何不用参数更新也能从失败中积累可复用经验。过去常见做法要么依赖监督微调或 RLHF 改参数，要么只做短期 trial-and-error 而不形成稳定记忆，这使得样本效率低、部署成本高，也不利于在线适应。

CoLLAT: On Adding Fine-grained Audio Understanding to Language Models using Token-Level Locked-Language Tuning

这篇工作要解决的问题是：如何在不破坏现有语言模型能力的前提下，给它加入更细粒度的音频理解能力。过去多模态音频-文本系统常用全局音频 embedding 或 encoder-decoder 对接，这对粗粒度分类够用，但对事件级、时序级音频语义建模不够细。

The Transient Nature of Emergent In-Context Learning in Transformers

这篇工作的核心问题是：Transformer 中常被称为 emergent in-context learning 的现象，究竟是稳定形成的能力，还是训练过程中会短暂出现又消失的过渡态。过去很多分析默认 ICL 会随着训练和规模单调增强，但这个假设未必成立。

Joint Prompt Optimization of Stacked LLMs using Variational Inference

这篇工作解决的是一个越来越实际的问题：当多个 LLM 以 stack 方式串联协作时，prompt 不再是单模型局部超参，而是整个系统的耦合变量，怎么才能联合优化。过去常见做法是逐个模块手调 prompt 或独立搜索，但这通常得到局部最优，前一个模型的 prompt 改动会改变后一个模型的输入分布。

Continual Learning for Instruction Following from Realtime Feedback

现有指令跟随模型的训练依赖固定标注数据集，无法在部署后利用用户实时反馈持续提升性能，过往持续学习方法易出现灾难性遗忘。

SpecTr: Fast Speculative Decoding via Optimal Transport

现有推测解码方法的接受率优化缺乏统一理论框架，大部分方案依赖启发式设计，小模型draft的接受率上限较低，导致加速比不足。

Schema-learning and rebinding as mechanisms of in-context learning and emergence

Transformer大模型的上下文学习（ICL）机制缺乏可解释的理论解释，过往研究无法明确ICL背后的具体计算流程。

Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting

这篇工作要解决的是：Chain-of-Thought 给出的解释并不总是忠实反映模型真实的决策过程。过去大家常把 CoT 同时当成性能增强手段和可解释性窗口，但这两个角色并不天然一致；模型可能先得到答案，再生成一段看起来合理的推理文本。

Focused Transformer: Contrastive Training for Context Scaling

这篇工作要解决的是：Transformer 在上下文长度扩大后，如何仍然有效利用远距离信息，而不是只把长上下文当作更大的噪声池。过去扩 context 常靠位置编码改造、稀疏注意力或继续训练，但模型即便能“看见”更长序列，也未必学会把相关上下文聚焦出来。

Augmenting Language Models with Long-Term Memory

这篇工作要解决的是：标准语言模型的上下文窗口有限，导致它难以利用跨会话、跨文档的长期信息，而把窗口一味拉长又会带来显著的训练和推理成本。过去常见方案是检索增强或外部 memory，但如何把长期记忆稳定接入 LM、并在需要时高效调用，一直没有统一而实用的方案。

H3T: Efficient Integration of Memory Optimization and Parallelism for Large-scale Transformer Training

现有大模型训练框架要么单独优化内存，要么单独优化并行策略，两者的联合优化很少被系统研究，导致训练吞吐量无法达到最优。

Aligning Language Models with Human Preferences via a Bayesian Approach

这篇论文要解决的是：在人类偏好本身存在分歧时，怎样训练对齐模型而不把这些分歧粗暴压平成单一标签。现有 RLHF 流程通常先把多位标注者的偏好做多数投票或平均，再训练 reward model；这种做法实现简单，但会丢掉“分歧有多大、分歧发生在哪类样本上”这些对齐里很关键的信息，进而把奖励信号变得更噪。

Stable and low-precision training for large-scale vision-language models

这篇论文要解决的核心问题是：大规模视觉-语言模型训练很容易在低精度下失稳，而现有做法通常只能在训练稳定性、吞吐和最终精度之间做保守取舍。过去很多 VLM 仍依赖 FP16/BF16 加上一堆经验性保护，原因不是方法不会训，而是对比学习、logit scale、归一化和大 batch 的组合会把数值范围推到低比特格式难以承受的区域。

Interpretability at Scale: Identifying Causal Mechanisms in Alpaca

这篇论文的核心问题是：能否在真实规模的指令微调模型里定位到可干预、可复用的因果机制，而不是停留在相关性层面的解释。过去机制可解释性很多结果都来自小模型或人工构造任务，一旦进入 Alpaca 这类实际 LLM，电路太分散、表征太冗余，常规 probing 很难告诉你模型到底靠什么机制完成任务。

Fine-Grained Human Feedback Gives Better Rewards for Language Model Training

这篇论文解决的问题很直接：用于训练语言模型奖励模型的人类反馈太粗，导致 reward 学到的信号噪声大、可迁移性差。传统 RLHF 常用整句或整回答级别的偏好标注，这种标注便宜但信息瓶颈明显——一个回答里好坏点可能同时存在，单一总体偏好无法告诉模型到底哪一段好、哪一段坏。

Language Models Meet World Models: Embodied Experiences Enhance Language Models

这篇论文要解决的核心问题是：纯文本语言模型缺少与世界状态和行动后果对齐的经验，导致它对具身任务、物理因果和交互规划的理解较弱。以往做法通常是把世界知识继续堆进文本语料，或者单独训练世界模型；但如果语言模型从未接触过状态-动作-结果这种闭环数据，它很难学到真正可执行的环境动态。

Towards Free Data Selection with General-Purpose Models

现有主动学习的数据选择流程需要反复迭代模型训练和批量数据选择，计算成本高，无法快速适配不同数据集。

Tree of Thoughts: Deliberate Problem Solving with Large Language Models

现有大语言模型的推理仅支持token级左到右的决策流程，在需要探索、前瞻规划或初始决策影响大的任务上表现不佳，CoT等方法也无法解决单一路径的局限性。

SPAE: Semantic Pyramid AutoEncoder for Multimodal Generation with Frozen LLMs

这篇工作要解决的是：在冻结 LLM 的前提下，如何把多模态生成做好，而不是只把视觉信息粗暴投到文本 token 空间。过去很多“frozen LLM + adapter”方案在理解任务上够用，但一到高质量生成就暴露出表示瓶颈：视觉语义太密、层次太浅，LLM 接口不匹配。

Large Language Model as Attributed Training Data Generator: A Tale of Diversity and Bias

这篇工作要解决的是：把 LLM 当作带属性标签的数据生成器时，生成数据到底能否真正替代人工或真实采样数据，尤其在 diversity 和 bias 上会发生什么。过去很多工作只看少量下游分数提升，较少系统分析合成数据的覆盖面、偏差放大和属性控制失真。

Unified Segment-to-Segment Framework for Simultaneous Sequence Generation

同步序列生成（流式ASR、同传、同步语音翻译等）的现有方法依赖任务特定启发式规则判断生成时机，无法自适应学习源-目标序列映射，也无法支撑多任务统一建模。此前这类任务都采用分任务定制方案，开发成本高、泛化性差。

Counterfactual Memorization in Neural Language Models

现有LLM记忆性度量方法优先捕捉高频重复内容的记忆（公共知识、模板文本等），无法过滤这类通用记忆，精准识别对单份敏感训练文档的记忆。此前的度量标准与训练数据出现频次强相关，无法支撑单文档级的隐私风险评估。

Formulating Discrete Probability Flow Through Optimal Transport

连续扩散模型存在确定的概率流，而离散扩散模型此前没有统一的概率流理论框架，采样结果不确定性高、生成质量不稳定。此前离散扩散的采样依赖随机噪声注入，没有可解释的确定性转移机制。

Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena

这篇论文的核心结论是：用 LLM 充当评审是可行的，但必须先搞清它在哪些设定下可信、在哪些设定下会系统性偏。过去社区常用人工评测聊天模型，成本高且复现差；而直接让 GPT-4 之类模型打分虽然便宜，却缺少系统验证。作者想回答的不是“能不能用”，而是“什么任务上能用到什么程度”。

Feature-Learning Networks Are Consistent Across Widths At Realistic Scales

这篇工作要回答的是：神经网络在现实训练尺度下学到的特征，是否会随着宽度变化而改变，还是存在跨宽度的一致性。这个问题重要是因为很多宽度极限理论依赖无限宽近似，但工程上真正训练的是有限宽网络，理论与实践之间一直隔着一层不确定性。

Fantastic Weights and How to Find Them: Where to Prune in Dynamic Sparse Training

这篇工作研究的是：在 Dynamic Sparse Training 里，究竟该怎么剪枝。过去大家更关注生长规则，因为网络会不断补边；而剪枝常被当成次要实现细节处理，但如果剪错位置，DST 会一直在坏拓扑附近震荡，稀疏训练的优势就出不来。

Is RLHF More Difficult than Standard RL? A Theoretical Perspective

这篇工作要回答的是：RLHF 在理论上是否比标准强化学习更难。这个问题值得做，因为工程上大家普遍觉得 RLHF 更脆弱、更吃数据、更依赖奖励模型误差，但这些困难究竟来自 RL 本身，还是来自偏好学习和离线反馈的新统计瓶颈，并不清楚。

Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution

这篇工作的核心结论是：Vision Transformer 不必把所有图像都强行缩放到固定分辨率和宽高比，模型可以原生支持任意分辨率与长宽比，并且这样做更高效。传统 ViT 预处理把输入统一成方形，工程上简单，但会浪费 token 预算、破坏细粒度信息，尤其在文档、移动端照片和多分辨率混合训练中代价明显。

Learning to Tokenize for Generative Retrieval

现有生成式检索的docid分配采用规则式tokenization，定制性强、泛化性差，无法将文档语义编码到docid中，导致检索准确率低。此前的id设计不携带语义信息，解码时需要完全匹配id序列，容错率极低。

Connecting Pre-trained Language Model and Downstream Task via Properties of Representation

现有研究缺乏预训练损失和下游任务性能关联的理论解释，无法明确预训练效果向下游迁移的边界条件。此前的默认假设是预训练损失越低，下游任务性能越好，没有明确该结论成立的约束。

Inference-Time Intervention: Eliciting Truthful Answers from a Language Model

现有提升LLM真实性的方法如RLHF需要大量标注数据，训练成本高，且是训练端修改，无法灵活调整真实性和有用性的权衡。此前的对齐方法都需要在训练阶段修改模型参数，无法推理端动态调整。

HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models

LLM 能否直接用于纠正 ASR 系统的输出错误（即生成式语音识别纠错）？此前 LLM 与 ASR 的结合缺乏标准化的开放基线和系统性评估。

Monitor-Guided Decoding of Code LMs with Static Analysis of Repository Context

代码 LLM 在生成代码时经常产生语法错误、类型错误或违反 API 约束的代码，现有的约束解码方法要么太慢，要么无法利用仓库级别的上下文信息。如何在解码阶段用静态分析来引导代码 LM 生成合法代码？

Intriguing Properties of Quantization at Scale

大规模语言模型在量化时表现出哪些反直觉的性质？此前对量化的研究大多在中小模型上进行，缺乏对大规模（数十亿到千亿参数）模型量化行为的系统性分析。

A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints

自回归模型在生成时如何满足逻辑约束（如数独规则、语法规则等）？标准的交叉熵损失只关注 token 级别的似然，不感知输出序列的全局逻辑一致性，导致生成结果频繁违反约束。

Fast Attention Requires Bounded Entries

这篇工作的结论很直接：如果不对注意力矩阵中的数值做有界约束，很多快速注意力算法在理论上就无法普适地近似标准注意力。过去大量 fast attention 方法默认某种低秩、核近似或采样结构有效，但往往没有说清楚这些近似成立到底依赖什么输入条件。

Sharpness-Aware Minimization Leads to Low-Rank Features

这篇工作的核心结论是：SAM 不只是让 loss landscape 更平，还会系统性地诱导低秩特征表示。过去很多人把 SAM 的收益归因于更好的泛化或更平坦的极小值，但对它到底怎样改变表示结构、为什么有时会损伤容量，理解并不充分。

DICES Dataset: Diversity in Conversational AI Evaluation for Safety

这篇工作要解决的是安全评测数据缺少人群与对话情境多样性，导致聊天模型在 benchmark 上看起来安全，但对不同用户群体和表达方式并不稳健。过去很多安全评测集覆盖的是有限模板和单一价值视角，容易高估模型真实部署表现。

Benchmarking Foundation Models with Language-Model-as-an-Examiner

这篇工作解决的是开放式问答基础模型评测里的两个老问题：测试泄漏和人工评测难以规模化。传统 benchmark 依赖固定题库，久而久之会被模型或数据污染，而且开放式答案的自动评分常常依赖参考答案，覆盖不了真正开放的生成质量。

Alternating Updates for Efficient Transformers

这篇工作聚焦一个很实际的问题：Transformer 的训练与推理成本高，尤其是每层都完整更新会带来很重的算力和内存负担。传统做法通常是在注意力近似、稀疏化或低秩化上做文章，但这些方法往往要改架构或牺牲精度；作者想探索的是，是否能仅通过更新策略的改变，在尽量不动模型主体的情况下提升效率。

Unlimiformer: Long-Range Transformers with Unlimited Length Input

这篇工作解决的是 encoder-decoder Transformer 的长输入瓶颈，而且结论很明确：可以在不重训主模型的情况下，把 cross-attention 改写成基于 kNN 检索的稀疏访问，从而处理几乎无限长的输入。传统 Transformer 受限于对所有输入 token 做全量注意力，长文档场景不是被截断，就是要换成长上下文专用架构；作者想做的是给现成预训练模型套一个外壳，直接扩上下文。

Distributed Inference and Fine-tuning of Large Language Models Over The Internet

这篇工作要解决的是大模型的一个现实限制：推理和微调通常要求集中式高性能集群，但全球大量零散算力和消费级设备无法被有效利用。过去分布式训练主要假设数据中心内的高速网络，而互联网环境延迟高、带宽低、节点不稳定；作者关注的是能否在这种条件下仍然完成 LLM 的推理和 fine-tuning。

Large Language Models can Implement Policy Iteration

LLM 能否在上下文中实现策略迭代（policy iteration）来解决强化学习问题，而不需要额外训练或微调。此前 LLM 在决策任务上的应用多依赖 prompt engineering 或外部工具，缺乏对 LLM 内在推理能力能否直接实现 RL 经典算法的系统性研究。

RETVec: Resilient and Efficient Text Vectorizer

现有文本向量化方法（如基于词表的 embedding）对对抗性文本扰动（typo、homoglyph 替换、不可见字符插入等）非常脆弱，导致垃圾邮件过滤、内容审核等安全场景下模型容易被绕过。需要一个既鲁棒又高效的字符级文本编码器。

How to Scale Your EMA

EMA（指数移动平均）模型在深度学习训练中广泛使用（如 self-supervised learning、扩散模型），但 EMA 的衰减率（decay rate）如何随训练步数和 batch size 等超参数缩放，缺乏系统性的理论指导。实践中调 EMA decay 往往靠经验。

Long Sequence Hopfield Memory

经典 Hopfield 网络的存储容量随模式维度多项式增长，现代 Hopfield 网络（如 Ramsauer et al. 2021）虽然将容量提升到指数级，但对长序列的存储和检索仍然受限。如何设计一个能高效存储和检索长序列的 Hopfield 记忆模型？

Stochastic Collapse: How Gradient Noise Attracts SGD Dynamics Towards Simpler Subnetworks

这篇论文关注一个很实际但常被经验化处理的问题：为什么 SGD 的梯度噪声会把训练动态推向更简单的子网络，而不仅仅是在局部极小值附近抖动。过去大家知道 SGD 有隐式正则化，但“噪声如何改变网络有效结构、为什么会出现 collapse 到 simpler subnetworks”的机制并不清楚。

VAST: A Vision-Audio-Subtitle-Text Omni-Modality Foundation Model and Dataset

这篇论文要解决的是：如何把 vision、audio、subtitle、text 四种模态统一进一个 foundation model 和配套数据集，而不是只做图文或音文的双模态拼接。过去 omni-modality 研究的主要瓶颈不是单个编码器不够强，而是跨模态配对数据稀缺、训练目标不统一、模态间语义对齐粒度不一致。

Primal-Attention: Self-attention through Asymmetric Kernel SVD in Primal Representation

这篇论文解决的是：能否在不显式构造标准 softmax attention 的情况下，用 primal representation 中的核分解来近似 self-attention，同时兼顾效率与精度。过去线性注意力方法常靠 kernel trick 或低秩近似，但要么数值不稳，要么丢掉太多表达能力，尤其在长序列上精度退化明显。

On Separate Normalization in Self-supervised Transformers

这篇论文关注的是：在 self-supervised Transformers 中，separate normalization 是否比共享或标准归一化方式更合适，以及它具体改善了什么。这个问题过去常被当成实现细节，但在自监督训练里，表示坍塌、梯度尺度失衡和不同分支统计不匹配都和归一化设计高度相关。

PointGPT: Auto-regressively Generative Pre-training from Point Clouds

这篇论文要解决的是：点云能否像文本一样做 auto-regressive generative pre-training，而不是只做判别式编码或局部重建。过去点云预训练多数围绕分类、分割或 masked reconstruction，生成式建模较少，一方面因为点云无序、稀疏，另一方面因为缺少像语言 token 那样自然的离散序列化方式。

Why Does Sharpness-Aware Minimization Generalize Better Than SGD?

现有研究缺乏对SAM（锐度感知最小化）在非线性网络、分类任务上泛化性更好的理论解释，无法指导SAM在大规模预训练中的优化应用。此前的SAM解释仅适用于线性模型，无法解释非线性网络下的效果。

FELM: Benchmarking Factuality Evaluation of Large Language Models

现有LLM事实性评估基准主要关注世界知识类事实，缺乏细粒度、多场景的事实标注，无法全面评估事实性评估工具的性能。此前的基准无法覆盖推理、代码、多模态等场景的事实错误评估。

Learning Energy-based Model via Dual-MCMC Teaching

EBM的最大似然训练依赖MCMC采样，传统噪声初始化的朗之万动力学难收敛、混合慢；用生成器绕过MCMC的方法会导致EBM学习有偏，生成器作为MCMC初始化的方案也因生成器仅匹配EBM看不到真实数据而存在偏差。

InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning

通用多模态大模型的指令调优研究不足，视觉输入带来的输入分布和任务多样性远高于纯文本，现有预训练多模态模型直接做指令调优无法有效对齐不同任务的视觉特征和指令要求。

ATMAN: Understanding Transformer Predictions Through Memory Efficient Attention Manipulation

现有生成式Transformer的预测可解释方法依赖反向传播，显存占用是前向传播的2倍，大模型/多模态模型下无法在生产环境部署。

Towards Accelerated Model Training via Bayesian Data Selection

真实训练数据存在标注错误、重复、偏移问题，会延长训练时间甚至影响收敛；传统按样本难易度选择的方法无法同时处理多种数据问题，最近基于泛化损失影响的选择方法需要额外的验证集和粗糙的近似，落地性差。

Statistical Knowledge Assessment for Large Language Models

这篇论文要解决的问题是：我们该如何评估大语言模型掌握的“统计知识”，而不是只看事实记忆或单题 QA 准确率。过去知识评测大多把答案当成离散事实，但很多现实知识本来就是分布性的，例如某事件发生概率、条件频率或群体统计特征，传统问答评测对此覆盖很差。

Dense and Aligned Captions (DAC) Promote Compositional Reasoning in VL Models

这篇论文要解决的问题是：为什么很多视觉语言模型在组合推理上表现差，以及训练数据的 caption 形式是否是主要瓶颈之一。传统图文预训练大量依赖简短、整体化的描述句，它们对对象、属性、关系和局部区域的对齐不够密，因此模型很难学到可组合的视觉语义结构。

Pareto Frontiers in Deep Feature Learning: Data, Compute, Width, and Luck

这篇论文要解决的是：深度表征学习里常见的单维最优比较会掩盖真实 trade-off，数据量、算力、网络宽度和随机种子运气并不是可忽略的次要因素。过去很多结论默认固定其余变量只看一个轴，比如“更大模型更好”或“更多数据更好”；作者则试图给出一个 Pareto 视角，分析多种资源与偶然性共同决定的可达性能前沿。

Bifurcations and loss jumps in RNN training

这篇论文的核心问题是：RNN 训练中常见的 loss jumps 和不稳定现象，究竟是噪声、实现问题，还是优化动力学里的真实分岔现象。过去这类问题通常被经验性地归因于学习率过大或梯度爆炸，但缺少一个把参数轨迹、稳定性和突然性能退化联系起来的动力系统解释。

Kronecker-Factored Approximate Curvature for Modern Neural Network Architectures

这篇论文要解决的核心问题是：经典 K-FAC 在现代网络架构上适配不够好，导致二阶近似虽然理论吸引人，但在 Transformer、归一化层、参数共享等现实组件上落地困难。过去很多工作要么停留在卷积/MLP，要么为了适配现代架构做很多特化近似；作者希望给出更统一、现代化的 K-FAC 处理方式。

Evaluating Neuron Interpretation Methods of NLP Models

这篇论文要解决的是：NLP 中大量 neuron interpretation 方法在讲“某个神经元代表某种语言现象”，但这些解释本身缺乏统一、严格的验证。过去常见做法是展示若干看起来合理的 case study，但很少系统回答：解释是否稳定、是否可复现、是否真正对应因果功能，而不是统计相关。

Improving CLIP Training with Language Rewrites

这篇论文的核心问题是：CLIP 这类图文对比学习高度依赖原始 caption 质量，而互联网文本常常过短、过噪、缺少判别性，导致视觉监督信号被浪费。过去常见路径是收集更大数据或做过滤，但作者关注一个更便宜的杠杆：能否先把 caption 重写得更清楚、更细粒度，再拿去训练 CLIP。

Towards Revealing the Mystery behind Chain of Thought: A Theoretical Perspective

CoT提示可大幅提升LLM的推理性能，但背后的理论机制不明确，无法指导模型架构和训练目标的优化。

Learning Transformer Programs

现有Transformer的机制可解释方法需要大量人工检查权重和激活，无法得到完整、忠实的模型算法描述，可解释性差。

The emergence of clusters in self-attention dynamics

Transformer自注意力的训练动态缺乏理论解释，Vaswani等人2017年实证观察到的token中会出现"领导者"（对其他token影响大的token）的现象没有理论支撑，无法指导架构优化。