EMNLP 2024

Birdie: Advancing State Space Language Modeling with Dynamic Mixtures of Training Objectives

这篇工作要解决的是状态空间语言模型在训练目标上过于单一的问题：如果只用标准 next-token objective，SSM 可能没有充分发挥其长程建模和高效序列处理优势。作者尝试通过动态混合训练目标，让模型在不同训练阶段学到不同类型的序列依赖。

Autoregressive Pre-Training on Pixels and Texts

当前多模态模型通常需要独立的视觉编码器（如 ViT），然后与语言模型对接。这篇工作探索直接在像素和文本上做自回归预训练，用统一的 AR 目标同时建模图像和文本，省去独立视觉编码器。

Scaling Parameter-Constrained Language Models with Quality Data

这篇论文的核心结论是：对参数受限语言模型，决定泛化效果的不只是训练 token 总量，而是“有效训练 token”总量，数据质量必须被显式写进 scaling law。传统 scaling law 更擅长回答“多大模型配多少数据算 compute-optimal”，但它把不同质量数据几乎等价地折算为 token，这会系统性高估低质量数据、低估高质量数据的价值。

Scaling Properties of Speech Language Models

这篇工作关注的核心问题是：语音语言模型是否也遵循类似文本 LLM 的 scaling 规律，以及规律在哪里失效。过去 speech LM 往往被当成特殊系统单独调参，缺少像文本预训练那样清晰的参数-数据-损失关系，所以模型该做多大、tokenizer 该多细、数据该扩到哪里都缺少定量依据。

CMR Scaling Law: Predicting Critical Mixture Ratios for Continual Pre-training of Language Models

这篇论文要解决的问题是：continual pre-training 时新旧数据该怎么混，尤其关键 mixture ratio 能否提前预测，而不是靠大规模网格搜索试出来。过去实践通常凭经验设定 replay 比例或做昂贵 sweep，但这个比例直接决定新知识吸收、旧能力保持和训练效率的平衡，代价很高也很不稳定。

Data, Data Everywhere: A Guide for Pretraining Dataset Construction

Scaling Laws Across Model Architectures: A Comparative Analysis of Dense and MoE Models in Large Language Models

Scaling law 研究主要集中在 dense transformer 上，MoE（Mixture of Experts）模型的 scaling 行为与 dense 模型有何异同，缺乏系统的对比分析。这对于在给定计算预算下选择 dense 还是 MoE 架构至关重要。

Breaking ReLU Barrier: Generalized MoEfication for Dense Pretrained Models

现有稠密预训练模型转MoE的方法仅支持带自然稀疏性的ReLU激活模型，无法适配大量使用其他激活函数的现代大模型，限制了MoE架构在存量模型推理降本中的落地。

LLaMA-MoE: Building Mixture-of-Experts from LLaMA with Continual Pre-Training

从头训练大规模MoE模型存在数据需求量大、训练不稳定的问题，现有从稠密模型转换MoE的方案缺乏系统的专家构造和持续预训练策略探索。

Weak-to-Strong Reasoning

这篇论文要解决的是：在强模型已经超过弱监督者能力时，怎样用弱模型的推理监督继续把强模型训好，而不是把弱模型的错误也一起放大。过去 weak-to-strong learning 多在分类或较简单任务上讨论，复杂推理场景更难，因为监督不只是标签而是一整条 reasoning chain，直接模仿弱监督会把系统性错误、捷径和脆弱的中间步骤一起蒸馏进去。

Breaking the Curse of Multilinguality with Cross-lingual Expert Language Models

这篇工作要解决的是多语言建模中的“multilinguality curse”：语言越多，固定参数预算下单语言性能越容易被稀释，尤其低资源语言和高资源语言会彼此竞争。过去常见做法是共享一个大 backbone 再靠数据配比补救，但这种方案在容量受限时并不理想。

Tokenization Falling Short: On Subword Robustness in Large Language Models

LLM 对同一个词的不同 tokenization 结果（如大小写变化、拼写变体、添加空格等导致的不同 subword 切分）表现出不一致的行为，即 subword 鲁棒性问题。这篇工作系统研究了这种脆弱性的程度和原因。

On Training Data Influence of GPT Models

GPT 类模型的训练数据对最终模型行为有多大影响？具体来说，能否追踪特定训练样本对模型预测的贡献？这是数据归因（data attribution）在大规模 LLM 上的核心挑战。

When Is Multilinguality a Curse? Language Modeling for 250 High- and Low-Resource Languages

这篇论文要回答的核心问题是：多语言预训练在什么条件下会从“共享带来迁移”变成“共享带来伤害”，尤其是在 250 个高低资源语言一起建模时。过去大家通常只报告平均多语收益，或者只看少数高资源语言，对低资源语言被挤压、容量竞争和训练分配失衡这些问题交代不够；这篇工作显然是在追问多语言扩展的失效边界。

Target-Aware Language Modeling via Granular Data Sampling

这篇论文要解决的是：预训练数据采样通常是全局静态的，但真实目标任务往往只需要某些能力和分布，如何让语言模型的训练采样对“目标”敏感而不是平均用力。过去常见做法是统一混合数据或靠后训练阶段补救，这会让参数预算被无关数据稀释，尤其对参数受限模型更吃亏。

Instruction Pre-Training: Language Models are Supervised Multitask Learners

现有大模型预训练采用无监督多任务范式，有监督多任务信号仅在SFT阶段注入，受限于SFT阶段的数据规模，无法充分发挥有监督信号对泛化性的提升作用。

Exploring Quantization for Efficient Pre-Training of Transformer Language Models

BPE Gets Picky: Efficient Vocabulary Refinement During Tokenizer Training

Stable Language Model Pre-training by Reducing Embedding Variability

T-FREE: Subword Tokenizer-Free Generative LLMs via Sparse Representations for Memory-Efficient Embeddings

这篇工作要解决的是：生成式 LLM 是否可以摆脱传统 subword tokenizer，同时避免字符级建模带来的巨大序列长度和 embedding 开销。过去 tokenizer-free 模型的主要障碍不是概念上不可行，而是内存和参数成本过高，尤其输入 embedding 和输出 softmax 会随着原子表征方式迅速膨胀。

Pretraining Language Models Using Translationese

这篇工作要解决的是：translationese 能不能作为一种特殊数据源用于语言模型预训练。translationese 指翻译文本带有源语言干扰和较规整表达的语言变体；过去它多被当作机器翻译或语言学现象研究对象，很少被当成可利用的预训练数据属性来系统评估。

Gradient Localization Improves Lifelong Pretraining of Language Models

这篇工作解决的是 lifelong pretraining 中最现实的问题之一：模型在持续吸收新数据时，更新会扩散到大量无关参数，导致旧知识退化和训练效率低下。现有 continual/lifelong 方案常在数据采样或正则化层面补救，但对“梯度究竟该流向哪里”控制不够精确。

GAMA: A Large Audio-Language Model with Advanced Audio Understanding and Complex Reasoning Abilities

这篇工作要解决的是：现有 audio-language model 往往停留在音频理解或简单问答层面，难以同时支持更复杂的音频推理。过去很多系统把音频编码成连续特征，再接一个 LLM 做浅层对齐，结果通常能做标签识别，但遇到多事件、时序关系或需要跨音频语义整合的任务时能力不够，因此作者试图做一个更强的通用大音频语言模型。

Mixture-of-Modules: Reinventing Transformers as Dynamic Assemblies of Modules

ORPO: Monolithic Preference Optimization without Reference Model

WavLLM: Towards Robust and Adaptive Speech Large Language Model

Self-Explore: Enhancing Mathematical Reasoning in Language Models with Fine-grained Rewards

这篇工作的核心问题是：如何在不完全依赖人工过程标注的情况下，提高语言模型的数学推理能力。现有方法要么只用结果级奖励，信号太稀疏；要么依赖昂贵的逐步监督，扩展性差，因此需要一种更细粒度、但成本可控的奖励构造方式。

Learning Planning-based Reasoning by Trajectories Collection and Process Reward Synthesizing

LLM 的规划式推理（planning-based reasoning）能力不足，现有方法要么依赖昂贵的人工标注推理轨迹，要么用简单的结果奖励训练，无法有效学习中间推理步骤的质量。

ScalingFilter: Assessing Data Quality through Inverse Utilization of Scaling Laws

这篇工作要解决的是数据质量评估如何摆脱昂贵且不稳定的人工规则，直接从 scaling law 反推样本价值。传统做法常用启发式过滤器、困惑度阈值或小模型打分，但这些分数与“对大模型训练到底有多有用”并不总一致。

Mitigating the Alignment Tax of RLHF

RLHF对齐会导致大模型遗忘预训练阶段学到的能力（即对齐税），现有缓解遗忘的方法通常会牺牲对齐效果，存在对齐效果与遗忘缓解的权衡。

Enable Fast Sampling for Seq2Seq Text Diffusion

这篇工作要解决的是 seq2seq text diffusion 采样太慢的问题。文本 diffusion 的优点通常是更灵活的生成顺序和潜在更好的全局建模，但它长期被回避的核心障碍就是推理步数远多于 AR 解码，放到条件生成任务里尤其不实用。

Scaling Laws for Fact Memorization of Large Language Models

Scalable Efficient Training of Large Language Models with Low-dimensional Projected Attention

Mitigating Frequency Bias and Anisotropy in Language Model Pre-Training with Syntactic Smoothing

这篇论文要解决的是语言模型预训练中两个彼此相关的表示问题：高频词偏置和 embedding/hidden state 的各向异性。过去这两个问题通常分别处理，但作者认为它们都和模型过度依赖浅层共现统计有关，因此可以通过句法平滑来同时缓解。

Tending Towards Stability: Convergence Challenges in Small Language Models

这篇论文聚焦小语言模型训练中的收敛稳定性问题：小模型不是大模型的缩小版，很多在大规模设置下被优化器和数据量掩盖的问题，在小模型上会直接表现为不收敛、loss spike 或性能高度不稳定。过去社区更关注大模型 scaling，而对小模型的训练动力学缺少系统总结。

PSLM: Parallel Generation of Text and Speech with LLMs for Low-Latency Spoken Dialogue Systems

现有多模态大模型做语音对话时，必须先生成文本回复再生成语音，且语音序列远长于文本，端到端延迟高，无法满足低延迟对话的需求。

GRASS: Compute Efficient Low-Memory LLM Training with Structured Sparse Gradients

这篇工作要解决的是：LLM 训练的梯度和优化器状态太占显存，导致低成本训练受限。常见办法是激活重算、ZeRO、量化或低秩更新，但这些方法要么牺牲吞吐，要么改变可训练参数形态。GRASS 从标题看选择另一条路：直接让梯度结构化稀疏，从而同时省显存和算力。

Initialization of Large Language Models via Reparameterization to Mitigate Loss Spikes

这篇论文聚焦一个非常工程化但重要的问题：大语言模型训练早期的 loss spike 能否通过更好的初始化方式缓解。现有大模型训练里，loss spike 往往被靠学习率 warmup、梯度裁剪或经验性超参去压，但这些是事后补救，不直接处理初始化导致的信号放大和梯度不稳。

Adaptation Odyssey in LLMs: Why Does Additional Pretraining Sometimes Fail to Improve?

这篇论文讨论的是一个对 continual/domain-adaptive pretraining 很关键的问题：为什么额外预训练有时不但不提升，反而收益很差甚至伤害模型。业界通常把 additional pretraining 当成相对安全的增强手段，但实践里经常出现“算力花了、下游没涨”的情况，说明其中有比数据量更复杂的适配动力学。

Scaling Laws for Linear Complexity Language Models

Consistent Bidirectional Language Modelling: Expressive Power and Representational Conciseness

这篇工作要解决的是：双向语言建模如果要求前后条件分布彼此一致，能否在表达能力和表示紧致性上优于常见做法。传统 AR LM 表达清晰但方向单一；MLM 双向但不是严格一致的联合分布，因此“consistent bidirectional LM”是在重新审视非 AR 语言建模的理论基础。

Hop, skip, jump to Convergence: Dynamics of Learning Rate Transitions for Improved Training of Large Language Models

现有大模型训练的学习率调度依赖固定函数形式（如余弦衰减），需要手动调整预热步、峰值学习率等超参数，或中途手动修改学习率，缺乏对训练中途切换学习率的理论和实证研究。

FuxiTranyu: A Multilingual Large Language Model Trained with Balanced Data

现有多语种大模型普遍存在高低资源语言性能差异大的问题，缺乏数据平衡、性能均衡的开源多语种大模型供研究使用。

Mixture of Diverse Size Experts

现有稀疏激活MoE架构的所有专家参数大小相同，token无法选择最合适大小的专家生成下一个token，导致简单token浪费计算、复杂token计算不足的问题。

Extending Context Window of Large Language Models from a Distributional Perspective

LLM 的上下文窗口扩展在超出训练长度后性能急剧下降，核心原因是位置编码（如 RoPE）在外推时的分布偏移。本文从分布视角分析并解决这个问题。

Inverse-Q*: Token Level Reinforcement Learning for Aligning Large Language Models Without Preference Data

这篇工作关注一个当前很关键的问题：能否在没有 preference data 的情况下，用 RL 直接对齐 LLM。现有 RLHF / DPO 类方法通常依赖成对偏好或显式 reward model，这在数据获取、标注成本和奖励偏差上都有明显瓶颈。

Semformer: Transformer Language Models with Semantic Planning

这篇工作要解决的是：标准自回归语言模型只在 token 级做局部预测，缺少显式的高层语义规划，因此长文本生成常出现内容漂移和全局一致性不足。过去很多方法要么靠更长上下文硬扛，要么在解码后做 rerank，但都没有真正把“先想语义骨架、再写表面文本”纳入模型本体。

Self-Powered LLM Modality Expansion for Large Speech-Text Models

这篇工作要解决的是：如何把纯文本 LLM 高效扩展成大规模语音-文本模型，而且尽量减少对昂贵语音标注和外部教师的依赖。现有 speech-text 模型常常依赖专门架构或大规模监督数据，导致无法充分复用文本 LLM 的语言能力；因此“自供能”的模态扩展是很有吸引力的路线。

Turn Waste into Worth: Rectifying Top-k Router of MoE

AdaMoE: Token-Adaptive Routing with Null Experts for Mixture-of-Experts Language Models

Length Extrapolation of Transformers: A Survey from the Perspective of Positional Encoding

这篇论文解决的问题不是提出新方法，而是系统梳理 Transformer 长度外推里最核心的一块：位置编码。长度外推已经成为长上下文训练和推理的基础问题，但相关方法很多，结论又常依赖训练长度、任务形式和 attention 细节，导致社区对“什么方法为什么有效”认识并不统一。

Interpretable Preferences via Multi-Objective Reward Modeling and Mixture-of-Experts

当前RLHF的奖励模型为黑盒结构，无法给出打分的可解释依据，容易引发奖励黑客问题。过往方案要么牺牲奖励模型精度换取可解释性，要么完全忽略可解释性设计。

Optimizing Language Models with Fair and Stable Reward Composition in Reinforcement Learning

RLHF/RLAIF中多源奖励（人类反馈、AI反馈、安全规则奖励等）的特征分布差异大，常规加权组合方法会偏向数值更高的奖励源，导致RL训练不稳定、模型性能下降。过往的加权、排序、约束方案都未完全解决奖励偏斜问题。

Reward Difference Optimization For Sample Reweighting In Offline RLHF

当前离线RLHF仅建模响应之间的序关系，忽略了两个响应之间的偏好程度差异，导致样本利用率低、对齐效果差。过往的离线RLHF方案都采用等权重的排序损失，没有区分不同样本对的偏好强度。

Not All Preference Pairs Are Created Equal: A Recipe for Annotation-Efficient Iterative Preference Learning

这篇论文要解决的是：偏好学习里并不是所有 preference pair 都同样有价值，如何在标注预算有限时优先挑选最能提升模型的样本。过去很多 RLHF / DPO 流程默认随机采样或均匀标注，但实际数据里大量 pair 信息冗余、难度过低或噪声过大，导致标注钱花了，学习信号却不够强。

Demystifying Verbatim Memorization in Large Language Models

这篇论文要回答的是一个被频繁讨论但常被混淆的问题：LLM 到底在多大程度上逐字记忆训练文本，什么现象才算真正的 verbatim memorization，而不是高频模式重现或近似复述。过去关于 memorization 的讨论常把数据污染、模板复用、语言规律和真实逐字回忆混在一起，导致风险判断和治理策略都不够精确。

LongAlign: A Recipe for Long Context Alignment of Large Language Models

Adaptive BPE Tokenization for Enhanced Vocabulary Adaptation in Finetuning Pretrained Language Models

Data Diversity Matters for Robust Instruction Tuning

这篇工作要解决的是 instruction tuning 中一个经常被低估的问题：数据多不等于数据好，特别是分布过窄时，模型会在熟悉格式上表现不错，但对分布外指令和扰动非常脆弱。作者关心的不是单纯增加样本量，而是数据多样性如何影响鲁棒性。

ARES: Alternating Reinforcement Learning and Supervised Fine-Tuning for Enhanced Multi-Modal Chain-of-Thought Reasoning Through Diverse AI Feedback

这篇工作要解决的是多模态 CoT 推理训练信号稀缺且不稳定的问题：单纯 SFT 往往让模型学会格式，单纯 RL 又容易奖励黑客或训练崩。作者尝试把 RL 和 SFT 交替起来，并引入多样化 AI feedback，提升多模态链式推理能力。

Enhancing Reinforcement Learning with Dense Rewards from Language Model Critic

RL 训练 LLM 时，奖励信号通常只在序列末尾给出（sparse reward），导致 credit assignment 困难、训练效率低。如何利用语言模型自身能力生成 dense reward 来加速 RL 训练，是这篇工作要解决的问题。

Head-wise Shareable Attention for Large Language Models

LLM 的多头注意力机制中，不同 head 之间存在大量冗余。如何在不显著损失性能的前提下共享 attention head 的计算，从而降低推理和训练开销，是这篇工作的核心问题。

A Multi-Perspective Analysis of Memorization in Large Language Models

这篇论文的核心问题是：LLM 记忆训练语料并不只是“会不会背出来”这么简单，哪些句子更容易被记住、生成记忆文本时模型内部信号如何变化、记忆与非记忆样本是什么关系、以及这种现象能否被预测。过去对 memorization 的研究更偏宏观统计，这篇工作转向更细的动态和表征层面。

Llama SLayer 8B: Shallow Layers Hold the Key to Knowledge Injection

这篇论文的核心结论是：知识注入并不需要均匀作用于所有层，浅层在知识注入里比常规做法假设的更关键。过去无论是 PEFT 还是 block expansion，很多方法默认全层均匀加改动，等于把“哪里值得注入”这个问题回避了；这篇工作直接挑战这个默认设置。

The Accuracy Paradox in RLHF: When Better Reward Models Don't Yield Better Language Models

Improving Discriminative Capability of Reward Models in RLHF Using Contrastive Learning

当前RLHF的奖励模型仅用排序损失训练，对噪声和模糊数据敏感，区分相似响应的能力差，无法准确捕捉人类的真实意图。过往的奖励模型优化方案多聚焦于数据清洗，没有从损失函数层面提升区分能力。

RLHF Can Speak Many Languages: Unlocking Multilingual Preference Optimization for LLMs

这篇工作解决的核心问题是：RLHF 或 preference optimization 能不能真正做成多语言，而不是只在英文偏好数据上训练后指望自然迁移。过去多数对齐流程默认英文足够覆盖价值偏好，但实际会在低资源语言上出现回答质量下降、过度拒答和文化风格失配。

LPZero: Language Model Zero-cost Proxy Search from Zero

这篇工作要解决的是：能否在不真正训练语言模型的前提下，快速估计架构或配置的潜力，从而做 zero-cost proxy search。传统架构搜索对 LM 来说代价太高，因为哪怕只是比较几个候选都要做昂贵预训练；如果 proxy 不可靠，搜索就会把算力花在错误方向上。

Sailor: Open Language Models for South-East Asia

这篇工作要解决的是：为东南亚语言构建真正可用的开放大语言模型。现有开源模型对这一区域语言普遍覆盖不足，问题不只是 token 少，更是语料质量差、文字系统复杂、语种间资源极不均衡，导致模型常常既不懂本地语言，也无法稳定跨语迁移。

Targeted Multilingual Adaptation for Low-resource Language Families

这篇工作要解决的是：如何针对低资源语言家族做更有效的多语适配，而不是把所有语言一锅炖地继续预训练。现有 multilingual adaptation 常按单语或按全语种平均来分配资源，但低资源语言真正能借力的往往是近亲语言；如果忽略语言家族结构，有限预算会被高资源或远距离语言稀释掉。

Unlocking Continual Learning Abilities in Language Models

这篇工作要解决的是：如何让语言模型具备真正可用的 continual learning 能力，而不是一继续训练就遗忘旧知识。现有 LLM 的继续预训练和增量学习通常在短期适配上有效，但很容易发生 catastrophic forgetting，尤其当新数据分布窄、训练轮次长或参数更新过于集中时。

Is Child-Directed Speech Effective Training Data for Language Models?

这篇工作要回答一个长期被默认接受、但很少被系统验证的问题：儿童导向语料（child-directed speech, CDS）到底是不是训练语言模型的高效数据。很多关于人类语言习得的讨论会把 CDS 视作高质量输入，但对现代 LM 来说，数据价值不只取决于“是否自然、是否面向学习者”，还取决于覆盖面、重复度、句法分布和 token 效率，所以这个假设值得重新量化。

Long Sequence Modeling with Attention Tensorization: From Sequence to Tensor Learning

这篇工作试图解决长序列建模里一个老问题：标准注意力在序列长度上二次复杂度，靠稀疏化、线性化或状态压缩虽然能省算力，但往往牺牲表达力，尤其在跨远距离和高阶依赖上退化明显。作者给出的方向是不要只把输入看作一维序列，而是重排成张量后在更结构化的空间里做建模。

Information Flow Routes: Automatically Interpreting Language Models at Scale

这篇工作要解决的是解释性方法一个很现实的瓶颈：能做细致因果分析，但扩展不到大模型、大数据和大批量样本。很多 mechanistic interpretability 工具一次只能解释一个样本或一小段路径，人工成本高，结果也难系统化，因此作者试图自动化地恢复模型中的信息流路由。

Token Erasure as a Footprint of Implicit Vocabulary Items in LLMs

这篇工作关注一个很具体但很有意思的问题：LLM 里可能存在 tokenizer 词表之外的“隐式词项”，而它们平时不直接可见。过去我们常把模型的词汇知识等同于显式 token 词表，但实际模型可能通过多 token 组合、内部特征复用和训练共现，形成对某些词或短语的整体性表征；作者试图用 token erasure 这一现象去抓到这种隐藏结构的足迹。

Contrastive Policy Gradient: Aligning LLMs on sequence-level scores in a supervised-friendly fashion

这篇工作要解决的是：LLM 对齐里很多有用信号天然是序列级分数，但现有 RLHF/PPO 类方法要么训练复杂、要么样本效率低，而纯监督方法又很难直接优化这类非 token 级目标。作者试图在“能用 sequence-level reward”与“训练尽量像 supervised learning 一样稳”之间找一个中间点。

MOSEL: 950, 000 Hours of Speech Data for Open-Source Speech Foundation Model Training on EU Languages

这篇工作要解决的核心问题是：开源语音基础模型在欧洲语言上的训练数据长期不够大、不够干净、也不够统一，导致很多方法讨论停留在模型结构层面，实际瓶颈却是数据供给。过去常见做法是依赖英语主导的公开视频或小规模单语语料，覆盖面和可复现性都有限，因此现在有必要把“多语言语音预训练数据集”本身做成一项一等公民的研究对象。

Insights into LLM Long-Context Failures: When Transformers Know but Don't Tell

这篇工作聚焦一个很具体但很关键的问题：长上下文失败不一定是模型“不会”，很多时候是模型“知道但没有在输出里用出来”。过去对 long-context failure 的解释常常混在一起，把检索失败、注意力衰减、位置泛化差和解码策略问题都归为“模型没学会长上下文”；这篇论文要拆开其中的机制，区分表征里是否已经有信号，与最终生成是否把信号说出来。

Where is the signal in tokenization space?

这篇工作讨论的是一个基础但经常被忽视的问题：tokenization space 里到底哪里有真正有用的学习信号。大家通常把 tokenizer 当固定前处理，然后在 token 序列上做建模，但不同切分方式会改变统计结构、局部组合规律和优化难度，因此作者想回答的不是‘哪个 tokenizer 分数更高’这么窄的问题，而是‘信号在切分空间里如何分布、模型实际上学到了什么’。

Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?

这篇工作讨论一个很现实的模型更新问题：把新知识通过 fine-tuning 塞进 LLM，是否会反而诱发更多 hallucination。过去默认假设是‘学到新事实就更准’，但参数更新会扰动已有知识边界和置信度校准，模型可能在新知识附近变得更爱编，因此这个问题对持续更新和 continual pretrain/fine-tune 都很关键。

GlossLM: A Massively Multilingual Corpus and Pretrained Model for Interlinear Glossed Text

Is It Really Long Context if All You Need Is Retrieval? Towards Genuinely Difficult Long Context NLP

TAIL: A Toolkit for Automatic and Realistic Long-Context Large Language Model Evaluation

这篇论文要解决的问题是：长上下文评测缺少既自动化又足够真实的测试框架，导致很多结果高估了模型在真实长文档场景里的能力。过去常见做法要么是人工构造少量任务，要么是 needle-in-a-haystack 这类过于单一的 synthetic 测试；这些设置能测到一部分检索能力，但测不到信息干扰、任务切换和文档结构复杂度带来的真实压力。

Controllable Preference Optimization: Toward Controllable Multi-Objective Alignment

这篇论文要解决的问题是：现有 preference optimization 往往把对齐目标压成单一标量，难以同时、可控地满足多个目标，比如 helpfulness、harmlessness、style 和长度。过去常见做法是混合数据或调 prompt，但这些手段控制粒度粗，而且目标一冲突就容易互相覆盖。

On the token distance modeling ability of higher RoPE attention dimension

这篇论文关注的问题是：提高 RoPE 中用于注意力的位置维度，是否真的能改善模型对 token 距离的建模能力。这个问题值得研究，因为长上下文扩展里大家常调 RoPE 频率、缩放和外推，但较少直接分析“更高 attention dimension 的 RoPE”为何会影响距离分辨率，以及这种收益的边界在哪里。

Dissecting Fine-Tuning Unlearning in Large Language Models

FactAlign: Long-form Factuality Alignment of Large Language Models

这篇工作聚焦于长文本生成里的事实一致性对齐问题。现有对齐方法大多围绕短答或局部偏好展开，能减少显性有害输出，但对长篇回答中跨句依赖、细节漂移和后段幻觉控制较弱，因此长文本 factuality 仍然是对齐体系里的薄弱环节。

How Far Can In-Context Alignment Go? Exploring the State of In-Context Alignment

这篇工作要回答的核心问题是：仅靠 in-context alignment，模型行为到底能被“临时对齐”到什么程度。过去很多结果表明提示词、系统消息和少量示例能显著改写输出风格，但它们能否替代参数层面的对齐、在哪些任务和风险边界上失效，一直缺少系统刻画。

Enhancing Language Model Alignment: A Confidence-Based Approach to Label Smoothing

这篇工作针对对齐训练中过硬标签带来的过度自信问题，提出用基于置信度的 label smoothing 改善 alignment。很多对齐数据本身噪声不低，偏好标签和拒答标签也常有歧义，如果仍按 one-hot 强推，模型容易学到不必要的尖锐决策边界，表现为过度拒答、过度肯定或泛化不稳。

Instruction Fine-Tuning: Does Prompt Loss Matter?

这篇工作要回答的核心问题是：做 instruction tuning 时，是否应该把提示词部分也计入训练损失。很多实现默认只对 assistant 回复算 loss，把 user prompt mask 掉，理由是“提示词不是要生成的目标”；但这个做法更多是工程习惯，不是被系统验证过的设计选择，因此值得单独检验。

Improving Multilingual Instruction Finetuning via Linguistically Natural and Diverse Datasets

这篇工作关注的核心问题是：多语指令微调数据不仅要覆盖语言，还要在语言学上自然、在表达上多样，否则模型会学到翻译腔和模板化响应，而不是真正的多语能力。很多现有 multilingual instruction tuning 数据是从英语翻译扩展来的，覆盖面看似广，但语言分布和句法风格都不够自然。

On the In-context Generation of Language Models

语言模型的 in-context generation（上下文内生成）能力——即模型在给定少量示例后生成符合示例分布的新文本——的机制尚不清楚。这与 in-context learning（ICL）相关但不同：ICL 关注分类/预测，而 in-context generation 关注开放式生成。

DL-QAT: Weight-Decomposed Low-Rank Quantization-Aware Training for Large Language Models

这篇工作要解决的是：怎样把大语言模型量化到更低比特，同时尽量保住生成质量，并且让训练开销可控。已有 PTQ（后训练量化）往往在低比特下掉点明显，尤其对生成模型更敏感；常规 QAT（量化感知训练）又训练成本高、参数更新重。作者聚焦的是低比特量化的精度—成本矛盾。

Turning English-centric LLMs Into Polyglots: How Much Multilinguality Is Needed?

这篇工作要回答的是：把英语中心的大模型改造成多语模型，到底需要多少多语数据或多语训练比例。过去常见做法是继续预训练加一点非英语数据，或者直接训平衡多语模型，但两者成本都不低，而且缺少关于“最低有效 multilinguality”的系统量化。作者针对的是英语能力保留、非英语迁移提升和训练预算之间的临界点问题。

Rethinking the Role of Proxy Rewards in Language Model Alignment

这篇论文要回答的核心问题是：语言模型对齐里广泛使用的 proxy reward 到底在多大程度上真的代表人类偏好，以及它什么时候会把训练带偏。过去很多对齐工作默认把 reward model 分数、规则打分或 benchmark 代理指标当作可优化目标，但这类信号往往比真实用户偏好更窄、更易被投机利用，因此值得单独拆开检验其作用边界。

Margin Matching Preference Optimization: Enhanced Model Alignment with Granular Feedback

这篇论文要解决的是：现有偏好优化方法通常只利用二元偏好标签，忽略了‘偏好强度’这类更细粒度反馈，导致模型更新方向过粗，样本利用率也不高。换句话说，chosen 比 rejected 好多少，在大多数 DPO 类方法里没有被显式建模。

KNN-Instruct: Automatic Instruction Construction with K Nearest Neighbor Deduction

这篇论文解决的是：SFT 数据自动构造虽然便宜，但现有 Self-Instruct 风格方法容易生成陈旧、重复、只是对已有指令做浅层改写的数据，难以同时保证质量、覆盖度和可扩展性。问题不在于能不能生成新指令，而在于生成的‘新’是否真的带来新的任务结构。

GDPO: Learning to Directly Align Language Models with Diversity Using GFlowNets

Fishing for Magikarp: Automatically Detecting Under-trained Tokens in Large Language Models

Towards Pareto-Efficient RLHF: Paying Attention to a Few High-Reward Samples with Reward Dropout

这篇工作要解决的是：RLHF 训练里高奖励样本很少但很关键，而常规做法对所有样本近似同权，导致训练信号被大量普通样本稀释，最终在 helpfulness、harmlessness 和稳定性之间很难同时做好。过去提升 RLHF 效果通常靠更强 reward model、更大 batch 或更复杂目标，但很少直接处理“高价值样本在梯度里占比过低”这个问题。

Revisiting Catastrophic Forgetting in Large Language Model Tuning

这篇工作要重新审视的是：大语言模型调优中的灾难性遗忘是否被过度简化了，现有结论往往混淆了任务切换、评测设置和知识覆盖变化。过去很多工作沿用小模型时代的 continual learning 叙事，但在 LLM 上，预训练知识冗余、指令调优分布和评测口径都变了，遗忘现象未必表现为同一种机制。

A Comparison of Language Modeling and Translation as Multilingual Pretraining Objectives

这篇工作直接比较两类多语预训练目标：语言建模和机器翻译，想回答哪个目标更能学到可迁移的多语言表示。这个问题一直存在，但常被数据规模和模型差异掩盖，导致大家默认“都混一点”而不清楚真正的收益来源。

EAGLE-2: Faster Inference of Language Models with Dynamic Draft Trees

这篇工作要解决的是大模型推理加速里的核心瓶颈：如何在不明显损伤输出质量的前提下，把 speculative decoding 的接受率和并行收益做高。已有方法的问题通常是 draft 模型提议太保守时加速有限，太激进时又会被 target 模型大量拒收。

Lexically Grounded Subword Segmentation

当前主流的BPE等子词切分算法仅基于字符频率统计，不考虑词汇语义，导致同根词被切分到不同子词，语义表示一致性差。过往的语义感知切分方案要么推理速度慢，要么需要大量标注数据。

DogeRM: Equipping Reward Models with Domain Knowledge through Model Merging

领域特定的奖励模型需要大量专家标注的偏好数据，标注成本极高。过往的方案要么直接在通用奖励模型上微调领域数据，要么从零训练领域奖励模型，数据效率都很低。

On the Limited Generalization Capability of the Implicit Reward Model Induced by Direct Preference Optimization

Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations

这篇工作要解决的是：标准语言建模目标对句法结构的监督太弱，模型学到大量表层统计规律，却未必形成稳定的结构归纳偏置。以往提升句法能力常靠显式语法标注、多任务训练或更大数据规模绕过去；作者选择反过来问，能否通过“做句法变换”这种预训练任务，把结构信息更直接地压进模型里。

LLMs learn governing principles of dynamical systems, revealing an in-context neural scaling law

这篇工作要回答的是：LLM 到底能不能在上下文中学到动力系统的 governing principles，而不只是拟合时间序列模式。过去关于 in-context learning 的讨论很多停留在语言任务或简单回归设定；作者把问题推进到动力系统，是因为这里能更清楚地区分“记住轨迹形状”和“掌握演化规律”。

Generation with Dynamic Vocabulary

这篇工作要解决的是：标准生成模型在每一步都对全词表打分，计算成本高，而且大量 token 在当前上下文下其实不可能是合理候选。过去大家主要从 softmax 加速、近似采样或词表裁剪角度优化，但这些方法往往是静态的，不能根据上下文动态缩小可选空间。

Gold Panning in Vocabulary: An Adaptive Method for Vocabulary Expansion of Domain-Specific LLMs

这篇工作要解决的是领域 LLM 扩词表时“加多少、加哪些 token”这个常被粗糙处理的问题。过去做 domain adaptation 时，常见做法是直接沿用原 tokenizer，或者简单追加高频词片段；前者会让专业术语被过度切碎，后者则容易引入大量低价值 token，增加嵌入参数和训练不稳定性。

Eliminating Biased Length Reliance of Direct Preference Optimization via Down-Sampled KL Divergence

LongHeads: Multi-Head Attention is Secretly a Long Context Processor

Taking a Deep Breath: Enhancing Language Modeling of Large Language Models with Sentinel Tokens

An Analysis and Mitigation of the Reversal Curse

这篇论文聚焦于“reversal curse”：模型学会了 A→B，却不会稳定地反推出 B→A。这个问题过去常被当成数据覆盖不足或提示方式问题处理，但它实际上暴露了自回归语言建模对关系对称性和事实双向泛化的系统性缺陷，因此值得单独分析和干预。

Don't Forget Your Reward Values: Language Model Alignment via Value-based Calibration

这篇论文关注对齐训练里的一个常见缺口：模型在 RLHF 或偏好优化后学会了迎合奖励，但不一定保留对“奖励值大小”的校准能力。换句话说，模型可能知道哪条回答更好，却不知道好多少，导致选择和生成行为在不同风险偏好下不稳定。

Subword Segmentation in LLMs: Looking at Inflection and Consistency

这篇论文关注 tokenizer 设计里一个被长期低估的问题：subword segmentation 对词形变化语言是否一致、是否保留形态边界。过去 BPE 一类方法主要为压缩率和频率优化，在英语上问题不显著，但对屈折丰富语言，切分不一致会直接影响样本效率、泛化和跨词形共享。

Language Models Learn Rare Phenomena from Less Rare Phenomena: The Case of the Missing AANNs

大语言模型对罕见语法现象的学习来自记忆还是泛化一直没有明确结论。过往的研究要么无法控制训练数据的分布，要么没有量化泛化的贡献。

AnyMAL: An Efficient and Scalable Any-Modality Augmented Language Model

当前多模态大模型大多仅支持2-3种输入模态，扩展新模态的成本极高，且无法继承通用大模型的完整推理能力。过往的方案要么修改LLM的底层架构，要么重新预训练，开销极大。

Filtered Direct Preference Optimization

这篇论文要解决的应当是：DPO 直接用偏好对训练时，会把低质量、噪声大或冲突的 preference 数据一并吸收，导致优化信号被污染。这个问题之所以值得重新处理，是因为 DPO 已经成为 RLHF 的轻量替代，但实践里数据质量波动很大，很多性能和稳定性问题并不是目标函数本身，而是样本筛选不足。

Scalable Data Ablation Approximations for Language Models through Modular Training and Merging

这篇工作要解决的是：语言模型的数据消融太贵，无法直接逐份数据重训来估计每个数据模块的价值。传统 data ablation 最准确，但代价接近重新做一遍预训练，因此研究和工业实践都只能做很粗的近似。论文标题说明作者想通过 modular training 和 merging，把数据价值评估做成可扩展近似。

Better Alignment with Instruction Back-and-Forth Translation

这篇论文试图解决的核心问题是：如何用更稳定、成本更低的数据构造方式提升指令对齐，而不是继续依赖昂贵且噪声较大的人工偏好标注。过去很多对齐方法把重点放在 reward model 或 preference optimization 上，但如果指令数据本身表达单一、覆盖窄、风格固化，模型的对齐上限会很快被数据分布卡住。

Transformers are Multi-State RNNs

这篇论文的核心问题是：能否把 Transformer 重新理解为一种多状态 RNN，从而用更统一的递归视角解释它的计算和记忆机制。过去 Transformer 常被拿来和 RNN 对立起来讲：前者是并行自注意力，后者是顺序递归；但这种二分法会掩盖 Transformer 里沿层传播、沿位置更新的隐式状态结构。

Enhancing Alignment using Curriculum Learning & Ranked Preferences

Eigen Attention: Attention in Low-Rank Space for KV Cache Compression

Tokenization Is More Than Compression

Dynamic Rewarding with Prompt Optimization Enables Tuning-free Self-Alignment of Language Models

这篇工作想解决的是：LLM 自对齐通常要么依赖人工偏好数据和额外 reward model，要么依赖一套固定 prompt 让模型自评，但这两条路都容易受提示词脆弱性影响。作者关注的核心问题不是再训练一个更强 judge，而是能否通过动态奖励和 prompt 优化，在不微调模型权重的前提下做更稳的自对齐。

Can Transformers Learn n-gram Language Models?

这篇论文要回答的核心问题很直接：Transformer 到底能不能真正学会 n-gram 语言模型，而不只是表面上在有限样本里拟合出类似行为。这个问题过去常被默认成“容量足够就能学到”，但对预训练研究来说，能否稳定恢复这种最基础的局部条件分布，其实关系到我们怎么理解 Transformer 的归纳偏置、训练动态和它对简单统计结构的学习边界。

Inference and Verbalization Functions During In-Context Learning

这篇论文的核心问题是：in-context learning 里，模型到底是在做真正的任务推断，还是只是把已经形成的内部结论 verbalize 出来，这两步是否可以区分。过去很多 ICL 工作把输入示例到输出答案视为单一过程，但如果 inference function 和 verbalization function 可以拆开，我们对 few-shot 提示、生成人类可读解释以及格式约束影响的理解都会更细。

Exploring Design Choices for Building Language-Specific LLMs

这篇论文的核心问题是：构建语言特定 LLM 时，哪些设计选择真正重要，哪些只是高资源英语经验的机械迁移。很多团队做 language-specific LLM 时会直接沿用通用配方，但不同语言在文字系统、形态复杂度、语料稀缺度和混码现象上差异很大，导致 tokenizer、数据配比和训练策略的最优点并不一样。

STTATTS: Unified Speech-To-Text And Text-To-Speech Model

这篇工作尝试把语音转文本和文本转语音统一到一个模型里。传统做法通常是 ASR 和 TTS 分开建模，接口清晰但表示不共享，导致参数冗余、跨任务迁移弱，也限制了把语音当作统一序列建模对象的可能性。

Which Programming Language and What Features at Pre-training Stage Affect Downstream Logical Inference Performance?

这篇工作直接问了一个 pretrain 问题：预训练阶段接触哪种编程语言、以及代码的哪些特征，会影响下游逻辑推理能力。过去很多结论只说‘代码预训练有帮助’，但很少拆开看这种帮助到底来自语言语法、结构化控制流，还是变量约束等更细粒度因素。

Investigating Mysteries of CoT-Augmented Distillation

用大模型生成的 Chain-of-Thought (CoT) 推理链来蒸馏小模型已成为常见做法，但为什么 CoT 蒸馏有效、哪些因素真正起作用，仍然不清楚。这篇工作系统性地拆解 CoT 蒸馏中的关键变量。

BLSP-Emo: Towards Empathetic Large Speech-Language Models

这篇工作研究的是如何把语音理解、语言生成和情感共情结合进同一个 large speech-language model。传统语音系统通常把情感处理拆成识别分类或规则化回复，流水线长、风格不自然，而且情感线索在离散标签里损失很大；作者显然想做更统一的 empathetic speech-language 建模。

A Learning Rate Path Switching Training Paradigm for Version Updates of Large Language Models

这篇工作解决的是大模型版本升级时训练路径不稳定、容易遗忘或收益不足的问题。实际中从旧版本继续训练到新版本，直接沿用单一路径学习率调度常常会在保留旧能力、吸收新数据和稳定收敛之间发生冲突，作者试图通过学习率路径切换来改善这个过程。

Make Some Noise: Unlocking Language Model Parallel Inference Capability through Noisy Training

这篇论文要解决的是：自回归语言模型推理天然串行，如何在不大改模型结构的前提下，把多个 token 的预测并行化。以往并行解码通常依赖 speculative decoding、非自回归蒸馏或额外 draft model，但这些方法要么系统复杂，要么质量损失明显，因此“训练时显式让模型适应 noisy context”是一个值得重新检验的方向。

Knowledge Mechanisms in Large Language Models: A Survey and Perspective

这不是方法论文，而是一篇关于 LLM 知识机制的综述与观点文章。它要解决的问题是：当前关于“模型如何存知识、如何调用知识、如何遗忘或编辑知识”的研究分散在 probing、editing、hallucination、retrieval、mechanistic interpretability 等多个社区，缺少统一框架来组织这些结论。

Reward Modeling Requires Automatic Adjustment Based on Data Quality

Reward model 训练时，不同质量的偏好数据对模型的贡献差异很大，但现有方法对所有样本一视同仁地优化，导致噪声数据拖累 RM 质量。问题的根源是人工标注的偏好对存在大量模糊或错误标注，直接用 Bradley-Terry loss 等标准损失训练会让模型拟合噪声。

Reuse Your Rewards: Reward Model Transfer for Zero-Shot Cross-Lingual Alignment

跨语言对齐（alignment）的核心瓶颈是非英语语言缺乏高质量偏好数据。能否直接复用英文训练好的 reward model 做零样本跨语言对齐，而不需要为每种语言单独收集偏好数据？

Mixture-of-Skills: Learning to Optimize Data Usage for Fine-Tuning Large Language Models

这篇工作关心的是微调阶段如何更有效地使用异质数据，而不是默认所有样本同权。过去常见做法是人工设数据配比，或者用简单 curriculum / filtering，但这类策略很难适应任务迁移、样本质量差异和训练阶段变化。

Rethinking Pragmatics in Large Language Models: Towards Open-Ended Evaluation and Preference Tuning

这篇工作认为当前 LLM 语用学评测太封闭，导致模型是否真正理解言外之意、礼貌、暗示和语境适配被高估。过去不少工作把 pragmatics 简化成多选题或少量规则化案例，这更像测模板匹配，而不是测开放环境中的语用能力。

Dancing in Chains: Reconciling Instruction Following and Faithfulness in Language Models

这篇工作直指一个很实际的对齐冲突：模型越强调 instruction following，往往越容易牺牲 faithfulness。常见现象是模型为了配合用户格式、风格或结论要求，会生成更顺从但证据不一致、推理不忠实甚至编造的信息，而现有训练往往没有把两者明确拆开优化。

Breaking the Script Barrier in Multilingual Pre-Trained Language Models with Transliteration-Based Post-Training Alignment

这篇工作要解决的是多语预训练模型里的 script barrier：同一种或相近语言因为书写系统不同，表示空间被人为割裂。现有 multilingual PLM 往往依赖共享 tokenizer 和参数去获得跨语迁移，但当语言脚本差异大、共享词形少时，这种对齐会明显变弱。

How to Leverage Demonstration Data in Alignment for Large Language Model? A Self-Imitation Learning Perspective

这篇工作讨论的是在 LLM alignment 中如何更好利用 demonstration data，而不是把示范样本只当作普通 SFT 监督。传统做法通常直接最大化示范答案似然，但这没有显式利用‘这些轨迹是模型应该模仿的优质行为’这一强化学习视角，也难以处理示范质量不均和策略偏移。

UNICORN: A Unified Causal Video-Oriented Language-Modeling Framework for Temporal Video-Language Tasks

这篇工作的核心问题是：时间相关的视频-语言任务被长期拆成理解、定位、描述等多个子任务分别做，导致模型目标不统一、时序信息难共享，也很难借到语言模型的成熟训练范式。作者试图把这类任务统一到一个因果式语言建模框架里，让视频时序建模和文本生成落在同一训练接口上。

BPO: Staying Close to the Behavior LLM Creates Better Online LLM Alignment

这篇工作的结论从标题就很明确：在线对齐时不要让策略模型偏离行为模型太远，否则训练会变得不稳定且样本效率差。过去在线 RLHF/DPO 类方法常追求更激进的策略改进，但在奖励噪声、偏好模型偏差和分布移位同时存在时，过大的策略步长往往会放大奖励黑客和退化。

MoE-I²: Compressing Mixture of Experts Models through Inter-Expert Pruning and Intra-Expert Low-Rank Decomposition

How do Large Language Models Learn In-Context? Query and Key Matrices of In-Context Heads are Two Towers for Metric Learning

这篇工作要回答的是：LLM 是如何学会 in-context learning 的，尤其是 ICL 头里的 query/key 矩阵到底在做什么。以往解释 ICL 常停在功能描述，比如“复制示例模式”或“做隐式贝叶斯更新”，但如果能把 Q/K 明确解释成类似双塔度量学习，那就把一个模糊现象变成了可分析、可验证的机制假说。

LIONs: An Empirically Optimized Approach to Align Language Models

这篇工作关注的核心问题是：现有 LLM alignment 配方往往流程重、超参敏感、复现成本高，而很多增益来自经验性细节组合，缺少一个经过系统优化的简洁方案。过去常见路线是 SFT+DPO/RLHF 的多阶段堆叠，但不同阶段之间经常互相牵制。

Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method

Order of Magnitude Speedups for LLM Membership Inference

这篇工作要解决的核心问题很明确：把大模型成员推断从‘能做但太贵’变成‘可以常态化评估’。现有高质量 MIA 往往依赖训练多个 shadow models 去近似训练分布，这在 LLM 上成本高到难以用于日常隐私审计，所以真正卡住的不只是攻击效果，而是评估成本。

Synthetic Knowledge Ingestion: Towards Knowledge Refinement and Injection for Enhancing Large Language Models

这篇工作要解决的是：LLM 已有知识的校正和外部新知识的注入，为什么总是效果不稳定。现有方案通常在 RAG、SFT、CPT 三条路里各自优化，但真正卡点往往不是‘注入方式’本身，而是原始知识源如何被转成适合模型学习的数据表示；如果表示粗糙，RAG 检索不到、SFT 学不牢、CPT 又容易代价过高或引入副作用。

PaCoST: Paired Confidence Significance Testing for Benchmark Contamination Detection in Large Language Models

这篇工作要解决的是 benchmark contamination detection 里一个常见但没处理好的问题：怎样在不知道训练集细节的情况下，可靠地区分‘模型真的泛化了’和‘模型见过题了’。现有检测方法常依赖启发式相似度、人工改写或少量 prompt probing，问题是统计显著性弱、分布控制不严，容易把能力强误判为污染，或把轻度污染漏掉。

OneGen: Efficient One-Pass Unified Generation and Retrieval for LLMs

这篇论文要解决的是：生成和检索在 LLM 体系里通常被分开训练、分开执行，导致需要两套模型或两次前向，系统复杂且效率低。很多实际任务并不是“先检索再生成”这么干净，而是要求模型一边生成答案，一边给出可用于检索的表示或标识；现有做法把这两件事拆开，既浪费计算，也让训练目标彼此脱节。

Unveiling In-Context Learning: A Coordinate System to Understand Its Working Mechanism

这篇论文想解决的是 ICL 机制研究里一个长期存在的混乱：大家都在讨论 in-context learning 为什么有效，但经常把不同因素混在一起，导致结论彼此难比较。作者提出一个“坐标系”来理解 ICL，说明他们的目标不是再给一个局部解释，而是整理出一套能区分不同工作机制的分析框架。

Ouroboros: Generating Longer Drafts Phrase by Phrase for Faster Speculative Decoding

这篇论文要解决的是 speculative decoding 的一个效率瓶颈：草稿模型虽然能并行生成候选 token，但草稿通常还是按 token 粒度推进，导致可验证的前瞻长度有限。作者提出 phrase by phrase 生成更长 drafts，目标是在不破坏验证正确性的前提下，把 speculative decoding 的吞吐再往上推。

DecorateLM: Data Engineering through Corpus Rating, Tagging, and Editing with Language Models

Breaking Language Barriers: Cross-Lingual Continual Pre-Training at Scale

SCA: Selective Compression Attention for Efficiently Extending the Context Window of Large Language Models

WPO: Enhancing RLHF with Weighted Preference Optimization

Scaling Behavior for Large Language Models regarding Numeral Systems: An Example using Pythia

PSC: Extending Context Window of Large Language Models via Phase Shift Calibration

这篇论文关注长上下文扩展里的一个具体难点：把 RoPE 或类似位置编码直接外推到更长序列时，模型往往会出现注意力错位和性能崩塌。过去社区常用插值、NTK scaling、位置重标定等方法延长上下文窗口，但这些方法在超长区间经常需要重新训练或在局部/全局位置精度之间做痛苦权衡；PSC 试图用 phase shift calibration 来更稳地校准这种外推误差。

Quantifying and Mitigating Unimodal Biases in Multimodal Large Language Models: A Causal Perspective

这篇工作要解决的是 MLLM 在 VQA 中过度依赖单模态偏置的问题，也就是模型看起来在做多模态推理，实际上可能只是顺着语言先验或视觉捷径在猜答案。过去这类问题通常靠构造对抗样本或错误案例分析来讨论，但缺少一个能量化“语言偏置/视觉偏置到底对结果贡献了多少”的框架。

Not Everything is All You Need: Toward Low-Redundant Optimization for Large Language Model Alignment

这篇工作要解决的是 LLM 对齐训练里的参数冗余问题：SFT 或偏好优化时，并不是全模型参数都需要被强烈更新，盲目全量优化容易把模型往训练集里的表面风格和偶然模式上拉过去。作者的出发点很直接：如果只有一小部分参数真正承载与人类偏好相关的更新，全量对齐既低效，也更容易过拟合。

Unlocking Memorization in Large Language Models with Dynamic Soft Prompting

这篇工作要解决的是如何更准确地测量 LLM 的训练数据记忆，而不是只靠固定前缀或固定 soft prompt 去碰运气。已有方法的共同问题是提示是静态的，无法根据不同前缀动态调整，因此容易低估模型在特定上下文下被激活的记忆强度。

An Open-Source Data Contamination Report for Large Language Models

这篇工作要解决的是 LLM 评测中的数据污染分析缺乏公开、统一且可复现的工具链，导致很多 benchmark 结果可能混杂了记忆效应，但外部研究者难以独立核查。过去污染分析多数掌握在模型开发方内部，方法和覆盖范围都不透明，因此“模型到底会不会做题”与“模型是不是见过题”经常分不开。

Rethinking Token Reduction for State Space Models

这篇工作要解决的是现有 token reduction 方法直接套到 SSM，尤其是 Mamba 类模型上时效果明显失效的问题。虽然 token reduction 是后训练提效的直接手段，但 SSM 的状态传播机制与 Transformer 不同，简单删 token 往往会破坏时序状态累积，因此精度下降比在 Transformer 上更严重。

Private prediction for large-scale synthetic text generation

此前基于LLM的差分隐私合成文本生成要么需要训练隐私友好的生成模型（成本高），要么同隐私预算下仅能生成不足10条有效样本，不足以支撑下游预训练等需要大规模数据的场景。

Concept Space Alignment in Multilingual LLMs

多语言LLM的跨语言泛化机制缺乏明确量化解释，此前研究未系统对比不同模型、语言类型、概念类型下的语义对齐效果差异。

Efficiently Computing Susceptibility to Context in Language Models

When Context Leads but Parametric Memory Follows in Large Language Models

LLM在知识一致场景（上下文信息与参数记忆无冲突）下的知识调用权重分配缺乏系统量化结论，此前研究多关注知识冲突场景的优先级选择。

Layer by Layer: Uncovering Where Multi-Task Learning Happens in Instruction-Tuned Large Language Models

这篇论文的核心问题是：instruction tuning 之后，多任务能力究竟被写进了模型的哪些层，哪些任务是预训练已经会的，哪些任务是真正靠指令微调补进去的。过去大家更多看最终 benchmark，很少系统分析任务特定信息在层间如何分布，因此难以判断多任务泛化到底来自共享表示，还是来自少数层的任务适配。

From RAG to Riches: Retrieval Interlaced with Sequence Generation

这篇论文要解决的是：传统 RAG 把检索器和生成器拆成两个模块，适配新任务时往往要改检索器或重新训练，而这会引入级联误差和工程复杂度。作者想证明，检索可以直接变成受语料约束的生成过程，从而把 retrieval 和 reasoning/planning 合并到一次解码里完成。

Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models

这篇论文关注的是 synthetic data 并不天然等于高质量数据：大模型生成的数据会带来哪些缺陷，这些缺陷如何伤害后续模型训练，以及该怎么缓解。过去大家常把合成数据当作扩大 instruction / reasoning 数据规模的低成本手段，但真实问题是，模型会复制自身偏差、放大模式坍塌，并产生看似流畅但信息贫乏的训练样本。

CItruS: Chunked Instruction-aware State Eviction for Long Sequence Modeling

TS-Align: A Teacher-Student Collaborative Framework for Scalable Iterative Finetuning of Large Language Models

ShadowLLM: Predictor-based Contextual Sparsity for Large Language Models

QUIK: Towards End-to-end 4-Bit Inference on Generative Large Language Models

Auto-Evolve: Enhancing Large Language Model's Performance via Self-Reasoning Framework

LaMDA: Large Model Fine-Tuning via Spectrally Decomposed Low-Dimensional Adaptation

Is C4 Dataset Optimal for Pruning? An Investigation of Calibration Data for LLM Pruning

Improving LLM Attributions with Randomized Path-Integration

这篇工作要解决的是：如何给 LLM 的输出做更稳定、更可信的输入归因。现有基于梯度或积分路径的方法在离散 token 空间里常常噪声大、对路径选择敏感，而且容易把 attribution 变成一种看起来合理但不够可复现的事后解释。

LLM Explainability via Attributive Masking Learning

这篇工作想解决的是：让 LLM 的解释不只停留在事后打分，而是通过学习式 masking 直接找出真正支撑输出的输入片段。传统 attribution 多依赖梯度或启发式删除，往往缺少一个显式的学习目标去约束“哪些 token 必须保留，哪些可以去掉”。

Discovering Knowledge-Critical Subnetworks in Pretrained Language Models

这篇工作关注的是：预训练语言模型里的知识到底分布在全网状参数中，还是存在对特定事实更关键的子网络。过去很多分析停留在 probing 或参数编辑层面，能说明模型会用知识，但不一定能定位‘哪一部分参数更关键’。

InternalInspector I²: Robust Confidence Estimation in LLMs through Internal States

这篇工作要解决的是：LLM 的置信度估计不可靠，尤其在生成式问答里，token 概率往往不能代表答案是否真的对。外部校准信号常常昂贵或不可用，因此作者转向模型内部状态，试图从 hidden states 里直接估计回答可信度。

CoTAR: Chain-of-Thought Attribution Reasoning with Multi-level Granularity

这篇工作要解决的是：Chain-of-Thought 常被拿来解释模型推理，但现有 attribution 方法很难同时说明‘最终答案依赖了哪些证据’以及‘推理链中间每一步依赖了什么’。如果只给单层粒度解释，往往看不出 CoT 是真推理还是只是事后合理化。

Self-AMPLIFY: Improving Small Language Models with Self Post Hoc Explanations

这篇工作要解决的是：小模型在监督微调后往往只学到答案形式，学不到可迁移的推理过程，而直接蒸馏大模型解释又常常代价高、噪声大。作者关注的是一种更便宜的路径：让小模型基于自己的输出做事后解释，再把这些解释反过来用于提升模型能力。

GeoGPT4V: Towards Geometric Multi-modal Large Language Models with Geometric Image Generation

这篇工作要解决的是当前多模态大模型对几何关系的理解和生成都不够原生：它们能描述物体，却不一定能稳定处理严格的几何约束。作者想把 geometric reasoning 与 geometric image generation 放进同一个多模态框架中，让模型不只会看图说话，还能围绕几何结构进行推理和生成。

Beyond Accuracy Optimization: Computer Vision Losses for Large Language Model Fine-Tuning

LLM 微调几乎只用交叉熵损失，但计算机视觉领域已经发展出大量更优的损失函数（如 focal loss、label smoothing 等），这些损失是否能改善 LLM 微调效果，此前缺乏系统研究。

Learn to Refuse: Making Large Language Models More Controllable and Reliable through Knowledge Scope Limitation and Refusal Mechanism

LLM 在面对超出其知识范围的问题时倾向于编造答案（幻觉），而非拒绝回答。如何让模型学会识别自身知识边界并主动拒绝，是提升可靠性的关键问题。

Pre-trained Language Models Return Distinguishable Probability Distributions to Unfaithfully Hallucinated Texts

LLM 生成幻觉文本时，其输出的概率分布是否与忠实文本有可区分的差异？这篇工作从概率分布的角度分析幻觉检测的可行性，核心假设是幻觉文本对应的 token 概率分布具有可识别的特征。