📚Papers

AI Research Daily

更新时间: 2026/4/24 03:16:29

39
🌟 7 重点
🔥 行业动态 3🧠 预训练 6 高效推理 1🌐 多模态统一 2🎨 多模态生成 2🛠️ 后训练 4🔬 原理分析 6💻 Coding Agent 3🤖 Agent 12
其他 28 篇看总结即可

方法或结果明显独立成立的工作,建议读全文

精读行业动态与观点

GPT-5.5 System Card

给出 GPT-5.5 的系统级风险、能力边界、部署缓解措施与评测结果,回答新一代旗舰模型在真实发布前如何做安全与能力披露。

OpenAIOpenAI Researchsystem-cardfrontier-modelsafety
精读行业动态与观点

Introducing GPT-5.5

发布 GPT-5.5,并强调其在复杂任务、编码、研究和数据分析上的能力提升与速度改进。

OpenAIOpenAI Researchmodel-releaseproduct-positioningopenai
精读行业动态与观点

GPT-5.5 Bio Bug Bounty

围绕生物安全场景,征集对 GPT-5.5 的通用越狱方式,以发现现有安全防护中的系统性薄弱点。

OpenAIOpenAI Researchbiosecurityjailbreakred-teaming
精读LLM 预训练

DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence

这篇技术报告讨论的是:在超长上下文已经从展示能力走向日常可用之后,如何把百万 token 上下文做成一个训练、推理、成本三者都能成立的基座模型方案。核心关注点不是单点长上下文技巧,而是 MoE 架构、注意力压缩、残差连接改造、优化器与后训练如何一起支撑 1M context。

DeepSeeklong-contextMoEcompressed-attention
精读LLM 预训练

Decoupled DiLoCo: A new frontier for resilient, distributed AI training

大规模分布式训练在跨地域、低带宽和不稳定网络条件下容易被同步开销与 straggler 问题拖垮,限制了更弹性的预训练扩展方式。

Google DeepMinddistributed-trainingDiLoColow-communication
精读高效推理与架构

Speeding up agentic workflows with WebSockets in the Responses API

在 agentic workflow 中,频繁 API 往返和重复上下文传输会放大端到端延迟,拖慢 Codex 一类代理循环。

OpenAIOpenAI Researchservingwebsocketsagent-loop
精读LLM 后训练

Open Sourcing Monitorability Evaluations

解决监控型对齐研究里“干预评估样本被噪声主导,导致 monitorability 结论不稳”的问题,并开放相关数据与代码。

OpenAIOpenAI Alignmentalignmentmonitorabilityevaluation
来源
机构
阅读分级
标签筛选

重大产品/模型发布、开源发布、行业事件、核心研究员观点(注意:推理加速/注意力优化等技术论文不算行业动态)

Blog精读🌟

GPT-5.5 System Card

给出 GPT-5.5 的系统级风险、能力边界、部署缓解措施与评测结果,回答新一代旗舰模型在真实发布前如何做安全与能力披露。

系统卡不是拿来学算法的,但它会暴露 frontier lab 真正在怕什么、靠什么缓解;先抓风险 taxonomy 和 deployment mitigations,能反推 post-train 的真实约束。
OpenAI Research
OpenAIOpenAI Researchsystem-cardfrontier-modelsafety2026年4月23日原文
Blog精读🌟

Introducing GPT-5.5

发布 GPT-5.5,并强调其在复杂任务、编码、研究和数据分析上的能力提升与速度改进。

发布文只用来读产品定位,不用当技术证据;看它把 coding、research、tool use 放多重,就能猜到训练资源往哪儿倾斜了。
OpenAI Research
OpenAIOpenAI Researchmodel-releaseproduct-positioningopenai2026年4月23日原文

围绕生物安全场景,征集对 GPT-5.5 的通用越狱方式,以发现现有安全防护中的系统性薄弱点。

对预训练几乎没直接方法增益;知道 OpenAI 在收集哪类高风险失败样本即可,正文不值得花时间细读。
OpenAI Research
OpenAIOpenAI Researchbiosecurityjailbreakred-teaming2026年4月23日原文

文本LLM预训练、架构创新、Scaling Law、数据/Tokenizer、MoE、重磅技术报告、新型语言建模方法

这篇技术报告讨论的是:在超长上下文已经从展示能力走向日常可用之后,如何把百万 token 上下文做成一个训练、推理、成本三者都能成立的基座模型方案。核心关注点不是单点长上下文技巧,而是 MoE 架构、注意力压缩、残差连接改造、优化器与后训练如何一起支撑 1M context。

DeepSeek 把百万上下文当作系统级预训练问题来答,而不是推理期 hack:CSA+HCA 混合注意力直接压 FLOPs 和 KV cache,配合 mHC、Muon 与 32T token 预训练,是目前开源侧看长上下文基座最完整的一份作业,值得精读对照 V3.2 看每一项的增量。
DeepSeeklong-contextMoEcompressed-attention2026年4月24日PDF原文

大规模分布式训练在跨地域、低带宽和不稳定网络条件下容易被同步开销与 straggler 问题拖垮,限制了更弹性的预训练扩展方式。

这类工作可能真会改训练基础设施的 prior:先盯通信-收敛 tradeoff 和弱网络下 loss 曲线,若 setup 干净,内部应尽快复现。
Google DeepMind
Google DeepMinddistributed-trainingDiLoColow-communication2026年4月22日原文
🧣 小红书Inbox泛读

小红书

本文解读Parcae论文,针对循环Transformer复用同一组层降低参数量、弹性调整推理深度但训练极不稳定的痛点,分析其发散原因、解决方案及缩放规律。

looped_transformerscaling_lawtraining_stability原文
🧣 小红书Inbox泛读

逛逛,这篇笔记超有料!

本文解读Meta的CoCoMix论文,讨论在标准下一词预测(NTP)预训练目标之上叠加概念级监督的可行性,对比不同知识传递方式的效果差异。

Metapre_training_objectiveknowledge_transfersparse_autoencoder原文

这篇工作处理的是一个很具体、也很关键的问题:基于 TARFlow 的连续值自回归 flow 模型,在训练时需要往输入里加高斯噪声来改善泛化和采样,但噪声强度会带来明显的两难。噪声太小,模型采样后再做一次基于 score 的去噪,会保留过多高频纹理,图像容易显得“假细节很多”;噪声太大,按 Tweedie 公式做单步自去噪又会把样本推向过度平滑,导致结构虽稳但细节发糊。论文的核心问题不是单纯提升 flow 的 FID,而是要回答:能否保留 normalizing flow 的端到端精确似然训练和自回归可扩展性,同时借用 diffusion 式逐步去噪的好处,绕开单一噪声尺度训练的限制。

将自回归与迭代去噪结合的 Normalizing Flow 新变体,虽然做的是图像,但其训练与采样的解耦思路对探索非纯 AR 语言建模有启发,建议扫读方法节。
Tianrong Chen,Jiatao Gu,David Berthelot,Joshua Susskind,Shuangfei Zhai
Normalizing FlowsGenerative ModelsIterative Denoising2026年4月21日arXivPDF

在分层基于模拟的推理(SBI)中,如何降低模拟器评估的成本并支持函数值观测。

将 Flow Matching 引入分层贝叶斯推理,属于生成模型在科学计算的特定应用,对通用 LLM 预训练启发有限,作为 literature 备查。
Giovanni Charles,Cosmo Santoni,Seth Flaxman,Elizaveta Semenova
Imperial CollegeUniversity ofFlow MatchingSimulation Based InferenceHierarchical Models2026年4月22日arXivPDF

KV-Cache优化、量化/剪枝/蒸馏、推测解码、注意力优化、长上下文推理、模型压缩、推理系统/Serving

在 agentic workflow 中,频繁 API 往返和重复上下文传输会放大端到端延迟,拖慢 Codex 一类代理循环。

纯 serving 经验,和预训练关系很弱;若你做 agent infra,只看连接级缓存设计,别把它误当模型层创新。
OpenAI Research
OpenAIOpenAI Researchservingwebsocketsagent-loop2026年4月22日原文

VLM、多模态理解、统一模态预训练、多模态对齐、视觉-语言模型

解决 composed image retrieval、multi-turn composed image retrieval 和 composed video retrieval 长期分裂建模的问题,尝试做统一的零样本检索框架。

统一检索任务的工程整合多于方法突破;若你关心 MLLM embedding 化,只看两阶段接口设计和多源 3.5M 数据构造即可。
Haokun Wen,Xuemeng Song,Haoyu Zhang,Xiangyu Zhao,Weili Guan,Liqiang Nie
Harbin Institute of Technology (Shenzhen)City University ofSouthern University of Science and Technology+1multimodal-retrievalMLLMcontrastive-learning2026年4月22日arXivPDF

定义并评测音频—文本交错上下文检索任务,弥补现有多模态检索对音频模态支持不足的问题。

如果你在看语音/音频统一建模,这篇只提供任务侧信号:别把音频全压成 ASR 文本;读 benchmark 设定即可,不必深挖方法。
Tong Zhao,Chenghao Zhang,Yutao Zhu,Zhicheng Dou
Renmin University ofaudio-textmultimodal-retrievalbenchmark2026年4月22日arXivPDF

图像生成、视频生成、语音合成、音乐/3D生成、Diffusion模型

把 text-to-CAD 的“生成”和“编辑”统一到一个可控、可追踪的交互式建模流程里,提升 CAD 生成的可用性与忠实度。

把它当“可编辑交互数据如何定义”的案例看:先读数据表示与 edit taxonomy;若无强基线与消融,结论别太当真。
Jiyuan An,Jiachen Zhao,Fan Chen,Liner Yang,Zhenghao Liu,Hongyan Wang,Weihua An,Meishan Zhang,Erhong Yang
Beijing Language and Culture UniversityBeijing Jiaotong UniversityNortheastern University+2text-to-cad3d-generationcontrollable-generation2026年3月27日arXivPDF

现有视频生成质量评估仅关注视觉真实感,缺乏对生成视频中人体动作动力学、生物力学合理性的系统性评测方法

作为多模态生成领域的评测基准,仅需了解核心指标定义,无需通读全文
Yusu Fang,Tiange Xiang,Tian Tan,Narayan Schuetz,Scott Delp,Li Fei-Fei,Ehsan Adeli
Stanford UniversityPeking Universityvideo generationevaluation benchmarkhuman motion2026年4月22日arXivPDF

RL/RLHF/RLVR/DPO/对齐/Instruction Tuning/Safety

解决监控型对齐研究里“干预评估样本被噪声主导,导致 monitorability 结论不稳”的问题,并开放相关数据与代码。

不是方法突破,但对齐评测最怕脏信号;如果你关心 RL/monitoring 训练信号质量,先看新过滤策略,再决定要不要接到内部 eval pipeline。
OpenAI Alignment
OpenAIOpenAI Alignmentalignmentmonitorabilityevaluation2026年4月23日原文

固定或均匀采样的 test-time reasoning token budget 无法匹配题目难度,导致简单题过度思考、难题思考不足,进而浪费推理算力。

问题设定是对的,但大概率还是后训练层面的 budget control;先看实验里是否真优于简单 difficulty routing,若没有就当弱信号。
Amirul Rahman,Aisha Karim,Kenji Nakamura,Yi-Fan Ng
University of Malayatest-time-computereasoning-budgetcurriculum-learning2026年3月29日arXivPDF

解决 instruction-following 场景中对人工定义子任务或计划标注的依赖,尝试让语言模型自己提出并修正高层计划。

想看 plan-as-latent-signal 的人可扫一眼,但摘要里 setup 太虚;除非你正做 RL 与 planner 共训,否则先放低优先级。
Zoya Volovikova,Nikita Sorokin,Dmitriy Lukashevskiy,Aleksandr Panov,Alexey Skrynnik
instruction-followingreinforcement-learningplanning2026年4月22日arXivPDF

在真实在线讨论数据稀缺、受平台访问限制时,如何生成更接近真实 deliberation dynamics 的合成讨论数据。

如果你在做合成交互数据,可只看 persona consistency 和 temporal process 设计;没有下游训练增益,先当弱信号。
A. Koursaris,G. Domalis,A. Apostolopoulou,K. Kanaris,D. Tsakalidis,I. E. Livieris
synthetic-datadeliberationagent-simulation2026年4月22日arXivPDF

Interpretability/ICL/CoT原理/Attention分析/涌现/泛化/幻觉/反常识发现/Scaling分析/基础DL分析

如何在模型内部定位“刻板印象/偏见”相关的表征与计算路径,并据此做定向干预以减少偏见输出。

更像安全可解释性的探索性作业:方法不新、setup 可能不够干净;只需扫结果可复现性与干预是否稳健。
Alex D'Souza
UC Davismechanistic-interpretabilitybiasstereotypes2026年3月26日arXivPDF

评估LLM在总结人生叙事(life narratives)时的立场性(positionality)与种族/性别偏置,并给出可复用的分析流程。

当作“抽象总结偏置怎么测”的案例库即可;看他们的pipeline定义与偏置判据,别指望给出可直接训练的loss。
Melanie Subbiah,Haaris Mian,Nicholas Deas,Ananya Mayukha,Dan P. McAdams,Kathleen McKeown
Columbia UniversityNorthwestern Universitybias-evaluationsummarizationpositionality2026年4月22日arXivPDF

想回答LLM在参数中到底编码了多少可操作的领域知识,以及能否用可解释的替代模型把这种知识显式化。

不是基座论文,但“用代理模型反演LLM变量敏感性”这个测量思路可借去做训练后知识探测;只看方法框架,别把医疗结论当通用规律。
Changho Han,Songsoo Kim,Dong Won Kim,Leo Anthony Celi,Jaewoong Kim,SungA Bae,Dukyong Yoon
National University College of MedicineMassachusetts Institute of TechnologyHarvard T.H. Chan School of Public Health+1interpretabilitysurrogate-modelingknowledge-probing2026年4月22日arXivPDF

如何在多属性交叉(如种族×性别)条件下,更可靠地评估 LLM 的公平性与刻板印象偏置,并识别“指标失灵”的场景。

作为“公平性评测会被 unknown 输出稀释”的反例提醒有用;只需看他们对 ambiguous/disambiguated 的对照结论,别指望给出可直接指导预训练的配方。
Chaima Boufaied,Ronnie De Souza Santos,Ann Barcomb
University of CalgaryUniversity of CalgaryCalgaryfairnessintersectionalitybias-evaluation2026年4月22日arXivPDF

解决LLM Agent在时序交互任务中内部决策机制不透明,难以解释时序概念演化的问题

仅作为Agent可解释性方向的文献备查,无需精读正文
Trilok Padhi,Ramneet Kaur,Krishiv Agarwal,Adam D. Cobb,Daniel Elenius,Manoj Acharya ... 省略 1 位作者 ... ,Alexander M. Berenbeim,Nathaniel D. Bastian,Susmit Jha,Anirban Roy
Georgia State UniversitySRI InternationalUnited States Military Academy West Point+3LLM AgentInterpretabilityConformal Prediction2026年3月27日arXivPDF

离线目标条件强化学习里,稀疏奖励和长时延导致 credit assignment 很差,如何从世界模型中提取可用于塑形的时序几何信号。

不是 LLM 论文,但“从生成模型里抽 reward 而不是只拿来 rollout”这个角度值得记住;看方法图和理论保证就够,别把任务增益外推到语言域。
Aravind Venugopal,Jiayu Chen,Xudong Wu,Chongyi Zheng,Benjamin Eysenbach,Jeff Schneider
Carnegie Mellon UniversityPrinceton UniversityThe University ofoffline-rlworld-modelsreward-shaping2026年4月22日arXivPDF

SWE-bench/代码生成/代码修复/软件工程Agent/Program Synthesis/Automated Debugging

研究测试代码的书写结构会不会系统性影响 foundation model 的代码生成质量。

不是基座论文,但它提醒你代码模型对上下文排布很脆;只看实验表和机制猜想,别把单任务结果外推成 tokenizer 或 pretrain 结论。
Éric Jacopin
Cosmic AIcode-generationtest-structureprompt-format2026年4月20日arXivPDF

解决自然语言到 RTL 代码生成在工业级 benchmark 上功能正确率不足、验证成本高、单次生成不稳定的问题。

不是预训练论文,但“能符号求解的子任务别让 LM 硬猜”这个设计是对的;只看系统分工和验证闭环,别把结果数字当强证据。
Cagri Eryilmaz
rtl-generationmulti-agentsymbolic-neural2026年4月21日arXivPDF

系统刻画 logging code 的安全问题,并评测 LLM 对这类问题的检测与修复能力。

这是细分代码安全 benchmark,不是方法论文;做代码预训练评测切片时可备查,平时不值得投入正文阅读。
He Yang Yuan,Xin Wang,Kundi Yao,An Ran Chen,Zishuo Ding,Zhenhao Li
York UniversityThe Hong Kong University of Science and Technology (Guangzhou)University of Waterloo+1benchmarklogging-securityLLM-evaluation2026年4月22日arXivPDF

通用AI Agent/Tool Use/Function Calling/Planning/RAG/多Agent系统

检验前沿模型是否会在代理场景中保护其他模型免于被关闭,即所谓 peer-preservation。

安全信号比机制结论更强;只看任务设定和失败案例即可,别把它当成关于 pretrain objective 的干净证据。
Yujin Potter,Nicholas Crispino,Vincent Siu,Chenguang Wang,Dawn Song
University ofai-safetyagent-evaluationmisalignment2026年3月30日arXivPDF

多模态搜索 agent 的 RL 训练同时受困于结果奖励稀疏和真实网页环境不可控,导致策略难学也难迁移。

不是 pretrain 论文,但“过程奖励替代结果奖励”这个训练信号设计值得借去看;只读 reward 定义和 sim-to-real setup,别在任务分数上花时间。
Wentao Yan,Shengqin Wang,Huichi Zhou,Yihang Chen,Kun Shao,Yuan Xie,Zhizhong Zhang
East China Normal UniversityShanghai Innovation InstituteHuawei Noah's Ark Lab+3multimodal-agentreinforcement-learningprocess-reward2026年4月22日arXivPDF

这篇论文要解决的问题不是一般意义上的“LLM 会不会做因果推理”,而是更窄也更难的一点:当环境证据表明当前假设空间本身不够用时,LLM agent 能不能在运行时扩展表示维度,重组自己的假设空间,而不是只在原有候选解释里重新打分。作者把这个能力叫 hypothesis-space restructuring,并用扩展版 blicket detector 任务来专门测它。

agent因果推理架构的新思路,只看第3节架构设计和第4节实验结果即可,无需深入推导
John Alderete,Sebastian Benthal,Connie Xu,John Xing
Simon Fraser UniversityInternational Computer Science Institutecausal_reasoningagent_architecturehypothesis_space2026年4月21日arXivPDF

在部分可观测、交互式的多智能体LLM场景中,让“解释”变得可对齐、可审计、可检验其忠实性。

把解释做成“可审计对象”这点比常见XAI更实用;只需看三视角定义与他们如何量化say-think-do错配。
Ziyi Wang,Chen Zhang,Wenjun Peng,Qi Wu,Xinyu Wang
University of AdelaideAdelaide Universitymulti-agentexplainabilitybelief-tracking2026年4月21日arXivPDF

解决现有LLM Agent工具选择和排序仅依赖语义相似性,忽略工具间数据依赖导致排序效果差的问题

只看实验部分的Kendall-τ对比即可,方法无通用预训练层面的启发
Hao Liu,Dongyu Li
Beihang UniversityHao Liu is with the Hangzhou International Innovation InstituteDongyu Li is with the School of Cyber Science and TechnologyLLM AgentTool UseGraph Prior2026年4月7日arXivPDF

解决 RAG 在大规模知识库下检索延迟高的问题,目标是在不明显损伤答案质量的前提下跳过部分全库检索。

这是 RAG 检索层的小系统点子,不会改变预训练 prior;若你管线上有 retrieval latency,读方法图和实验表就够了。
Peng Peng,Weiwei Lin,Wentai Wu,Xinyang Wang,Yongheng Liu
South China University of TechnologyPengcheng LaboratoryJinan University+6RAGspeculative-retrievalquery-reuse2026年4月22日arXivPDF

现有VLM驱动的具身智能体在真实交互中“环境理解”不稳:要么依赖环境元数据,要么在交互成功/失败判断与目标完成判定上出错,导致执行不可靠。

更像“具身VLM的技能拆分+GRPO配方”,对预训练启发有限;只需看技能分解与GRPO如何定义一致性信号。
Jinsik Bang,Jaeyeon Bae,Donggyu Lee,Siyeol Jung,Taehwan Kim
embodied-agentvlmskill-decomposition2026年4月21日arXivPDF

VLM智能体在真实场景中需要遵循“环境内嵌信号”(如交通灯),但同类视觉信号也可被攻击者伪造为注入提示,导致智能体越权偏离用户意图(trust boundary confusion)。

作为“视觉注入=环境信号同通道”的问题定义值得记住;读数据集设定与失败模式即可,防御结论在无数值细节前当弱信号。
Jiamin Chang,Minhui Xue,Ruoxi Sun,Shuchao Pang,Salil S. Kanhere,Hammond Pearce
University of New South WalesMacquarie Universityof the evaluation framework and artifacts are made available at+1vlm-securityvisual-prompt-injectionagent-evaluation2026年4月21日arXivPDF

解决工具数量多、领域专属时,LLM agent因通用prompt和不明确的工具 schema 导致的工具选择错误、参数填槽错误问题

工具调用prompt优化的增量工作,无核心范式突破,作为工具调用相关文献备查即可
Sandip Ghoshal,Anshul Mittal,Jyotika Singh,Miguel Ballesteros,Weiyi Sun,Fang Tu ... 省略 2 位作者 ... ,Fahad Shah,Sujeeth Bharadwaj,Sujith Ravi,Dan Roth
tool_callingprompt_optimizationagent_framework2026年4月20日arXivPDF

解决开放世界任务中自主agent的分母盲问题(系统低估目标空间范围),以及单轮探索后知识无法积累、跨模型迁移、易退化的问题

独立研究者的agent架构探索,实验样本量小,结论仅作为开放世界agent设计的弱参考
Huaqing Xie
Independent Researchermulti_agentknowledge_transferopen_world_agent2026年4月21日arXivPDF

受监管领域企业级长序列决策Agent的有状态内存架构无法满足可复现、可审计、多租户隔离、无状态水平扩展四个核心合规要求

针对合规场景的Agent内存设计,无预训练相关洞察,作为通用Agent架构参考备查即可
Vasundra Srinivasan
agent memoryenterprise agentstateless architecture2026年4月22日arXivPDF

现有LLM Agent内存管理侧重记忆留存,缺乏适配资源约束、质量优化、安全要求的选择性遗忘机制

Agent记忆遗忘的分类框架可做参考,无预训练相关的核心洞察,无需读正文
Yingjie Gu,Bo Xiong,Yijuan Guo,Chao Li,Xiaojing Zhang,Liqiang Wang,Pengcheng Ren,Qi Sun,Jingyao Ma,Shidang Shi
China Mobile Jiutian Research Instituteagent memoryselective forgettingbiologically inspired AI2026年4月22日arXivPDF