ETH Zurich×NVIDIA新作：AllReduce为何能贴近SoL下界
这篇论文很像在GPU通信里“抠微秒”。看起来只是把延迟从 11.0 微秒压到 2.37 微秒，背后其实是在逼近硬件下限；一旦放进大模型推理链路，省下来的就不只是时间，还有真金白银。
标签：模型训练
共 155 篇
ETH Zurich×NVIDIA：微秒级抠延迟，推理成本再降一截
GPU 推理最怕的不是算力不够，而是通信那点“看起来不大、实则很贵”的微秒级开销。NVIDIA 这篇论文把 AllReduce 往硬件极限推，最好只剩约 7% 的误差，vLLM 推理和 cuSOLVERMp 都能吃到红利，属于非常典型的“抠延迟抠出真金白银”的工作。
0.8B端到端文档解析SOTA：OvisOCR2怎么做到的
阿里这次没玩虚的，直接把文档解析从“流水线拼装”拉到“端到端一把梭”。0.8B 小模型能在公开榜单上登顶，关键不在嘴上说模型小，而在数据引擎和训练 recipe 真把小模型喂明白了。
NVIDIA+Stanford新作RoboTTT：8K上下文让机器人长记性
机器人策略最烦的不是“不会动”，而是“记不住”。这篇把测试时训练塞进机器人基础模型里，直接把上下文拉到8K步，还顺手做出单次视频模仿和在线改进，思路很硬。
Apple Research新方法：不用教师也能提升代码模型
这篇论文最狠的地方，不是把代码模型调高了几个点，而是它几乎没加任何“外挂”：不要验证器，不要教师模型，不要强化学习，只靠模型自己的原始输出就能涨分。更有意思的是，提升还主要落在更难题上，说明它不是在“刷题套路”，而是在改模型分布本身。
北大×小米新方法：施工区域规划更稳了
施工路段最容易把模型训练出的“老司机直觉”打回原形。WorkDrive的思路很直接：先把现场关键事实看清，再把因果链讲明白，最后用一致性奖励把轨迹拽回来，适合关心自动驾驶落地的人细看。
Apple Research新论文：遗忘前先删低影响点，最高省50%
这篇论文最有意思的地方，不是“能不能遗忘”，而是“遗忘前能不能先把没必要遗忘的删掉”。Apple Research 直接把机器遗忘做成了省算力工程，最高能省下约50%执行时间，思路很实在。
答案泄露让蒸馏掉16.2分，最新论文警告
这篇论文专门盯住一个很阴险的问题：正确答案提前露给模型，训练数据就“看起来都对”，但学生模型还是会被带歪。它不是在讨论玄学，而是用一比特实验把锅精准甩给“答案可见”。
7B蒸馏干翻72B？这篇金融推理新方法有点狠
金融问答最怕什么？不是题难，是模型一本正经地把账算错。本文直接把“自然语言讲道理”换成“可执行程序讲道理”，再用执行验证筛掉假把式，7B学生竟然能把72B教师按在地上摩擦，思路很硬，结果也很硬。
ICLR 2026新作：自动驾驶微调为何越训越忘？
自动驾驶里最容易被忽略的坑，不是模型不会开车，而是学会开车后把老本行忘了。这篇论文第一次把“灾难性遗忘”做成可量化基准，还给出了一种不乱改权重的解法，挺适合认真看一遍。😊
Meta新方法：长上下文TTT最高提15%
长上下文不是“塞得进去就行”，关键是得知道该学哪几段。Meta 这篇 S-TTT 直接把问题掰开：先让模型自己挑证据，再拿这些证据做测试时训练，随机乱抽的那套终于被按住了。
微软TRACE新作：Qwen3-4B长程搜索飙到35.6
长程智能体最怕的不是不会搜，而是搜了半天，最后谁也没记功。TRACE把这件事掰开揉碎，逐轮算账，适合想搞懂长程RL怎么训得更稳、更快的人。
