答案泄露让蒸馏掉16.2分,最新论文警告
这篇论文专门盯住一个很阴险的问题:正确答案提前露给模型,训练数据就“看起来都对”,但学生模型还是会被带歪。它不是在讨论玄学,而是用一比特实验把锅精准甩给“答案可见”。
LONGGE AI RESEARCH DAILY
每天筛选值得关注的 AI 论文,用工程视角拆解方法、实验和真正的落地价值。
目前已发表 1573 篇文章
这篇论文专门盯住一个很阴险的问题:正确答案提前露给模型,训练数据就“看起来都对”,但学生模型还是会被带歪。它不是在讨论玄学,而是用一比特实验把锅精准甩给“答案可见”。
这篇论文最狠的地方,不是把RLVR讲明白了,而是第一次把“训练得不错”推进到“理论上也站得住”。更有意思的是,它不是空谈定理,而是拿出一条Progressive RLVR流水线,把压缩、蒸馏、量化一起拧上,真把泛化界做到了能看、能算、还能落地。
一个模型把细粒度动作、长视频问答和直播流主动响应都装进去了,还只用4B参数。更关键的是,模型、代码、训练策略和数据集全开源,社区终于不用对着“半遮半掩”的视频大模型干瞪眼了。
金融问答最怕什么?不是题难,是模型一本正经地把账算错。本文直接把“自然语言讲道理”换成“可执行程序讲道理”,再用执行验证筛掉假把式,7B学生竟然能把72B教师按在地上摩擦,思路很硬,结果也很硬。
DeepSeek 这回不只是把模型跑快,而是把“怎么在边缘设备上少算、少搬、少耗电”拆成了三把硬核手术刀。MIPS、MBLM、DAPPM 三招一套打下来,才有了 28nm 上 109.4 TFLOPS/W 这个挺扎眼的数字。
无标签训练最怕什么?怕信号太稀,怕算力太贵。CANON偏偏把“多数投票”变成了每个token都能学的监督信号,结果是:更省算力,推理还更准。
这篇论文最有意思的地方,不是又造了一个“拟人化”词典,而是把AI伴侣的社交媒体讨论拆成了能落地分析的十类表达。Reddit和小红书的差异也很直接:一个更像叙事复盘,一个更像情绪直播,文化和平台习惯真的会把“AI像不像人”这件事带偏。
长上下文不是“塞得进去就行”,关键是得知道该学哪几段。Meta 这篇 S-TTT 直接把问题掰开:先让模型自己挑证据,再拿这些证据做测试时训练,随机乱抽的那套终于被按住了。
机器人采数据最怕“同一个坑反复踩”。PhysClaw-0把一次纠错变成后面都能复用的规则,省人力还不丢数据质量,属于很会过日子的机器人系统。
长程智能体最怕的不是不会搜,而是搜了半天,最后谁也没记功。TRACE把这件事掰开揉碎,逐轮算账,适合想搞懂长程RL怎么训得更稳、更快的人。
函数调用最怕的不是答错,而是答错还直接执行,后果可能比胡说八道严重得多。本文第一次把“不确定性评估”系统搬到函数调用场景里,结果很反常识:复杂的多采样并没有天然赢过简单单采样,反而是“会挑 token”的改造更实用。
这篇论文最值钱的不是单点技巧,而是把电脑智能体最卡脖子的三件事一次打通:题不够、采样不准、训练太慢。清华团队把可验证任务合成、前沿采样和视觉上下文分割拼成一条流水线,直接把开源模型推到 68.7%。
LONGGE AI COMMUNITY
加入「龙哥读论文」知识星球,持续获取 AI 论文、资讯、开源项目、招聘与研究思路。
加入龙哥读论文微信群:添加微信 kangjinlonghelper,备注“研究方向 + 地点 + 学校/公司 + 昵称”。
微信扫码加入知识星球