7B蒸馏干翻72B?这篇金融推理新方法有点狠
金融问答最怕什么?不是题难,是模型一本正经地把账算错。本文直接把“自然语言讲道理”换成“可执行程序讲道理”,再用执行验证筛掉假把式,7B学生竟然能把72B教师按在地上摩擦,思路很硬,结果也很硬。
LONGGE AI RESEARCH DAILY
每天筛选值得关注的 AI 论文,用工程视角拆解方法、实验和真正的落地价值。
目前已发表 1811 篇文章
金融问答最怕什么?不是题难,是模型一本正经地把账算错。本文直接把“自然语言讲道理”换成“可执行程序讲道理”,再用执行验证筛掉假把式,7B学生竟然能把72B教师按在地上摩擦,思路很硬,结果也很硬。
DeepSeek 这回不只是把模型跑快,而是把“怎么在边缘设备上少算、少搬、少耗电”拆成了三把硬核手术刀。MIPS、MBLM、DAPPM 三招一套打下来,才有了 28nm 上 109.4 TFLOPS/W 这个挺扎眼的数字。
无标签训练最怕什么?怕信号太稀,怕算力太贵。CANON偏偏把“多数投票”变成了每个token都能学的监督信号,结果是:更省算力,推理还更准。
这篇论文最有意思的地方,不是又造了一个“拟人化”词典,而是把AI伴侣的社交媒体讨论拆成了能落地分析的十类表达。Reddit和小红书的差异也很直接:一个更像叙事复盘,一个更像情绪直播,文化和平台习惯真的会把“AI像不像人”这件事带偏。
长上下文不是“塞得进去就行”,关键是得知道该学哪几段。Meta 这篇 S-TTT 直接把问题掰开:先让模型自己挑证据,再拿这些证据做测试时训练,随机乱抽的那套终于被按住了。
机器人采数据最怕“同一个坑反复踩”。PhysClaw-0把一次纠错变成后面都能复用的规则,省人力还不丢数据质量,属于很会过日子的机器人系统。
长程智能体最怕的不是不会搜,而是搜了半天,最后谁也没记功。TRACE把这件事掰开揉碎,逐轮算账,适合想搞懂长程RL怎么训得更稳、更快的人。
函数调用最怕的不是答错,而是答错还直接执行,后果可能比胡说八道严重得多。本文第一次把“不确定性评估”系统搬到函数调用场景里,结果很反常识:复杂的多采样并没有天然赢过简单单采样,反而是“会挑 token”的改造更实用。
这篇论文最值钱的不是单点技巧,而是把电脑智能体最卡脖子的三件事一次打通:题不够、采样不准、训练太慢。清华团队把可验证任务合成、前沿采样和视觉上下文分割拼成一条流水线,直接把开源模型推到 68.7%。
这篇论文最有意思的地方,不是又堆了一个“更强的LLM-AHD框架”,而是盯住了真正烧预算的那一步:先选哪个父代、用什么操作去生成。DGS把这一步变成可学习的决策,还用两个代理模型提前预判结果,思路很工程,也很像真正会省钱的系统。
这篇论文最有意思的地方,不是“翻译”本身,而是把古手稿识别、现代越南语生成和偏好对齐揉成一个端到端问题。PPO、DPO、KTO三种RLHF路线同台对决,结果也很诚实:DPO在多数翻译质量指标上最稳,PPO更偏覆盖,KTO则保留了自己的性价比。
Gemma 4最有意思的地方,不是单纯把参数做大,而是把“思考模式”、长上下文效率、无编码器多模态和量化推理一起打包了。开源模型里这种“性能、效率、部署”三线并进的做法,确实值得认真看。
LONGGE AI COMMUNITY
加入「龙哥读论文」知识星球,持续获取 AI 论文、资讯、开源项目、招聘与研究思路。
加入龙哥读论文微信群:添加微信 kangjinlonghelper,备注“研究方向 + 地点 + 学校/公司 + 昵称”。
微信扫码加入知识星球