LLM一致就一定对吗?265000次审计打脸
这篇论文最狠的地方,是把“模型自己都这么说了,应该八九不离十吧”这套直觉狠狠干翻了。265000次采样审计显示,自洽性确实有用,但远没有想象中可靠,尤其在最会“装稳”的前沿模型上。
LONGGE AI RESEARCH DAILY
每天筛选值得关注的 AI 论文,用工程视角拆解方法、实验和真正的落地价值。
目前已发表 1811 篇文章
这篇论文最狠的地方,是把“模型自己都这么说了,应该八九不离十吧”这套直觉狠狠干翻了。265000次采样审计显示,自洽性确实有用,但远没有想象中可靠,尤其在最会“装稳”的前沿模型上。
前端仓库级代码生成最怕的不是“写不出来”,而是“写出来后把旧功能顺手搞坏”。这篇论文把设计知识、知识图谱和补丁式生成串成闭环,结果是更稳、更省 Token,也更像真正的工程开发。
LLM会调用工具,不代表它就会老老实实认账。EG-VAR最狠的地方,不是“又接了个工具”,而是把证据、形式化、内核检查绑死,能证才给VERIFIED,证不出来就ABSTAIN。TableBench、反事实压力测试、端到端形式化误差,这套结果够硬。
这篇论文最狠的地方,不是“答对了”,而是把“为什么答对”也一起钉死了。工具调用、逐源提升、Lean 4 内核三件套一上,LLM 的经验性胡说就不再是“看起来像对”,而是必须拿出可回放的证明。
这篇论文盯住了自动形式化里最容易“翻车”的一环:证明分解。不是一味堆算力,而是把测试时预算花在最值钱的地方,结果更准、也更省。
Apple Research这篇不是在比谁更会“聊天”,而是在逼智能体面对真实手机交互的硬骨头:用户会不会接受、何时插手、能不能跨应用干活。PARE把这件事做成了可评测、可复现的框架,结果也挺扎心:最强模型成功率也只有四成多。
这篇论文很对工程胃口:它不再把 KV cache 当成“模型内部小零件”,而是直接提升为分布式系统对象。结果也很硬,长上下文、多智能体、分支推理这些最烧钱的场景,TTFT、内存和吞吐都被明显改写。
这篇论文最有意思的地方,不是把机器人“说得更像人”,而是先承认一件很现实的事:顾客很多时候根本没开口,机器人却已经该接话了。15.3%的回应由无声动作触发,这个数字很扎眼,也很适合拿来反思纯语音对话系统的盲区。
这篇论文把“蒸馏”从一次性教学,改成了连续换老师的长期训练。更有意思的是,外部数据既能帮学生学到新东西,也可能顺手把旧知识冲掉,SE2D就是专门来收拾这个烂摊子的。
这篇论文把一个很现实的问题挑明了:多模态大模型不是不会说细节,而是细节一多就更容易“翻车”。GRANFACT、层级评测和RP-DPO三件套,正好把“说得更细”和“说得更准”这对老冤家拎到台面上狠狠干一架。
这篇论文不玩虚的,直接拿 DeepSeek-R1 教 Qwen2.5-7B 做数学题,结果不是“玄学提升”,而是能稳定涨分,还顺手把“推理长度一缩水,准确率就掉”这件事讲明白了。对想做小模型蒸馏、数学推理和本地部署的人,都挺有参考价值。
Transformer 一直把“记忆”和“预测”塞进同一条链路里,像让一个人一边背台词一边写剧本。康奈尔这篇论文直接把两件事拆开,结果是更低损失、更好泛化,而且推理几乎不涨成本,思路很硬。
LONGGE AI COMMUNITY
加入「龙哥读论文」知识星球,持续获取 AI 论文、资讯、开源项目、招聘与研究思路。
加入龙哥读论文微信群:添加微信 kangjinlonghelper,备注“研究方向 + 地点 + 学校/公司 + 昵称”。
微信扫码加入知识星球