阿里USB基准发布：5274条真实购物轨迹，支持多轮强化学习
电商推荐系统想离线做策略评估，最缺的就是一个“真实买家”。阿里和人大等团队提出的RecVerse，让模型真的去看截图“逛街”，还配了套三层记忆和轨迹级奖励，模拟出来的购物行为既像真人一样会犹豫比较，又能买到用户真想买的东西，顺手开源了5千多条真实轨迹的交互式基准。做推荐、做用户增长的同学值得一读。
标签：大语言模型
共 340 篇
数字比大小难倒一片大模型，NAACL基准揭示“数盲”真相
数学解题能力强，不代表真的“懂数字”。这篇NAACL论文把数值能力当成自然语言推理任务来测，一口气跑了49个模型，结果发现数学专用大模型只在算术上占优，数字比较和归一化反而拉胯，值得每一位关注LLM推理能力的读者看看。
AI只会输出不懂过程？七个特征看穿真假智能
先问大家一个问题：如果你是一个放射科医生，看到一张腹部CT片子，有人问你“肝脏在脾脏的左边还是右边？”，你会怎么回答？
大模型零遗忘新范式Brainstacks：医疗提问97%路由到数学堆栈
这篇论文最有冲击力的地方，不是零遗忘的堆栈设计本身，而是那个反常识的发现：医疗提示在97%的情况下会路由到聊天+数学堆栈——它们训练时根本没见过医疗数据。这说明微调注入的是可迁移的认知原语，而不是领域知识。思考方式被当作"能力"打包，这件事值得所有做微调的人停下来想想。
告别“绕路成功”！厦大&南洋理工PlanPO：多轮智能体强化学习效率暴涨27.2%
继8月推过单次采样SAPO之后，强化学习训练多轮智能体又有新活。这次厦大和南洋理工的合作工作，只靠“成功轨迹的长度”这一个几乎零成本的信号，就把GRPO平均拔高27.2%，还顺带解决了成功轨迹之间的“优势坍缩”难题，值得一读。
上海交大浙大开源OdinEval：冷门语言修复实测，Kimi-K3成功率仅66.7%
大模型修代码的评测大多扎堆Java和Python，冷门系统编程语言几乎没人管。上海交大、浙大这篇OdinEval把目光瞄向Odin语言，用168个真实issue把6个大模型拉出来遛了一圈，还给出了一套可复现性拉满的评测协议。想看看Kimi-K3、GLM-5.2这些模型在陌生语言面前谁更能打，这篇必读。
汤森路透新基准：GPT-5.5审合同召回率仅75%？
想象一下这个场景：一笔并购交易历经数月谈判，终于在截止日前夜敲定了最终条款。此时，一位律师揉着布满血丝的眼睛，逐行核对一份几百页的合同——不是在看条款对不对，而是在找"错别字"级别的硬伤：某个大写术语在这里为什么没大写？
东南大学GraphLoom：只训160万参数，多模态RAG三大基准全面效果亮眼
多模态RAG最让人头疼的不是"找不到证据"，而是"证据太多太吵"。东南大学这篇GraphLoom把Llama-3.1-8B冻住，只训练160万参数，用可靠性校准的证据路由在三大多模态问答基准上全面超强基线，还把幻觉率压到10.5%。
8358篇阿尔巴尼亚新闻实测：本地LLM也能精准追踪媒体语气
低资源语言的NLP工具一直是老大难，这篇来自地拉那大学的论文直接用本地Gemma 4搭了一条媒体偏见分析流水线，在8358篇阿尔巴尼亚语新闻上把人物实体召回率做到70.3%。更妙的是提示词对比实验：严格校验虽然消灭了标签不一致，但覆盖率几乎腰斩。看完只想说，工程里没有万能的prompt，只有合适的取舍。
让AI学会货比三家？普林斯顿这个基准至今无人超越
这篇被引1300+次的开创性工作，来自普林斯顿大学。WebShop用118万件真实商品和1.2万条人工指令，把“语言智能体”的评测从玩具级任务搬进接近真实的电商场景——AI要自己读懂需求、搜索商品、挑选项、下单。更难得的是，训练好的智能体能零样本迁移到真实Amazon和eBay，是语言grounding方向绕不开的经典基准。
浙大开源24小时心电基准：GPT-5也翻车，微调后准确率99.7%
24小时动态心电（Holter）是诊断心律失常的金标准，但多模态大模型在超长时序信号面前几乎“失灵”。浙大等团队开源Holtercare-Bench基准与Holtercare-23K数据集，用信号-视频-文本三模态对齐，让GPT-5、Qwen3-VL等模型首次系统性接受“心电马拉松”考验——微调后时序定位准确率飙到99.7%，差距比想象中更大。
汤森路透最新基准：10个法律大模型最高仅0.46分
想象一个场景：你打算从一家创业公司跳槽去竞争对手那里，拿起手机问AI：“公司能强制执行我的竞业限制协议吗？”它几乎秒回：“竞业限制协议在合理范围内一般可执行，但需结合具体条款判断。
