← 返回 PaperDaily
大模型与智能体
Cohere与LG CNS新作：111B模型只改三步，韩英智能体更会推理还省显存
这篇论文最有意思的地方，不是把模型从头再训一遍，而是拿一个已经后训练好的111B多语模型，靠三步适配把“会说话”升级成“会办事”。更关键的是，它把韩语回答、英语推理、工具调用和单卡部署这几件原本互相打架的事，硬是捏到了一起。
龙哥读论文
发布于 2026-08-16 11:00:47
阅读 3
查看原文
🐉 龙哥读论文知识星球来了！ 公众号每日8篇拆解不够看？星球 无上限更AI领域论文、资讯、招聘、招博、开源代码， 一站式干货，每日2分钟刷完即赚！ 👇扫码加入「龙哥读论文」知识星球，前沿干货、实用资源一站式拿捏～
龙哥推荐理由：
原论文信息如下：
先说结论：这篇论文最“狠”的地方，不是又造了一个更大的模型，而是把一个已经训练好的千亿级多语模型，改造成了会推理、会调用工具、还尽量只用韩语回答
问题其实很现实：企业里的智能体不是只会聊天就行，它还得查数据库、读文档、跑函数、算数学题，最后把结果稳稳地交回给用户。更麻烦的是，用户可能说韩语，后台资料却是英语，推理过程还常常更适合用英语来做。于是这篇论文干脆把问题拆开：脑子用英语想，嘴巴用韩语答
韩英双语智能体的“脑体分离”术 这篇论文的核心思路，可以用一句大白话概括：把“思考语言”和“输出语言”解耦
这里的基础模型是 Command A
为了让同一个模型在不同场景下切换行为，论文采用了 preamble conditioning
三阶段流水线炼成LuckyStar 论文把适配过程拆成三步：混合监督微调（SFT） 可验证奖励强化学习（RLVR） 离线偏好对齐（DPO）
第一步 SFT，先教模型“该怎么做”。混合数据里大约 80% 是推理类样本，20% 保留普通指令跟随能力。推理样本覆盖数学、代码和工具调用；非推理样本则负责维持日常对话的简洁性。这里的逻辑很直白：底座本来就已经有不错的通用能力，真正缺的是面向工具任务的推理习惯
第二步 RLVR，开始“奖惩分明”。这里的 RLVR 是 Reinforcement Learning with Verifiable Rewards 可验证奖励强化学习
第三步 DPO，用来把 RLVR 带来的副作用压回去。DPO 是 Direct Preference Optimization 直接偏好优化
如何让模型“讲英语的逻辑，说韩语的答案”？ 这部分是论文最有意思、也最像工程现场的一段。研究者先发现一个很稳定的现象：同样是韩语提示，模型用英语推理往往比用韩语推理更强。论文给出的解释也不玄：英语推理数据更多、信号更稳定，模型更容易学到“怎么想”。于是，最省事但有效的方案就出现了——推理过程用英语，最终回答用韩语
这招看起来有点“分裂”，但其实非常工程化。企业场景最怕的不是模型不会想，而是它一边想一边把语言也想乱了。韩语用户不关心模型脑子里是不是英语，只关心最后答案是不是韩语、数字是不是对、格式是不是对。论文干脆承认现实：内部推理语言和外部展示语言可以不是一回事
为了验证这件事，论文在早期 SFT 中比较了韩语推理和英语推理的效果。结果很直接：英语推理在 AIME 2024 和 MATH 500 上都明显更好。这里不需要把所有数字背下来，读者只要记住一个结论就够了：推理语言选得不对，模型可能白长这么大
不过，直接翻译推理链条并没有带来理想提升。论文试过把一部分英语推理轨迹机器翻成韩语，结果改善不明显。这个现象其实很合理：推理链条不是普通句子，它带着中间状态、格式约束和任务提示，硬翻往往会把“思考纹理”也翻丢。于是论文选择了更朴素也更稳的路线：保留英语推理，专门训练韩语最终答案
从零开始的冷启动与语言漂移攻坚战 真正难的地方，其实是工具调用任务。论文选了 NL2SQL 这个场景来做代表，也就是把自然语言问题转成 SQL。这个任务很适合做智能体训练，因为 SQL 执行结果可以直接验证，奖励信号比“你觉得这个答案像不像对的”要靠谱得多。
但问题也很现实：基础模型在这个 curated NL2SQL 集上，起点准确率低得离谱，几乎没有足够的正确轨迹可以直接拿来做 RL。也就是说，模型连“试卷上的第一道题”都不会，后面的强化学习就没法正常开工。这就是典型的冷启动
论文的解法不是硬上 RL，而是先用 best-of-N 方式做拒绝采样，先把一批能跑通、能验证的 SQL 样本捞出来，塞进 SFT 里把模型“扶上马”。这里的思路很朴素：先让模型会做一点，再让奖励机制逼它做得更好
更麻烦的是语言漂移。RLVR 开始后，模型经常为了追求正确性，最后答案又偷偷切回英语。论文专门加了一个语言一致性惩罚项，明确要求韩语提示下的最终回答也得是韩语。这个设计很关键，因为它说明：正确性和语言一致性不是天然一致的
还有一个很工程化但很重要的小细节：超过 32k token 的长输出不会简单记零分，而是从训练批次里过滤掉。这个处理挺聪明，因为长推理不一定是坏事，复杂任务本来就可能需要长链条；如果把“长”直接惩罚掉，模型很可能学会早早收手，变成一个“急着交卷”的学生。论文在这里没有装作自己能一把解决所有长推理问题，而是尽量避免训练信号把模型带歪。
4-bit量化，让千亿参数模型飞入寻常GPU家 如果说前面是在解决“会不会做”，那这一段就是在解决“能不能部署”。111B 级别的模型，光听参数量就知道不便宜。企业场景里，推理成本、显存占用、吞吐和延迟，往往比榜单分数更先决定一个模型能不能上生产。论文因此做了一个很务实的动作：把 FP8 权重进一步量化到 4-bit
这里的意思不复杂：模型参数还是那个模型参数，但每个参数占的比特数更少了，显存压力就下来了。论文声称这样能把 111B 模型压到单张 80GB H100 上运行。对企业来说，这比“模型很强”更实际，因为很多团队不是没有想法，是没有那么多卡。
从结果看，4-bit 版本并没有把模型“压残”。论文展示的多个基准上，量化后模型与原版差距很小，说明这次压缩更像是把冗余搬走，而不是把能力砍掉
这类结果之所以可信，关键在于论文没有只盯着一个榜单。它同时看了数学、函数调用、NL2SQL、韩英通用能力和量化后的表现，形成了一条比较完整的证据链：会推理，不代表会部署；能部署，不代表还能保持通用能力
实验结果分析 这篇论文的实验设计，整体是比较工程友好的。它没有把所有希望都押在公开榜单上，而是把公开基准和内部企业场景一起看，这样更贴近真实部署。尤其是 NL2SQL 和 LG Agentic Evaluation 这种任务，明显更像企业里真会遇到的活：查库、算数、按格式输出、别乱说。公开榜单能说明“模型聪明”，但这种内部任务更能说明“模型能不能干活”。
结果提升比较明显，尤其是从底座到适配后的跃迁，说明三阶段流水线确实不是摆设。SFT 先补齐可验证样本稀缺的问题，RLVR 再把正确性往上推，DPO 最后把过度冗长拉回来。这个顺序很合理：先学会，再学准，最后学会克制
语言漂移这件事也很有代表性。很多多语模型一做推理就会往英语靠，这不是偶然，而是训练分布和 tokenizer 习惯共同作用的结果。论文没有假装“语言无关”，而是直接加语言一致性奖励，把问题显式写进优化目标。这个处理很像老练的工程师：不幻想把 bug 消灭，只想把 bug 关进笼子里。
量化实验也比较有说服力，因为它没有只看单点指标，而是同时观察推理和通用能力是否一起掉。4-bit 版本能保住大部分分数，说明这个模型在权重冗余和部署效率之间还有不错的压缩空间。对企业来说，这类结果的价值很直接：不是所有 111B 都必须跑在一堆卡上
总结与未来展望 这篇论文给出的答案其实很朴素：做多语智能体，不一定非要让模型在所有语言里都“同等思考”。在企业落地里，更重要的是把推理、语言、工具、部署
不过，这篇工作也留下了一个明显方向：它在很多韩语任务上仍然依赖英语推理。短期看，这很实用；长期看，native Korean reasoning 还是值得继续做。毕竟如果一个韩语企业助手每次都要先在脑子里切到英语，再切回来，虽然能用，但总像穿着西装去跑步——姿势对了，多少还是别扭。
另外，内部评测虽然很贴近业务，但可复现性天然受限。公开 benchmark 给了可比性，内部任务给了真实性，两者最好一起看。未来如果能补上更完整的 serving 延迟、吞吐、能耗和多轮工具链稳定性数据，这套方案的工程说服力还会更强。
龙迷三问 这篇论文到底解决了什么问题？
RLVR 和 DPO 分别在干什么？
为什么强调英语推理、韩语回答？
如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~
龙哥点评 论文创新性分数： ★★★★☆。创新不在“造新架构”，而在把多语推理、工具调用、语言一致性和部署压缩拼成了一套能落地的流程。
实验合理度： ★★★★☆。公开基准、内部工具任务、语言漂移分析和量化验证都比较完整，证据链比很多只刷单榜的工作扎实。
学术研究价值： ★★★★☆。对多语智能体、可验证强化学习和企业部署都有参考价值，尤其适合研究“怎么把模型变成系统”。
稳定性： ★★★☆☆。方向是稳的，但仍依赖英语推理，说明语言层面的彻底鲁棒性还没完全解决。
适应性以及泛化能力： ★★★☆☆。对韩英企业场景很有针对性，换到别的语言或更复杂工具链，仍需要重新验证。
硬件需求及成本： ★★★☆☆。4-bit 量化已经把门槛降了不少，但 111B 体量摆在那儿，单卡能跑不等于轻量级。
复现难度： ★★☆☆☆。方法框架清楚，但内部数据、企业评测和部分训练细节不完全公开，复现会有门槛。
产品化成熟度： ★★★★☆。面向企业助手的思路很成熟，尤其适合受显存约束、又需要工具调用的场景，但上线前仍要补延迟和稳定性评估。
可能的问题： 英语推理依赖仍重，内部评测公开性有限，量化后的真实服务性能还缺更细的延迟与吞吐数据。
主要参考文献
Cohere Team. Command A: An enterprise-ready large language model. arXiv preprint arXiv:2504.00698, 2025. Rafailov, R., Sharma, A., Mitchell, E., Manning, C. D., Ermon, S., and Finn, C. Direct preference optimization: Your language model is secretly a reward model. NeurIPS, 2023. Ahmadian, A. et al. Back to basics: Revisiting REINFORCE style optimization for learning from human feedback in LLMs. arXiv preprint arXiv:2402.14740, 2024. Patil, S. G. et al. The Berkeley Function Calling Leaderboard (BFCL): From tool use to agentic evaluation of large language models. ICML, 2025. *本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～ 想了解更多原文细节的小伙伴，可以点击 "阅读原文"， 查看更多原论文细节哦！
欢迎加入龙哥读论文粉丝群，
扫描下方二维码或者添加龙哥助手微信号加群 ：kangjinlonghelper。
一定要备注：研究方向+地点+学校/公司+昵称（如 图像处理+上海+清华+龙哥） ，根据格式备注，可更快被通过且邀请进群。
『龙哥读论文』微信群目前包含：图像处理、大模型及智能体、自动驾驶及机器人、AI医疗及AI金融5个群
