← 返回 PaperDaily
大模型与智能体
从3%到91%：Aalto让LLM学会修系统模型
这篇论文不跟语法错误死磕，而是专门盯住“看起来没毛病、其实物理上不对劲”的语义Bug。Aalto University用知识图谱给小模型喂规则，还让它输出补丁而不是整段重写，工程师看一眼就能决定要不要采纳。
龙哥读论文
阅读 3
查看原文
🐉 龙哥读论文知识星球来了！公众号每日8篇拆解不够看？星球无上限更AI领域论文、资讯、招聘、招博、开源代码，一站式干货，每日2分钟刷完即赚！👇扫码加入「龙哥读论文」知识星球，前沿干货、实用资源一站式拿捏～
龙哥导读：
这篇论文不跟语法错误死磕，而是专门盯住“看起来没毛病、其实物理上不对劲”的语义Bug。Aalto University用知识图谱给小模型喂规则，还让它输出补丁而不是整段重写，工程师看一眼就能决定要不要采纳。
原论文信息如下：
如果说传统的模型验证像“查语法作业”，那这篇论文干的事就更像“抓物理常识小偷”——代码写得规规矩矩，编译器也点头放行，但系统关系早就悄悄拧巴了。比如机械口接到了电气口，质量单位却配了个力单位，表面看着没毛病，实际上工程师的眉头已经开始打结。
Aalto University 这篇工作把 SysML v2 的故障定位问题，改造成了一个“人机协同”的修复任务：小模型负责找问题、给补丁，工程师负责拍板。核心思路并不玄学，反而很务实：先用知识图谱把工程规则写清楚，再用这些规则合成训练数据，最后让模型输出 unified diff 这种“局部补丁”，而不是把整段模型重写一遍。这样一来，模型不需要装作全知全能，工程师也不会被一大坨重写代码淹没。
AI修复系统设计不再靠猜？这篇论文让LLM学会定位语义Bug
先把背景捋顺。MBSE 是 Model-Based Systems Engineering，中文叫“基于模型的系统工程”。它的目标不是让工程师在文档海里游泳，而是把系统的结构、行为、约束都放进一个统一模型里，后续设计、仿真、验证都围着这个模型转。SysML v2 则是这个世界里的“新一代建模语言”，既有文本语法，也有图形表示，编译器能帮忙抓语法错，但它抓不到那种更阴险的错误：语法对了，物理关系错了。
论文把这类问题分成两种：一种是编译器一眼能看穿的语法错误，另一种是更麻烦的语义错误。前者像错别字，后者像“把水管接到电线上”——字面上可能还挺像那么回事，工程上却完全不行。论文的高明之处就在于：它不再让大模型胡猜“哪里坏了”，而是把知识图谱和数据合成拉进来，让模型学会按工程规则定位问题。
这篇论文的主线其实很清楚：先承认一个现实——SysML v2 的高质量训练数据太少；再承认第二个现实——单靠编译器只能抓语法，抓不到工程常识；最后给出一个折中但很实用的方案：用知识图谱补常识，用合成数据补样本，用小模型做局部修复。
*表格超出部分左右可以滑动
| 项目 | 内容 |
| 应用场景 | SysML v2 系统模型的语法与语义故障定位、修复建议生成 |
| 问题建模 | 给定有缺陷的SysML v2代码及错误信号，输出错误状态与修复补丁 |
| 模型Backbone及选择原因 | Qwen-2.5 Coder 1.5B Instruct、DeepSeek Coder 6.7B Instruct；都偏代码建模，适合结构化修复任务 |
| 损失函数 | 自回归token级监督学习损失，配合teacher forcing |
| 训练数据集 | 8301条样本：5497语法错误、1402语义错误、1402正确样本 |
| 测试数据集 | 1145条，来自与训练集严格隔离的划分 |
| 训练方法 | LoRA微调，3个epoch，早停；输入包含错误代码与规则信号 |
| 实验效果 | 语义修复从不到3%提升到91%以上；补丁输出比全代码重写更短 |
| 方法优势 | 能定位语义Bug，输出可审阅补丁，适合人机协同流程 |
| 方法缺点 | 补丁生成比直接重写更难，精度略低；依赖知识图谱覆盖范围 |
从工程视角看，这个设定特别像“给模型配了一位懂行的监工”。模型不是凭空改代码，而是先知道自己错在哪一类：是编译级错误，还是物理语义错误。尤其对于后者，知识图谱提供的不是花里胡哨的语义向量，而是很朴素也很有效的规则，比如“某种端口只能连某种端口”“某类物理量只能配某类单位”。这类规则一旦写清楚，模型就不必靠运气猜。
SysML v2 数据少，这是老问题。论文没有硬着头皮去“等数据自己长出来”，而是用了一套很典型的工程化办法：先找一批真实可用的正确样本，再围绕这些样本做可控扰动，把它们变成故障样本。这里的关键不是“随机搞坏”，而是“按规则搞坏”。这样生成的错误才像真问题，而不是模型训练时的噪声垃圾。
论文里的知识图谱也分得很清楚。一个是车辆领域知识图谱，把机械、电气、流体、信号这些接口关系写成约束；另一个是物理量知识图谱，把国际量纲类型和合法单位对应起来。前者防“乱接线”，后者防“乱配单位”。这俩一搭，语义错误就没那么容易躲过去了。
数据合成的过程也挺像“定向造题”。语法错误部分，论文用12种启发式变异去破坏有效模型，比如删分号、改导入、打乱括号、翻转可见性、复制特征、单位错配等等；语义错误部分，则用知识图谱约束去制造“看起来合法但物理上不成立”的连接或单位错误。最终得到的8301条数据里，语法错误占了大头，语义错误虽然少，但正是这部分决定了模型到底是不是只会做表面功夫。
从<3%到91%，微调小模型在语义错误修复中的巨大潜力
实验最有看头的地方，在于它把“微调到底有没有用”这件事讲得很硬。没微调时，小模型面对语义错误几乎是盲人摸象：基线准确率低得离谱，语义修复甚至不到3%。一旦做了监督微调，情况立刻变脸，语义修复直接冲到91%以上。这个跨度说明什么？说明模型不是不会修，而是之前根本没学过这门“工程常识课”。
这里还有一个很值得注意的现象：模型越大，表现通常越好，但不是“越大越无敌”。论文选的是偏代码能力的coder模型，这本身就比通用聊天模型更适合这类任务。换句话说，修SysML v2 不是考口才，是考结构感。懂代码结构的模型，起点就更高。
再看一个更工程化的点：论文没有要求模型输出“整段修好后的代码”，而是输出补丁。这个选择很聪明，因为工程师真正关心的通常不是“你重写了多少”，而是“你改了哪儿、为什么改、能不能接受”。所以模型只要把局部修复说清楚，就已经够用了。补丁式输出把人类审阅成本压下来了，也让模型不必在长代码里迷路。
论文还给了一个很典型的语义错误例子：模型输入本来语法是对的，但某个属性的物理类型错了，像是把质量量纲写成了力量纲。模型生成的补丁能把错误字段定位出来，并替换成正确类型。这个例子最能说明问题：它不是在“猜答案”，而是在“按规则修错”。
论文在这里没有假装“鱼与熊掌可以兼得”。结果很诚实：补丁输出更省 token，但准确率通常略低于全代码重写。这很正常，因为补丁生成要求模型同时满足两件事：既要知道哪里错了，又要知道怎么用规范格式表达修改。相比之下，全代码重写虽然更“放飞”，但有时反而更容易做对，因为它不需要精确对齐局部上下文。
从输出长度上看，补丁模型明显更短，平均 token 数比全代码重写模型少了一大截。这个优势在工程系统里非常现实：输出越短，推理越快，审阅越轻，集成也越方便。换句话说，补丁不是“偷懒”，而是把模型输出从“写作文”改成“做外科手术”。
当然，补丁路线也有代价。它对格式控制、上下文定位和局部一致性的要求更高，稍微一飘就容易出现“改对了意思，改错了位置”的尴尬。论文之所以还坚持这个方向，是因为在真实工程里，可审阅性 往往比“全自动一把梭”更重要。毕竟系统工程不是刷题，没人愿意把整车模型交给一个只会大段重写的黑箱。
这套方法已经很像能上工位的雏形了，但离工业级“稳稳当当”还有几道坎。第一，知识图谱目前主要覆盖车辆系统域，换到别的工程域，规则需要重建；第二，语义错误的种类还不够全，尤其是更复杂的跨子系统约束，样本依然稀缺；第三，输出虽然能修，但最终还是要工程师确认，说明它更适合做智能助手，而不是“自动裁判”。
不过，这些局限并不减分，反而说明路线是对的。工业场景最怕的是“看起来很聪明，实际上到处漏气”。这篇论文的做法恰恰相反：它不追求把模型变成万能神童，而是把模型放在一个可控、可解释、可复核的流程里。未来如果能把知识图谱扩展到更多行业，再结合更丰富的真实故障库，这类框架很可能会成为MBSE工具链里的标配模块。到那时，模型不只是会画图、写代码，还能像个靠谱的助手一样提醒：“这条线，接错了。”
龙迷三问
这篇论文到底解决了什么问题？它解决的是SysML v2里“语法没错、语义却错”的故障定位问题。编译器能抓语法，抓不到工程物理常识；这篇论文让小模型借助知识图谱，去发现并修复这类隐蔽错误。
知识图谱在这里具体干了什么？它一边负责合成训练数据，一边负责推理时提供领域规则。简单说，就是先告诉模型“什么样的错是工程上不成立的”，再让模型学会按这个标准找问题。
为什么要输出补丁，而不是直接输出完整修复代码？因为补丁更适合人机协同：修改范围更小、审阅更快、回滚更方便。代价是生成难度更高，所以准确率会比全代码重写略低一点，但工程落地性更强。
如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~
龙哥点评
论文创新性分数：★★★★☆ 不是炫技型创新，但把知识图谱、数据合成、补丁输出和人机协同串成一条闭环，思路很完整，也很实用。
实验合理度：★★★★☆ 数据划分、对照设置、输出形式比较都比较清楚，尤其是把“加规则”和“微调”分开看，能看出各自作用。
学术研究价值：★★★★☆ 对SysML v2和MBSE里的AI辅助验证很有启发，尤其是语义错误这条线，值得继续深挖。
稳定性：★★★☆☆ 作为人机协同助手是靠谱的，但知识图谱覆盖范围和补丁生成格式都还会影响稳定性。
适应性以及泛化能力：★★★☆☆ 在车辆系统域表现不错，但跨领域迁移还需要新的规则库和更多样本。
硬件需求及成本：★★★★☆ 用的是小模型和LoRA，训练成本不算高，推理输出也更短，比较友好。
复现难度：★★★☆☆ 数据合成和领域规则需要一定工程功底，虽然方法公开，但完整复现不是“点一下就完事”。
产品化成熟度：★★★☆☆ 适合嵌入MBSE工具链做辅助审阅，不适合直接替代工程师做最终判断。
可能的问题：规则图谱覆盖有限，语义错误类型还不够全；补丁输出虽实用，但对格式控制要求高，离真正工业级自动修复还有距离。
主要参考文献
Haitham Al-Shami, Jari Vepsäläinen, Rohail Malik, Raine Viitala. Automated Semantic Fault Localization in SysML v2: A Human-in-the-Loop Framework Using Knowledge-Graph Augmented LLMs. arXiv, 2026.
Systems Modeling Community. SysML v2 Pilot Implementation Repository, 2024.
Qwen-2.5 Coder 1.5B Instruct；DeepSeek Coder 6.7B Instruct（论文实验所用基座模型）。
*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～ 想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！
欢迎加入龙哥读论文粉丝群，
扫描下方二维码或者添加龙哥助手微信号加群：kangjinlonghelper。
一定要备注：研究方向+地点+学校/公司+昵称（如 图像处理+上海+清华+龙哥），根据格式备注，可更快被通过且邀请进群。
SysML v2、知识图谱、LLM、工程验证，这类硬核论文在群里最适合边拆边聊，少走弯路，多看门道。
