← 返回 PaperDaily 大模型与智能体

CAD场景揭秘：可解码信息为何无法驱动LLM行为

本期亮点在于用参数化CAD约束当“探针”，把“可解码、可生成、可影响、可控制”四个层次拆开审计。结果相当扎心——大模型能线性解码几何约束，生成和应用却掉链子。想搞清楚“模型知道≠模型做到”的差距，这篇值得读。

龙哥读论文发布于 2026-08-22 00:20:14 阅读 3 查看原文

#大语言模型 #模型架构 #AI应用

原论文信息如下：

论文标题:
Encoded but Not Actionable: Auditing the Decode-Generate-Steer Gap in Frozen LLMs for Geometric Constraints

发表日期:
2026年08月

发表单位:
马里兰大学（University of Maryland）

原文链接:
https://arxiv.org/pdf/2608.17843v1.pdf

你身边有没有那种“理论知识满分、动手能力零分”的人？让他背牛顿三大定律，他能从第一页背到最后一页；让他修个台灯，他反手就把保险丝烧了。这种“知道但做不到”的尴尬，放在大模型身上其实一点也不稀奇。不过，马里兰大学的一篇最新论文，愣是把这种模糊的“感觉”变成了一场严谨的“解剖实验”——他们用参数化CAD（计算机辅助设计）里的几何约束作为试验场，对六个冻结的开源大模型进行了一次“四维体检”，结果相当扎心：模型内部明明存着几何约束信息，线性探针都能轻松读出来，但让模型自己开口生成时，它就像得了选择性失语症。

大模型“知道”几何约束，但为什么“做不到”？

先交代一下背景。参数化CAD是工业设计里非常常见的一种建模方式，它的核心思想是“用约束关系来驱动几何形状”。比如画一个矩形，你可以规定它的两条对边平行、相邻两条边垂直，再给定长和宽的数值，模型就会根据这些约束自动生成一个确定的矩形。这里的“平行”“垂直”“相切”“同心”等等，就叫做几何约束。

约束信息其实分两个层级。第一层是局部的成对关系，也就是两个几何元素之间到底属于哪种约束；第二层是草图的整体约束状态，也就是把所有约束都叠加起来之后，这个草图到底是欠约束、完全约束还是过约束——这个判定可以通过计算剩余自由度（Degrees of Freedom，即DOF）来完成。自由度为正表示欠约束，为零表示完全约束，为负则说明约束冗余、出现过约束。

近年来，越来越多的工作尝试用大语言模型（LLM）从自然语言指令直接生成CAD设计代码。这类系统在输出层画风很美——生成一个草图、修一个bug，看起来都能跑通。但问题在于：输出层面的成功，并不能证明模型内部真的“理解”了几何约束的结构。万一模型只是靠着输入中的某些表面线索在“瞎猫碰死耗子”呢？万一生成和修复其实是两套完全独立的机制呢？

这篇论文想干的，就是把这个“黑箱”打开一条缝，看看冻结大模型（frozen LLM，即参数不再更新、直接拿来推理的预训练模型）内部到底编码了哪些几何约束信息，以及这些编码的信息能不能真正转化为模型的行为。为此，他们提出了一套包含四个维度的审计框架（如图1所示）：

四维审计流程总览。仅含几何信息的草图被序列化后输入冻结LLM，其表征分别用于评估线性可解码性、强制选择生成、对激活恢复的敏感性以及基于引导的控制效果。

这四个维度分别是：线性可解码性（信息能不能用线性分类器从模型表征里读出来）、强制选择生成（模型自己能不能正确地输出这些约束）、激活级影响（恢复某个位置的激活能不能影响模型预测）以及行为可控制性（修改激活方向能不能稳定地把输出引导到目标类别）。这四层分别对应了“编码了”“能表达”“会影响”“可控制”四种不同强度的“理解”，把它们放在一起对照，才能看出信息到底卡在了哪个环节。

四维审计框架：从解码到控制的系统拆解

整套审计流程用到的数据来自SketchGraphs数据集（Seff等人于2020年发布），这是一个包含大量CAD草图及显式成对约束标注的公开数据集。论文从训练集中抽取了三类标签：

P1——局部成对关系：对草图中的每个有序实体对(i, j)分类，共八类——重合（Coincident）、平行（Parallel）、垂直（Perpendicular）、相切（Tangent）、相等（Equal）、中点（Midpoint）、同心（Concentric）以及无约束（NoConstraint）。水平（Horizontal）和竖直（Vertical）因为基本是一元约束，被排除在外。每个类别最多取1.5万对，构建平衡子集。

P2——草图级自由度状态：对整个草图的约束状态做三分类——欠约束（under-constrained）、完全约束（well-constrained）、过约束（over-constrained）。每个类别最多取1.2万个草图，最少500个。

被测试的模型包括Qwen2.5-0.5B、1.5B、3B、7B、Mistral-7B和Llama-3.1-8B共六个冻结的自回归解码器模型（decoder-only LLM）。这里有个很关键的设计：模型输入只包含几何实体的类型和数值参数（比如线段的端点坐标、圆的圆心和半径），所有约束标注（EdgeOp）都被剔除。也就是说，模型拿到的纯粹是“几何题面”，没有任何“答案提示”。

图5：SketchGraphs中的P1成对约束类别与P2结构化自由度标签示例。高亮实体表示P1中探测的实体对；EdgeOp标记在LLM输入中已被排除。

有了输入和标签，接下来就是具体的审计手段了。

线性解码（linear probing）：在模型的每一层，把每个实体对应的token隐藏状态做均值池化，得到一个实体级表征h_e。对于P1，把实体i和实体j的表征拼接起来，送进一个带l2正则的逻辑回归分类器；对于P2，把所有实体表征做平均池化，再送进三分类逻辑回归。如果逻辑回归能在这个表征上学出不错的分类精度，就说明该信息可以被线性解码。

论文还设置了多个对照基线来排除“表面线索”的干扰：一是同架构的随机初始化模型，用来排除架构先验；二是纯输入特征（不经过任何神经网络），用来排除输入本身自带的统计信号；三是洗牌标签（shuffled-label）控制，防止探针纯粹靠记忆；四是打乱实体顺序（shuffled-order）控制，检验模型是不是在偷看“位置捷径”。

强制选择生成（P3）：给模型一个模板“Constraint(Ei,Ej) = ...”，让它从与P1完全相同的八个类别中选一个“填空”。P3和P1共用同一批留出实体对、同一个标签空间、同一个宏F1指标，因此可以直接对比“读出来”和“说出来”的差距。

激活修补（activation patching）：在Qwen2.5-3B和Llama-3.1-8B上进行干预实验。先给实体i的输入嵌入加上高斯噪声，破坏模型对实体i的“记忆”，然后从某一层开始把干净状态下实体i的隐藏状态“接回去”，看在多少比例的样本上能恢复出正确的预测。恢复率越高，说明该层该位置的激活对输出越重要。

均值差引导（mean-difference steering）：计算某个类别的样本表征均值与全体均值之间的差异向量，把这个方向加到推理时的激活上（强度系数alpha从0.5到8），看能不能把输出稳定地“掰”到目标类别。

关键发现：解码与生成之间存在巨大鸿沟

先从整体结果看（表1）：六个模型的P1峰值宏F1都落在0.714到0.734之间，远高于随机基线0.125；P2峰值宏F1落在0.719到0.732之间。初看似乎“信息妥妥地编码在模型里了”，但把对照组拉出来一对比，就发现了问题的不对称性。

表1：各模型的探针性能。P1列和P1层数/总层数报告的是每个检查点自身的P1峰值。†P2在对应预训练模型的P1峰值层ℓ*处评估。DI在预训练ℓ*层评估全部四项训练与随机初始化项（式2）。净增益‡为打乱顺序后预训练P1宏F1减去随机初始化P1峰值。

表1：各模型的探针性能。P1列和P1层数/总层数报告的是每个检查点自身的P1峰值；P2在对应预训练模型的P1峰值层处评估；DI在该层评估全部四项项；净增益为打乱顺序后预训练P1宏F1减去随机初始化P1峰值。

局部约束（P1）确实靠预训练学到了东西。纯输入特征的P1宏F1只有0.359，随机初始化模型达到0.549到0.598，预训练模型则冲到0.714以上——预训练带来的增益在0.127到0.185之间。打乱实体顺序会让P1掉0.10到0.13，说明位置编码确实提供了不小的捷径；但即便打乱顺序之后，预训练模型仍然比随机初始化高出0.026到0.075。这说明P1里确实有一部分“真材实料”的几何关系被编码进了模型权重，而不是单纯靠输入顺序或者表面统计量。

图2的曲线把这个现象展示得很直白：P1的解码精度在早期层快速爬升，之后保持高位，形成一个很宽的“平台”。而随机初始化模型的曲线明显低一截。

图2：全部六个模型及对照组在相对深度维度上的P1宏F1曲线。橙色括号显示实体顺序打乱后的性能下降，绿色标记显示相对于随机初始化的剩余增益。

全局约束状态（P2）则完全是另一回事。随机初始化的P2宏F1已经达到0.679到0.691，预训练只把它提升到0.719到0.732，净增益只有0.037到0.048。换句话说，P2的大部分“解码能力”根本不需要预训练——随机权重本身的结构就足以从输入中统计出DOF状态。这也意味着，如果有人在P2上报告一个“0.72的探针精度”作为“模型理解了全局约束”的证据，那基本是在误导读者，因为裸奔的随机网络也能做到差不多。

为了量化这种“局部和全局在预训练收益上的不对称”，论文定义了一个分离指数（Dissociation Index，DI）。首先找到预训练模型P1宏F1达到峰值的层ℓ*：

公式1：ℓ* = argmax_ℓ F1_pre^P1(ℓ)，即预训练模型P1宏F1达到峰值时对应的层级。

公式1：ℓ* = argmax_ℓ F1_pre^{P1}(ℓ)。这是预训练模型P1宏F1达到峰值时对应的层级。

然后在这一层上计算预训练和随机初始化在P1和P2上的增益差：

公式2：DI = (F1_pre^P1(ℓ*) - F1_rand^P1(ℓ*)) - (F1_pre^P2(ℓ*) - F1_rand^P2(ℓ*))。其中pre表示预训练模型，rand表示同架构随机初始化模型。DI为正说明预训练对P1的贡献大于对P2的贡献。

公式2：DI = (F1_pre^{P1}(ℓ*) − F1_rand^{P1}(ℓ*)) − (F1_pre^{P2}(ℓ*) − F1_rand^{P2}(ℓ*))。pre表示预训练模型，rand表示同架构随机初始化模型。DI为正代表预训练对P1的贡献大于对P2的贡献。

结果是DI在全部六个模型上均为正，从0.106到0.167，且95%置信区间都不包含零。这意味着“预训练让局部解码显著变好，但对全局状态解码帮助有限”这一现象，是跨架构、跨规模稳定存在的。

不过，以上都只是“读心术”层面的发现。真正扎心的部分在P3——让模型自己生成约束标签。表2给出了P1探针和P3生成的对比：

表2：相同留出样本和八类标签集上P1探针与P3生成的宏F1对比（随机基线 = 0.125）。

六个模型的P3宏F1从0.025到0.259不等，和P1的差距高达0.460到0.700。Qwen2.5-7B是唯一一个表现稍好的模型（0.259），而Mistral-7B几乎完全崩溃——99.8%的预测都落在“重合（Coincident）”这一类上，形成了典型的单类坍缩。图3展示了各模型预测分布的差异：

图3：六个模型在P3上的预测类别分布。方框标记优势类别，虚线表示精确为零的类别。

论文还做了几个补充检验：给模型空白提示词，发现无内容提示下的类别先验分布和真实任务下的错误模式高度一致，说明模型的类别偏好部分来自先验偏差；在Qwen2.5-3B上做四样本上下文学习（four-shot），P3宏F1从0.081提升到0.138左右，但仍然比P1探针低0.576。也就是说，给几个示例能缓解一点症状，但远远治不了根。

激活修补与引导：干预为何失效？

解码和生成的巨大鸿沟，已经很让人头疼了。但论文没有止步于此，它进一步追问：这些可解码的信息，在模型内部到底有没有在实际运行中发挥作用？为了回答这个，研究者用破坏-恢复的干预范式做了激活修补实验。

具体来说：先给待探测实体i的输入嵌入加上高斯噪声把信息打乱，这时模型的预测肯定会被破坏；然后从某一层开始，把干净状态下实体i位置的真实隐藏状态“拼回去”。如果在某层拼回去之后，模型的正确预测恢复比例很高，就说明该层的这个位置确实承载了影响输出的因果信息。

结果非常微妙（图7）：在Qwen2.5-3B上，第4层的恢复率最高，达到0.781；Llama-3.1-8B也是第4层最高，达到0.876。但随着层数加深，恢复率急速衰减——Qwen2.5-3B到第16层就归零，Llama-3.1-8B到第12层归零。可是，这两条线上P1的可解码性并没有同步消失，反而一路延续到第21层（Qwen）和第14层（Llama）仍在峰值附近。

图7：Qwen2.5-3B和Llama-3.1-8B逐层的P1恢复率与解码能力曲线。标注了最强非平凡恢复层和各自的P1解码峰值层。阴影带为95%自助置信区间。

换句话说：激活恢复的“影响力”是早期且短暂的，而线性解码的“可读性”是持续且广泛的。存在这么一些层，信息明明还在表征里躺着（探针读得出来），但恢复该位置的激活已经不再影响预测。这说明深层网络在处理过程中把几何约束信息“挪”到了别的位置，或者改成了分布式存储，原本实体位置的痕迹变成了一张“过期的路线图”。

既然激活有影响，那能不能更进一步，用引导（steering）来控制模型？论文在第4层（恢复率最强的层）用均值差方向向量做引导，强度系数alpha从0.5一直加到8，结果让人有点无语：在两个模型上，无论P1还是P2，都没有出现任何一次目标类翻转。哪怕alpha加到8，Qwen2.5-3B上标签确实被改了不少（改变量约为随机方向的4倍），但改去的都是错误类别，压根没一个落到目标类上。Llama-3.1-8B更惨，它的标签改变量跟随机方向没有显著差异。

这其实并不意外。均值差方向只是表征空间里的一个粗略方向，而模型在做八分类决策时依赖的是多个特征维度的组合。单方向引导相当于只给你一扇门的钥匙，但这栋楼有八扇门，而且门锁结构还完全不一样。

对可解释性与CAD系统的双重启示

这篇论文的结论，对做可解释性研究的人是个温和但清晰的提醒：线性探针证明的是“信息可恢复”，而不是“信息被使用”。一种严格的做法是用激活修补来定位行为相关的因果路径，但这也不是万能钥匙——修补的结果只说明“改变这个位置的激活会影响预测”，并不代表可解码特征就是从这条路径传导过去的。引导失败更不等于“信息完全不参与决策”，只是说明你选的干预方向和干预强度不够。

对实际做CAD生成系统的工程师来说，这份“体检报告”的价值更直接：如果模型内部的可解码信息并不能保证生成正确性，那就不要指望大模型“顿悟”出几何规律。要在生产系统中拿到可靠的约束输出，还是得老老实实加显式验证回路——比如用求解器（solver）去检测约束是否一致、用规则去校验自由度状态、在生成之后做一轮结构化的自动修正。大模型可以作为前端生成器，但后端必须有一个“铁面无私”的检查者给它兜底。

另外，论文的P2结果也提供了一个值得警惕的“踩坑样本”：如果只用“探针精度”来说事，而不和随机初始化基线对比，很容易把架构本身的统计偏差误当成“预训练学到的知识”。这算是给所有做表征分析的人提了个醒——对照组不齐，结论等于零。

目前这项研究还主要基于SketchGraphs单一数据源，P2标签也用的是启发式自由度数统计而非求解器验证。跨数据集方面，论文在Fusion 360 Gallery上做了P1的交叉验证（见附录F），但该数据集没有匹配的三类P2标签。至于更广泛的几何语料、CAD原生模型（如Vitruvion），以及更精细的电路级分析，都是未来可以延伸的方向。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

这篇论文到底在解决什么问题？马里兰大学用参数化CAD约束作探针，对6个冻结大模型做四维审计：可解码、可生成、可影响、可控制。结果发现，线性可解码的几何约束信息在生成与干预中大面积失效，解码与生成F1差距最高达0.7。

这篇工作最值得看的点是什么？P1线性探测macro-F1达0.714-0.734，P3生成仅0.025-0.259，揭示解码-生成差距；激活修补显示早期层短暂影响，引导无法实现目标控制

这篇工作的边界或风险在哪里？优点：(1)提出系统性的四部分审计框架，区分编码失败与表达/控制失败；(2)设计了严格的对照组（随机初始化、shuffled-order、纯输入基线）；(3)跨6个模型、3个模型家族验证结论稳健性。缺点：(1)仅使用几何输入，未测试含约束标注输入；(2)P2标签为启发式DOF计算，非求解器验证；(3)干预实验仅覆盖2个backbone；(4)未进行电路级分析定位具体机制。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★☆

提出一个四部分审计框架（线性可解码性、强制选择生成、激活级影响、行为可控性），系统性地分离冻结LLM中几何约束信息的编码与可操作性。

实验合理度：★★★★☆

macro-F1、选择性（selectivity）、解离指数（DI）、恢复率（restoration rate）、翻转率（flip-to-target rate）

学术研究价值：★★★★☆

提出一个四部分审计框架（线性可解码性、强制选择生成、激活级影响、行为可控性），系统性地分离冻结LLM中几何约束信息的编码与可操作性；更关键的是问题定义是否可复用到同类任务。

稳定性：★★★☆☆

现有材料未提供充分的极端条件、重复运行或扰动测试，稳定性暂按中性评价。

适应性以及泛化能力：★★★☆☆

现有材料未完整展示跨数据集、跨场景或分布外实验，泛化能力仍需进一步验证。

硬件需求及成本：★★★☆☆

不适用（推理阶段，未报告具体FLOPs）

复现难度：★★★☆☆

现有材料未确认完整代码、配置、数据处理脚本和权重是否齐备，复现难度暂按中性评价。

产品化成熟度：★★★☆☆

论文验证以研究实验为主，真实部署中的时延、成本、维护和异常场景仍需补充验证。

可能的问题：与表达/控制失败；(2)设计了严格的对照组（随机初始化、shuffled-order、纯输入基线）；(3)跨6个模型、3个模型家族验证结论稳健性。缺点：(1)仅使用几何输入，未测试含约束标注输入；(2)P2标签为启发式DOF计算，非求解器验证；(3)干预实验仅覆盖2个backbone；

主要参考文献

[1] Seff A, Zhou Y, Dami Y, et al. SketchGraphs: A Large-Scale Dataset for Modeling Relational Geometry in Computer-Aided Design[C]. ICML 2020.

[2] Willis K D D, Pu Y, Luo J, et al. Fusion 360 Gallery: A Dataset and Environment for Programmatic CAD Construction Reconstruction from Point Clouds[J]. arXiv preprint arXiv:2010.02392, 2021.

[3] Alain G, Bengio Y. Understanding Intermediate Layers Using Linear Classifier Probes[J]. arXiv preprint arXiv:1610.01644, 2017.

[4] Hewitt J, Liang P. Designing and Interpreting Probes with Control Tasks[C]. EMNLP 2019.

[5] Meng K, Bau D, Andonian A, et al. Locating and Editing Factual Associations in GPT[C]. NeurIPS 2022.

[6] Park K, Choe Y J, Veitch V. The Linear Representation Hypothesis and the Geometry of Large Language Models[C]. ICML 2024.

[7] Khan M S, Skruch P, et al. Text2CAD: Generating Sequential CAD Designs from Beginner-to-Expert-Level Text Prompts[J]. arXiv preprint arXiv:2409.17106, 2024.

*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！

解码容易，行动难；模型“知道”不等于“做得到”。想一起聊聊LLM可解释性、几何推理和CAD落地的朋友，扫描下方二维码或者添加龙哥助手微信号加群：kangjinlonghelper。一定要备注：研究方向+地点+学校/公司+昵称（如大模型+上海+清华+龙哥），根据格式备注，可更快被通过且邀请进群。
『龙哥读论文』微信群目前包含：图像处理、大模型及智能体、自动驾驶及机器人、AI医疗及AI金融5个群，欢迎对号入座～
wechat_helper