← 返回 PaperDaily 大模型与智能体

印度团队出手：让AI Agent"不敢乱动"，F1 88.5%还能全员验证

给AI代理发工具权限就像借车给实习生——怕他乱开。Niyam-AI直接上密码学“行车记录仪+电子围栏”：每次工具调用都得先过轻量Judge模型，再生成零知识证明，F1 88.5%、误报率仅1.1%，关键是任何第三方都能在53毫秒内验证“安全检查真的发生了”。同类工作里把ZK证明用到agent工具调用验证上的，这是头一遭。

龙哥读论文发布于 2026-08-14 21:47:16 阅读 3 查看原文

#Agent #大语言模型 #人工智能 #模型架构

原论文信息如下：

论文标题:
NiyamAI - An Intent-Bound AI Agent with Cryptographically Verifiable Guardrails using Zero-Knowledge Proofs

发表日期:
2026年08月发表单位:
印度浦那Vishwakarma理工学院计算机工程系原文链接:
https://arxiv.org/pdf/2608.07167v1.pdf

给AI配工具权限，就像把车钥匙塞给刚拿驾照的实习生——快乐是油门，风险是刹车经常踩不住。最近Agent类应用越来越"能干"，发邮件、查数据库、调接口，全自动一条龙。可一旦被提示注入攻击得逞，原本乖巧的智能体可能瞬间"叛变"，把内部数据库翻个底朝天。更扎心的是，现有安全防线大多是"软件层自我约束"，攻击者就在同一台机器上等着，你凭什么证明"安全检查真的跑过、真的通过了"?Niyam-AI这篇论文给出的答案是：不靠"信誓旦旦"，靠"数学证明"。每次工具执行前生成一个零知识证明，任何第三方都能快速验证"这次检查确实发生并且通过了"。这套思路，直接把AI安全从"信任软件"拽到了"信任数学"的赛道上。

当AI Agent学会"撒谎"：提示注入攻击下的安全困境

图1 Niyam-AI的系统整体架构

先把背景讲清楚。大语言模型（Large Language Model，简称LLM）早已不满足于聊天，正逐步进化为能自主规划任务、调用外部工具、操作系统的智能体（Agent）。比如通过LangChain这类编排框架，AI可以自动选择工具、循环执行"推理–行动–观察"的步骤。听起来很酷，但问题也随之放大：一个被授予数据库权限的Agent，如果被恶意指令诱导执行删除操作，后果完全不可控。

当前Agent面临的主要攻击方式有三种。一是提示注入攻击（Prompt Injection），攻击者把恶意指令藏在用户输入、网页内容甚至邮件附件里，诱骗Agent执行未授权动作；二是幻觉驱动行为，模型一本正经地"脑补"出一个工具调用，导致安全边界被无意跨越；三是不安全的工具调用本身，比如执行了本该被禁止的shell命令或读取敏感文件。这些攻击面在普通聊天场景里可能只是"嘴上跑火车"，但在Agent能改系统状态的场景下，就是实打实的安全事故。

现有防护手段其实不少：系统提示词（system prompt）告诉模型"不要乱来"；输出过滤器检查生成结果；策略引擎在Agent和工具之间做拦截。这些都属于软件检查，它们共享同一个致命假设——平台本身是诚实可信的。可一旦主机被攻陷、服务器配置错误、或者攻击者直接绕过过滤器，安全机制就会变成摆设。更关键的是，事后没有任何记录能证明"安全检查当时确实运行过"。这种"软件信任"在密码学视角下，几乎等于裸奔。

一句话总结：传统守门人靠"发誓"，不靠"证据"。

从"信任软件"到"信任数学"：Niyam-AI的密码学防护新范式

Niyam-AI的核心理念可以概括成一句话：不承诺"我检查过了"，而是给出"检查发生且通过的数学证明"。整篇文章的方法论建立在三个层层递进的组件之上：Agent层、Guardrail层和Verification层。

Agent层负责与用户交互并产生工具调用意图，底层可以是开源大模型，例如Llama-3或Mistral；Guardrail层是安全中间件，拦截并校验动作；Verification层负责生成和验证零知识证明。当一个动作被拦截后，它不会直接进入系统执行，而是先被哈希、被Judge模型分类、被证明、再被验证，全部通过后才能落地。

这里有一个非常聪明的工程取舍：Niyam-AI证明的不是"整个几十亿参数大模型的推理过程正确"，而仅仅是"一个轻量级Judge模型做出了正确的安全判断"。前者在计算上几乎不可行，后者则把零知识机器学习（Zero-Knowledge Machine Learning，简称ZK-ML）从理论玩具变成了可运行的工程方案。

意图合约+ZK证明：如何让每次工具调用都"可验证"

这个部分是论文的精华，拆成三个机制来讲：意图绑定、拦截判断、证明验证。

机制一：意图绑定与密码学封存。在会话初始化时，系统把Agent允许调用的工具、数据访问范围、操作限制写成结构化JSON，称之为"意图合约"（Intent Contract）。这个合约不再依赖传统的提示词，因为它会被SHA-256（安全哈希算法，输出256位定长摘要）处理成一个不可变的IntentHash。会话期间的任何操作都必须对照这个哈希，一改合约，哈希即变，动作立刻被阻断。相比系统提示词可以被上下文窗口注入篡改，这套机制把权限写死在了密码学层面。

图2 生成不可变IntentHash的密码学封存机制

公式 H_I = SHA-256(I)：I为意图合约，H_I为256位哈希承诺，会话内固定不变。

机制二：拦截与判断。Agent产生一次工具调用后，系统拦截原始输出字符串，提取工具名称和参数，计算ActionHash，再与IntentHash拼成一个评估元组x，交给一个独立的轻量Judge模型。Judge输出1表示安全放行，输出0表示阻止并记入审计日志。这里的判断逻辑与模型的"主脑"完全隔离——即使大模型被恶意提示劫持，只要Judge说"不"，动作就执行不了。

图3 AI工具执行的拦截、哈希与评估流水线流程图

公式 H_a = SHA-256(a)：对动作a的密码学承诺。

公式 x = (H_I, H_a)：构成零知识证明的公共输入。

表1 Judge模型配置：主分类器用3000维TF-IDF加逻辑回归，ZK可证明模型则是一个11维输入的小型前馈网络。

机制三：零知识证明的生成与链下验证。如果Judge判定动作安全，系统不会直接放行，而是调用EZKL框架把导出为ONNX格式的Judge模型编译成零知识电路，再用Groth16证明系统生成一个zk-SNARK证明。这个证明可以向任何人公开验证，却不会泄露Judge模型权重。验证端既可以是本地程序，也可以是部署在以太坊Sepolia测试网上的Solidity智能合约，以此实现去中心化审计。

图4 基于EZKL的零知识机器学习底层流水线

公式 π ← Prove(pk,w,x)：π证明存在私密权重w使得J(x,w)=1。

公式 Verify：(vk,π,x) → {0,1}，验证者仅凭公开验证密钥判断证明合法性。

公式 Execute(a) ⇔ Verify(vk,π,x)=1：只有验证通过，工具动作才被允许执行。

图5 Agent、Judge与验证器之间的密码学握手与验证生命周期UML时序图

论文还给出了一个完整的协议算法：计算IntentHash、解析动作、计算ActionHash、拼接元组、Judge分类、生成证明、验证、执行或阻断，每一步都有严格的顺序和日志记录。在安全性证明上，论文提出了定理1：如果SHA-256具备抗碰撞性，且zk-SNARK满足知识可靠性，那么任何攻击者都无法让一个被Judge判定为不合规的动作获得合法执行许可。证明思路很直接——若攻击者想绕过，要么找到哈希碰撞，要么伪造零知识证明，两者在密码学假设下都不可行。

实测对比：F1 88.5%碾压三大主流防护方案

方法再惊艳，也得看实验结果靠不靠谱。论文使用了Agent-SafetyBench的2000条真实Agent场景作为测试集，对比对象包括Nvidia NeMo Guardrails、Meta Llama Prompt Guard 2和OpenAI GPT-OSS-Safeguard。需要特别说明的是，Niyam-AI的分类器采用5折分层交叉验证中的折外预测（out-of-fold predictions）进行评价，保证每个场景的预测结果从未见过该场景的训练数据，与三个基线模型的零样本条件对齐。

表4 Agent-SafetyBench（2000个场景）上的基线对比

结果非常亮眼。Niyam-AI的F1分数达到88.5%，假阳性率（False Positive Rate，简称FPR）只有1.1%；而最强基线Llama Prompt Guard 2的F1为66.8%，FPR是5.3%；NeMo Guardrails的F1仅为40.4%，FPR高达19.9%；GPT-OSS-Safeguard的F1为46.2%，FPR更是高达21.5%。也就是说，传统防护方案为了拦住不安全的动作，误杀了大量正常请求——每五次合法操作就有一次被拦下。Niyam-AI则精准得多，同时保持了极低的误拦率。

表2 分类结果的四种情形解释

论文没有停留在单次指标上，还做了两组统计学验证。一是用McNemar配对显著性检验，在387个不一致场景中Niyam-AI对NeMo赢了387输20，对Prompt Guard 2赢了112输13，对GPT-OSS-Safeguard赢了381输19，三种对比p值均小于0.0001——这个优势不太可能是随机波动。二是用自助法（Bootstrap）做了1000次重采样，F1的95%置信区间为85.19%到91.88%，说明结果稳定。

表7 与Niyam-AI配对的McNemar显著性检验

表6 非参数自助法方差边界（N=1000次重采样）

表8 按Agent-SafetyBench风险类别的准确率

在密码学性能方面，论文给出的核心数据是：证明生成约2.26秒，证明验证仅需53毫秒，证明体积18.71KB。需要说明的是，表格中的详细测试值显示证明生成时间为2160.4±510.6毫秒，与摘要中2260.6±218.4毫秒存在小幅差异，这属于不同实验轮次的环境波动。一次性设置成本大约4.3秒，包括生成SRS和密钥。考虑到这是一个运行在普通笔记本CPU上的原型系统，这个性能已经相当惊喜。证明生成虽然不便宜，但验证成本极低，非常适合"一次证明、多方验证"的场景。

表3 密码学证明性能结果

表5 流水线各环节的延迟与开销明细

论文还对比了与传统防护方案的概念差异（表9），并做了红队攻击测试（表10）。在加入Niyam-AI防护之前，针对Agent的恶意提示攻击成功率相当高；部署Niyam-AI后，攻击成功场景被大幅拦截，系统能够主动检测到被禁止的工具并发出安全告警。图6到图9展示了管理控制台、证明验证成功、禁用工具检测和审计日志的界面效果，整个流程具备完整的可观测性。

表9 Niyam-AI与传统护栏方案的对比

表10 红队攻击测试结果（修复前后对比）

图6 Niyam-AI受控执行控制台

图7 证明验证与成功执行过程

图8 禁用工具检测与安全告警

图9 Niyam-AI治理审计日志

局限与展望：2.26秒延迟背后的权衡

没有任何方案是银弹，Niyam-AI的代价也很明显。每次批准的调用都要额外付出2.26秒的证明生成延迟，这在需要高频低延迟工具调用的场景中难以接受。论文提出的思路是分级处理：低风险动作走快速软检查直接放行，只有高风险操作才触发完整的零知识证明流程。这个分级思路在企业级AI治理中非常合理——并非所有动作都需要最高安全等级，但关键动作必须可验证。

另一个需要注意的局限是实验设置的不对称性。论文自己也明确承认，Niyam-AI的Judge分类器在5折交叉验证中"见过"Agent-SafetyBench的整体场景分布和措辞习惯，而三个基线模型是真正意义上的零样本——它们从未接触过该基准的任何文本。因此，88.5%对66.8%的F1差距更适合理解为"领域适配分类器与通用零样本防护模型的对比"，而不是"Niyam-AI架构在所有未知分布上天然更优"。论文将独立语料库上的完全零样本评测列为重要的后续工作。

从工程落地来看，Niyam-AI的架构其实可以模块化接入现有Agent框架：拦截层做好字符串捕获和解析，Judge模型可以针对不同企业的安全策略做轻量微调，证明生成和验证是独立的密码学模块。这种"安全策略与模型解耦"的设计，对企业AI合规、审计、监管场景有很实际的价值。未来如果能在GPU或专用硬件上优化证明生成速度，或者把验证器固化为链上合约，这套框架的适用范围还会进一步扩大。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

这篇论文到底在解决什么问题？Niyam-AI提出一种基于零知识证明的AI代理安全框架，通过意图合约锁定工具权限，用轻量级评判模型把关每次工具调用，并生成可验证的ZK证明。

这篇工作最值得看的点是什么？Niyam-AI在F1分数（88.5%）上显著优于所有基线（NeMo 40.4%、Prompt Guard 2 66.8%、GPT-OSS-Safeguard 46.2%），假阳性率最低（1.1%），且McNemar检验确认差异显著（p<0.0001）

这篇工作的边界或风险在哪里？优点：(1)创新性地将ZK-ML应用于Agent安全领域，解决了传统软件防护无法提供密码学保证的问题；(2)通过将安全决策隔离到轻量级Judge模型而非整个LLM，使ZK证明在计算上可行；(3)提供了完整的威胁模型和形式化安全证明；(4)进行了包括对抗性红队测试在内的全面实验评估。缺点：(1)Judge模型在Agent-SafetyBench上训练，泛化性未在独立分布数据上验证；(2)证明生成延迟（约2.26秒）对高吞吐量场景不友好；(3)仅支持二元安全分类，无法表达细粒度策略；(4)未处理多Agent场景中的意图合约共享问题。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★☆

将AI Agent的权限约束封装为SHA-256加密的意图合约，通过轻量级Judge模型对每次工具调用进行安全分类，并使用EZKL生成zk-SNARK证明以确保安全决策可被第三方数学验证，从而在计算可行性与密码学安全之间取得平衡。

实验合理度：★★★★☆

准确率、精确率、召回率、F1分数、假阳性率、证明生成延迟、验证延迟、执行开销

学术研究价值：★★★★☆

将AI Agent的权限约束封装为SHA-256加密的意图合约，通过轻量级Judge模型对每次工具调用进行安全分类，并使用EZKL生成zk-SNARK证明以确保安全决策可被第三方数学验证，从而在计算可。

稳定性：★★★☆☆

现有材料未提供充分的极端条件、重复运行或扰动测试，稳定性暂按中性评价。

适应性以及泛化能力：★★★☆☆

现有材料未完整展示跨数据集、跨场景或分布外实验，泛化能力仍需进一步验证。

硬件需求及成本：★★★☆☆

ZK证明生成时间约2,260.6±218.4ms，验证时间约53.1±11.8ms，证明大小约18.71KB，电路约束431行

复现难度：★★★☆☆

https://github.com/anon/niyam-ai（匿名仓库）

产品化成熟度：★★★☆☆

论文验证以研究实验为主，真实部署中的时延、成本、维护和异常场景仍需补充验证。

可能的问题：；(2)通过将安全决策隔离到轻量级Judge模型而非整个LLM，使ZK证明在计算上可行；(3)提供了完整的威胁模型和形式化安全证明；(4)进行了包括对抗性红队测试在内的全面实验评估。

主要参考文献

[1] NiyamAI: An Intent-Bound AI Agent with Cryptographically Verifiable Guardrails using Zero-Knowledge Proofs. arXiv:2608.07167v1.

[2] Goldwasser, Micali, Rackoff. The Knowledge Complexity of Interactive Proof-Systems. STOC 1985.

[3] Groth. On the Size of Pairing-Based Non-interactive Arguments. EUROCRYPT 2016.

[4] Zhang et al. A Survey on Verifiable Machine Learning and Zero-Knowledge Proofs. 2023.

[5] EZKL: Efficient Zero-Knowledge Proofs for Neural Network Inference. https://ezkl.xyz

[6] Agent-SafetyBench: Evaluating the Safety of Deep Learning Agents. 2025.

融会贯通

结合PaperDaily已收录论文可观察到，Agent-SafetyBench这类安全基准上的结果受训练分布适配程度影响极大：凡是见过基准分布的分类器，其F1通常明显高于从未见过该分布的通用零样本模型。因此，Niyam-AI的88.5%与基线之间的差距不宜直接解读为"架构绝对值碾压"，其中包含明显的"领域适配vs零样本"不对称因素。需要指出的是，论文采用折外预测保证了严格无泄漏，这是值得肯定的严谨之处；但读者在对比其他Agent安全方案时，仍应注意split和setting差异。

由于PaperDaily的检索服务暂时不可用，未能从已收录论文中获取Agent-SafetyBench同指标的直接对比数据。上述判断主要基于论文自身报告及其方法论描述，仅供读者在横向比较时参考。Niyam-AI的真正增量，在于它把"安全性"从不可验证的软件承诺转变成可验证的密码学事实，这个方向比单纯的F1数字更有长远价值。

*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！

工具调用怕越权？提示注入防不住？来龙哥读论文粉丝群，一起聊聊“密码学缰绳”怎么给AI上锁！扫描下方二维码或者添加龙哥助手微信号加群：kangjinlonghelper。一定要备注：研究方向+地点+学校/公司+昵称，按格式备注可更快被通过并邀请进群。
wechat_helper