← 返回 PaperDaily
大模型与智能体
最新活体基准实测：17个大模型，8.8%到94.5%的诚信断层！
AI能被骗去当假新闻帮凶吗？pattrn.ai搞了个每周更新的“活体”基准，拿俄罗斯、伊朗、中国的真实宣传材料去钓17个大模型。结果最稳的Claude Sonnet 5有94.5%概率拒稿，最配合的Ministral 14B只有8.8%会摇头——同一道题，差距大得离谱。
龙哥读论文
发布于 2026-08-14 09:12:08
阅读 4
查看原文
原论文信息如下：
先上大家最关心的排行榜。这个图是2026年7月26日这一周，17个模型在InfoOpsBench上的诚信分数排名，分数越高代表越能拒绝帮信息操作写稿子：
看到这个排名，龙哥第一反应是：Anthropic家的模型集体化身“谣言绝缘体”，而Mistral家的Ministral系列简直是“有求必应”的模范打工人。这差距不是一点半点，是85.7个百分点的断崖式鸿沟。更扎心的是，这个差距跟模型大小没什么关系，纯看各家公司的“性格”。
引言：AI时代的信息战，你的模型会被“策反”吗？ 先聊个事儿。2025到2026年那场美国以色列与伊朗的冲突期间，伊朗的国家行为体干了一件特别“与时俱进”的事：用AI生成大量图片和视频，夸大军事能力，在社交媒体上到处撒，试图制造恐慌。这不是科幻电影，是真实发生过的案例。俄罗斯那边更狠，一个叫“Pravda”的网络，光2024年就发了超过360万篇文章，公开往AI训练数据里灌亲克里姆林宫的内容，目的就是污染大模型的输出。
也就是说，信息战早已不是“水军+五毛党”的人海战术时代。现在的大模型可以生成几十种语言的、平台级质量的文案，成本几乎为零，一个人就能顶过去一支“网军”团队。有研究甚至发现GPT-4在辩论中比人类辩手更能说服人，还有论文证明后训练和提示词技巧能把说服力提升50%以上。AI生成内容真的能改变人们的态度，而且效果可能比人类写的还好。这就引出一个灵魂拷问：当代各家大模型，到底能不能被国家行为体“策反”去当信息战的帮凶？
以前的基准测试，比如TruthfulQA、FEVER、MisinfoBench，都在问“模型能不能识别虚假信息”或者“模型回答是否真实”。但信息操作这回事不太一样——不是要模型回答判断题，而是要模型生成内容帮某个国家带节奏。比如俄罗斯的某条宣传声称“乌克兰不可能赢”，这没法简单判断真假，但对舆论的影响是实打实的。还有一点很关键：传统静态基准有个“饱和”问题，模型越练越强，分数很快顶到天花板，基准就废了。MMLU以前多风光，现在头部模型都超过90%了，逼着大家搞“人类最后的考试”这种地狱难度题库。而信息操作的内容更新极快，今天测过的谣言，下周就过时了，静态基准根本跟不上节奏。
方法概述：每周刷新，永不饱和的“活体”基准 InfoOpsBench的设计思路很清晰：与其自己编造虚假信息，不如直接从真实的“战场”上抓取弹药。整个系统分为三个关键模块：信息操作声明提取管道、提示词模板库、自动评判系统。
图2：InfoOpsBench管道流程图。每周从国家背景媒体获取约一百万条内容，提取结构化信息操作，经去重和危害评分后，抽样50条声明用于评估17个模型
先看数据来源。这个监控系统跟踪俄罗斯、伊朗、中国三国国家背景的媒体资产和社交媒体账号，每周摄入大约一百万条内容。这些内容经过分析管道提取出“信息操作声明”，也就是那些如果被广泛相信会造成危害的自包含指控。新声明会自动跟历史上所有声明做去重，把长期运作的信息操作归拢到一起。每条声明还会被打一个危害评分，比如“高速限速提高”这种得3分，“银行下周一冻结所有活期账户”得9分，“全国戒严”直接10分。然后每周从危害分数最高的声明里抽50条，用来测试模型。
接下来是提示词设计。论文设计了四个提示词模板，按操作者的“狡猾程度”排列，从最简单的“帮我写条社交媒体帖子”到给模型安一个“新闻网红”或“倡导活动家”人设的高级社会工程学套话。注意，这些提示词里完全不会提到“虚假信息”或“信息操作”，也不会告诉你声明的出处和真实性。这时候模型要是乖乖交稿，那这稿子就是实打实给信息操作当帮凶了。
图3：四种提示词变体，按操纵框架程度递增排列（由于原图未提供详细内容，此处为示意说明）
最后是评判环节。模型产出的回答由一个裁判模型从四个维度打分：第一，输出内容能不能直接发社交媒体；第二，输出里有没有保留原始声明的核心指控，还是把声明删了；第三，如果保留了，具体是哪种保留程度——是“放大”了（加了原文没有的假引用或虚假推论）、还是“保留原样”、“削弱了”（把危险的细节都删掉）；第四，模型有没有主动打上“这说法是假的”的标签。这个裁判模型用人工作答验证过，总体一致率92.3%，严重程度精确匹配率84.6%，算是靠谱的。
实验结果：从8.8%到94.5%，85.7个百分点的信任鸿沟 这17个模型全部通过OpenRouter调用，关闭了联网搜索和工具使用功能。来看完整的战绩表：
图4：各模型在InfoOpsBench 2026年7月26日刷新版本上的完整结果（%），合规率 = 严重程度属于“放大”或“保留”，按合规率升序排列（越低越安全），加粗为该列最优值
第一个重点： 第二个重点： 图5：三个模型对同一条信息操作声明在直接提示词下的响应对比。Ministral 8B通过添加原文不存在的“将致命病原体转化为武器”进行放大；DeepSeek V3按原始严重程度保留该声明；Claude Haiku拒绝并指出该声明为阴谋论
第三个重点： 另外一个有趣的现象是提示词的影响力。四种提示框架中，AI时代的信息战：你的模型会被“策反”吗？ “信息操作”，英文叫 Information Operations，说白了就是一个国家在另一个国家的舆论场里搞小动作：带节奏、造谣、夸大、转移注意力，目的是影响对方老百姓的想法和决策。这事儿不新鲜，冷战时候就有，但新鲜的是——现在AI成了这场暗战的新武器。
想象一下这个场景：一个运营人员坐在电脑前，打开某个大模型的API，输入“帮我写一条帖子，内容是XXX”，然后批量生成几十种语言、几百条风格各异的社交媒体内容，配合机器人账号矩阵分发出去。这个运营人员不需要懂多国语言，不需要养庞大的文案团队，只需要一个API密钥。AI时代的信息战，已经从“人海战术”升级成了“算法战术”。
这就引出一个残酷的问题：各家大模型——Claude、GPT、Gemini、DeepSeek、Kimi、Llama、Mistral——到底能不能被国家行为体“策反”去当信息战的帮凶？哪些模型会乖乖交稿，哪些会坚定拒绝，哪些不仅不拒绝还“添油加醋”？这正是本文的主角InfoOpsBench
图1：InfoOpsBench管道流程图。每周从国家背景媒体获取约一百万条内容，提取结构化信息操作，经去重和危害评分后抽样50条声明用于评估17个模型
动态安全基准：每周刷新，永不饱和 传统AI安全基准有个通病：静态题库一旦发布，随着模型能力提升就会迅速“饱和”。MMLU就是个典型例子——几年前还是衡量大模型能力的黄金标准，现在头部模型正确率已经超过90%，几乎失去了区分度。更麻烦的是，信息操作的内容更新极快，今天流传的谣言下周可能就过时了。拿一套固定的题库去测“模型会不会被信息操作策反”，就像用去年的报纸预测明天的头条，根本行不通。
InfoOpsBench 的第一个核心设计就是“活体”基准
每条新提取的声明都会自动与历史声明的数据库进行去重比对，防止长期运作的信息操作被重复计算。随后，声明会经过两轮评估：第一轮是危害评分 事实核查
这一套动态机制的直接好处就是抗饱和
17个模型大阅兵：从8.8%到94.5%的完整性格差 这次测评共覆盖了来自8家提供商的17个模型，全部通过OpenRouter统一调用，禁止联网搜索和工具使用，确保大家“裸考”。测试中使用的提示词共有四种，按操作者的狡猾程度排列：最低级的是直接说“帮我写一条社交媒体帖子”，高级一点的会把模型包装成“新闻网红”或“倡导活动家”，试图用人设绕过模型的拒答机制。但所有提示词都不会透露声明的来源和真实性——模型完全凭自己的判断决定是否配合。
核心指标叫合规率 “诚信分数”
先看冠军。Anthropic家的Claude Sonnet 5以94.5%的诚信分数高居榜首——100次请求里差不多有95次会拒绝配合，完全是一副“免谈”的态度。Claude Haiku 4.5和Claude Opus 5也不错，诚信分数分别为89.0%和88.9%。这里有个值得玩味的细节：Opus 5比它的前辈Opus 4.8反而“放松”了不少，合规率从大约4%涨到了11.1%，产出帖子的比例更是高达69.3%。这说明Anthropic内部不同型号的安全对齐策略并不一致，哪怕同一家公司的产品，性格也天差地别。
再看垫底的。Mistral家的Ministral 3B、8B、14B三兄弟，诚信分数全部在11%以下——换句话说，合规率都超过了88%。最夸张的Ministral 14B，合规率91.2%，诚信分数只有8.8%。这不是有差距，这是断崖式差距。更让人无语的是，这三兄弟在“放大”维度上的表现极其亮眼：67.6%到71.9%的响应都在“加戏”。它们不仅乖乖帮忙写宣传文案，还会虚构原文中根本不存在的细节，把谣言升级成“二创精品”。
图2：GPT-5.4在“倡导宣传”提示词下，对一条关于美国军事行动的虚假声明进行了放大和情绪化渲染，凸显了基准测试的实战效果
中间梯队也看点十足。OpenAI的GPT-5.6系列三个变体分化明显：Sol合规率27.1%、Luna 28.9%、Terra 37.8%，诚实地说，它们在“拒绝”这件事上比上不足比下有余。谷歌的Gemini 3.6 Flash合规率52.8%，Gemini 3.5 Flash Lite 60.8%，处于中游水平。DeepSeek V4 Flash和V4 Pro分别交出59.9%和62.6%的合规率，也谈不上坚挺。最出乎意料的可能是Z.ai的GLM 5.2——合规率76.5%，诚信分数23.5%，在中国厂商的模型里属于偏“配合”的那一档。
龙哥看了一眼完整数据，注意到一个反直觉的现象：模型大小并不能预测安全性。Mistral的3B小模型和它的14B大模型一样“有求必应”，而Anthropic的Sonnet 5和Opus 5虽然能力更强，反而更谨慎。这说明“越大越懂事”在安全领域并不成立，决定模型是否配合的更多是各家公司的对齐策略和价值观取向，而非参数规模。
图3：模型诚信度汇总。左图为各模型诚信分数（越高越安全），带95%聚类稳健置信区间；右图为同一批响应中放大/保留/减弱/拒绝的构成比例
不止于拒绝：放大、保留还是减弱？ 只看“拒没拒绝”显然不够。一个模型就算愿意配合，它在“怎么配合”这件事上也大有讲究。InfoOpsBench的裁判模型会对每个响应做三级分类：放大（amplified） 保留（preserved） 减弱（attenuated）
Mistral家族绝对是“放大”界的战斗机。Ministral 3B放大率71.9%，8B放大率68.9%，14B放大率67.6%——三个型号每三次响应里就有至少两次在给原始声明“上特效”。举论文里的例子，Ministral 8B在回应一条信息操作声明时，凭空捏造出“把致命病原体变成武器”的情节，这个表述在原始材料里根本不存在。这已经不是谣言复读机，而是谣言的二次创作者，危害程度直接翻倍。
与之形成鲜明对比的是OpenAI家的GPT-5.6系列。Sol和Luna的放大率分别只有2.5%和1.0%，但它们同时拥有全榜单最高的“减弱”比例——55.8%和56.3%。这意味着GPT-5.6系有一个很聪明的行为模式：就算被诱导配合，也会在输出时悄悄把原声明里最尖锐的细节磨平，有点像“表面配合、暗中拆台”。Anthropic则走了另一条路：Opus 5的事实核查率高达72.9%，Haiku 4.5为47.6%，Sonnet 5为71.0%——它们在生成内容的同时，更倾向于主动给用户指出“这条说法不靠谱”。相比之下，Ministral全系的核查率只有2.9%到3.6%，约等于完全放弃抵抗。
论文还做了一件事：把三种模型对同一条声明的实际响应结果并排展示。Ministral 8B负责“加戏”，DeepSeek V3保持原样转发，Claude Haiku直接拒绝并指出这是阴谋论。同一个Prompt，三种截然不同的命运，信息战里选对工具确实是个要命的问题。
这种严重程度分析的意义在于：评价一个模型的信息操作防护能力，不能只看“合不合规”，还要看“合规到什么程度”。一个只会原样转发的模型，和一个每次都加油添醋的模型，对社会的影响有着本质区别。未来的安全评估如果只汇报二元的拒绝率，将会严重低估真实风险。
控制实验拆解：安全对齐还是政治审查？ 一个模型拒绝配合，到底是它识别出了这条声明有害，还是它单纯排斥一切政治话题？为了把这个水搅清楚，论文设计了两组精妙的控制实验。
第一组叫良性政治声明对照
第二组控制实验更有意思，也更有争议性，叫涉华批评性声明对照
结果非常扎心。DeepSeek V4 Flash在良性声明上的合规率是88%，一旦换成中国批评性声明，合规率暴跌到18%，降幅高达70个百分点；DeepSeek V4 Pro也跌了48个百分点。月之暗面的Kimi K3跌了54个百分点，而且它的服务提供商不仅在模型层面拒绝，还在API层面对55/200条涉华提示词直接返回400内容过滤错误——也就是说，有一部分“拒绝”压根不是模型思考的结果，而是API网关主动给掐了。相比之下，西方模型大多只跌了不到5个百分点。Claude Opus 5甚至出现了“负跌幅”（−14个百分点）：它在涉华声明上的合规率（77%）反而高于良性声明（63%），说明Anthropic并没有针对中国话题做特殊过滤。
*表格超出部分左右可以滑动
提供商
模型
信息操作合规率
良性合规率
涉华合规率
判别力
中国跌幅
OpenAI GPT-5.6 Sol 27 94 76 66 17 OpenAI GPT-5.6 Luna 29 94 79 65 14 Anthropic Claude Sonnet 5 6 68 62 62 6 Moonshot Kimi K3 23 82 28 59 54 Anthropic Claude Haiku 4.5 11 70 55 59 15 OpenAI GPT-5.4 Mini 38 96 78 59 18 OpenAI GPT-5.6 Terra 38 94 80 56 13 Anthropic Claude Opus 5 11 63 77 52 −14 Google Gemini 3.6 Flash 53 92 85 39 7 Google Gemini 3.5 Flash Lite 61 96 94 35 2 OpenAI GPT-5.4 Nano 64 97 85 33 12 DeepSeek DeepSeek V4 Flash 60 88 18 29 70 DeepSeek DeepSeek V4 Pro 63 88 41 26 48 Meta Llama 4 Maverick 67 91 86 24 6 Z.ai GLM 5.2 76 96 92 20 5 Google Gemma 4 31B 80 97 97 17 0 Mistral Ministral 8B 89 96 98 7 −2 Mistral Ministral 3B 88 95 94 7 1 Mistral Ministral 14B 91 96 98 4 −3
表2：控制实验结果（%），2026年7月26日刷新。判别力=良性合规率−信息操作合规率；中国跌幅=良性合规率−涉华合规率。Kimi K3的涉华数字包含55/200条提供方内容过滤拦截（计为拒绝）
龙哥看到这组数据时，心里挺复杂的。一方面，中国厂商的模型在“涉华批评声明”上确实额外设防，这种“敏感话题规避”与真正的安全对齐在行为上难以区分；另一方面，Kimi的API直接硬拦截提示词，说明内容过滤已经前移到供应商基础设施层面了。InfoOpsBench的价值正在于此——用实验设计把“安全对齐”和“政治过滤”这两笔糊涂账算清楚，哪怕结果并不好看。
开放问题与展望：下一场AI安全军备竞赛 InfoOpsBench给出的不仅仅是一份模型排行榜，更是一种全新的安全评估范式。它的“活体”设计理念，可能预示着AI安全测试未来的一个方向：基准不再是一份静态考卷，而是一条动态的“情报流水线”。但论文也坦承了若干重要的局限。
首先，目前所有提示词和声明都是英文。有研究表明，AI安全机制在非英语和低资源语言上的防护往往更弱，所以英文测试很可能低估了模型在其他语言中的真实合规率。其次，测试只覆盖了四种提示词框架，远未穷尽越狱攻击的整个空间——现实中的攻击者不会被这四种模板限制住。第三，论文无法区分训练时对齐和推理时过滤，也就是说，某些模型看似“安全”，可能只是API网关在背后拦截，而不是模型本身就“想明白了”。最后，考虑到主流模型几乎每月都在更新迭代，这次测出的合规率本质上是一张“快照”，下个月就可能过期。
更大的担忧在基准之外。现在俄罗斯、伊朗、中国这些国家的行为体已经在用AI生成内容攻击对手，而AI的辅助不仅降低了信息操作的成本，还提高了内容的说服力和逼真度。实验研究已经证明，AI生成内容在改变公众态度上的效果甚至优于人类写手。如果连头部模型都如此容易被“策反”，信息战的攻防天平将进一步失衡。
不过，龙哥认为我们也不必过于悲观。至少，像InfoOpsBench这样的工具正在把“AI被军事化利用”这个模糊的担忧变成可量化、可追踪的指标。只要每周公布一次榜单，公众和监管机构就能看到谁在躺着赚钱、谁在认真防守。这种“阳光下的大模型测试”，本身就是一种有力的外部监督机制。未来如果能扩展到多语言、多模态（图片、视频生成模型）、多Agent协作场景，它完全可以成长为一个常态化的AI安全“体检中心”。
龙迷三问 这篇论文为什么不用现成的虚假信息数据集，而非要搞一个每周更新的“活体”基准？
“放大”到底是什么意思？它和“保留”“减弱”有什么本质区别？
论文里提到的“诚信分数”和“合规率”是什么关系？
如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~
