代码生成|代码投毒新攻击:仅污染0.7%语料,让大模型乖乖写出漏洞代码
分东西还要分任务?谁拿了好东西,谁多干了活,算法能分得大家都别红眼吗?一群做理论的人把这事儿掰扯清楚了——给每个参与者不同"权重"时,四校联合研究终于破解了混合了吗哪的难题,首次给出通用的高效分配方法。
LONGGE AI RESEARCH DAILY
每天筛选值得关注的 AI 论文,用工程视角拆解方法、实验和真正的落地价值。
目前已发表 1811 篇文章
分东西还要分任务?谁拿了好东西,谁多干了活,算法能分得大家都别红眼吗?一群做理论的人把这事儿掰扯清楚了——给每个参与者不同"权重"时,四校联合研究终于破解了混合了吗哪的难题,首次给出通用的高效分配方法。
让AI经理同时考三本“ESG评分教材”,再用高斯过程学习投资经理的内心戏,顺带逛了一圈欧洲、德州等不同“水土”下AI选股的口味差异。谁更爱赚钱,谁更爱地球?量化调参党与ESG信徒都能从中看到自己。
大模型的安全翻车,往往不是因为它"压根不想拒绝",而是拒绝的念头冒出来了,却没来得及说出口就被覆盖掉了。扩散语言模型尤其如此——去噪步骤和文本位置两条时间线交叉在一起,藏着一条全新的"安全浅滩"。
把这个问题再往前推一步:潮流不收敛以后,电网调度员通常要反复“试探”——检查网络结构、分析残差、判断是不是无功支撑不够、猜想某个发电机电压定值压得太低,然后带着假设去跑仿真,不行就换个方向再来。
大模型"看图说话"时编造细节,一直缺乏严格的统计约束。弗吉尼亚理工这篇工作用模型自己的"内心独白"替换外部验证器,照样把错误率控制在数学保证范围内,还顺手把弃权率打了下去。值得所有关注多模态可靠部署的读者一读。
当思维链还在“一字一句”硬凹推理时,这篇论文直接让冻结的LLM在“脑内”用向量打草稿。仅训练1130万参数,就在符号推理上把零样本思维链拉高26.7个点,推理延迟还更低。是时候重新审视“推理必须说出口”这个前提了。
图1:披露门——五级有序门禁,释放三个深度层级。系统的状态是一扇“门”,而门所释放的是一个“深度”:只有信息深度不高于当前门所放行的层级时,这条信息才有资格浮出水面
大模型的"三好学生"人设,一换语言就崩?麦考瑞大学等机构给乌尔都语做了套"文化体检",人工逐句改造三大经典对齐基准,结果GPT-4o-mini的诚实度直接掉了20个百分点,安全护栏也形同虚设。🤚
当全世界都在卷Agent能力时,这篇由Stony Brook University和Old Dominion University合作的论文,罕见地将目光投向了最容易被忽视的用户群体——盲人。它用一份扎实的、基于真实世界1258条指令的实证数据,狠狠给“无所不能”的计算机使用代理(CUA)泼了盆冷水:最强模型成功率也仅52.5%。
AI编程助手不仅仅是代码工具。最新研究揭示,Claude Code、Codex等产品可能被恶意指令攻破,黑客可远程控制你的电脑。
斯坦福Chelsea Finn团队联合KRAFTON提出WHALE,把智能体优化从"单练模型"升级为"模型+执行框架交替进化",三个任务上最多提升24.38个百分点。对做智能体训练和Agent产品落地的朋友,这篇值得细读。
一堆AI医生会诊,居然还会“抱团跑偏”?把肺癌晚期患者往肿瘤科一推,完全无视血氧已经掉到危险线。华南理工等机构最近祭出新框架MASGR,把松散群聊升级成结构化推理图,再请来“仲裁官”把关,转诊准确率一口气顶到95.3%。
LONGGE AI COMMUNITY
加入「龙哥读论文」知识星球,持续获取 AI 论文、资讯、开源项目、招聘与研究思路。
加入龙哥读论文微信群:添加微信 kangjinlonghelper,备注“研究方向 + 地点 + 学校/公司 + 昵称”。
微信扫码加入知识星球