广工等三校提出RVSD:剪掉67%视觉token,视觉大模型反而更少幻觉
大型视觉语言模型(LVLMs)的视觉幻觉问题,本质上是个“看图说话翻车现场”——模型明明没看见那个物体,却说得言之凿凿。
LONGGE AI RESEARCH DAILY
每天筛选值得关注的 AI 论文,用工程视角拆解方法、实验和真正的落地价值。
目前已发表 1811 篇文章
大型视觉语言模型(LVLMs)的视觉幻觉问题,本质上是个“看图说话翻车现场”——模型明明没看见那个物体,却说得言之凿凿。
写代码时如果发现bug,你会不会把错误日志贴到代码最前面,一边看一边改?清华与Z.ai这篇新作就是干这个的:让大模型先自己想一遍,把推理草稿提到长正文前面再来一次,GraphWalks上准确率直接从29.2%飙到81.8%!
无线胶囊内镜拍出来的图常常模糊不清,而真实场景下几乎不可能拿到一一配对的清晰与模糊图对。这篇来自印度SVNIT与挪威NTNU的工作把Transformer放进无监督GAN里做四倍超分,还顺手提出了一个内镜专用的无参考画质指标,代码与预训练模型均已开源,值得做医学影像增强的读者仔细看看。
图像恢复越清晰,检测反而越容易翻车?SafeRestore告诉你:别急着让AI"修复"图像,先给修复结果发张"安全认证"再放行。这篇论文最精彩的地方,是诚实地展示了自适应策略如何在五次实验中只通过一次认证——比简单插值还没牌面。
很多人第一次看卫星图会觉得诧异:为什么遥感基础模型的检索效果总是不如预期?明明模型参数已经加到几亿甚至几十亿,预训练语料也够大,遇到“港口”“农田”“城市”这类场景,还是经常把完全不同的图像混在一起。
一个模型搞定雨、雪、雾,还要把大模型的参数量和算力砍掉80%?FReSH-IR给出了一份“轻量但能打”的答案。本文将拆解它是如何通过高低频分流、谐波融合,在几乎不掉点的前提下把推理速度提升数倍,并且让边缘设备也能跑得动。
主流生成两座大山——扩散模型和Transformer注意力,这篇论文却用凸优化推出了一个有点反常识的结论:扩散模型的最优去噪解,本质上就是自注意力;Softmax也因此有了统计检测层面的解释。更实用的是,利用等价性可以跳过昂贵的去噪网络训练,直接基于近邻潜向量插值生成,单张耗时仅0.02秒、实现8.5倍加速。理论派和实践派都值得一读。
龙哥先问一个场景:你正在用CLIP做图文检索或者分类识别,模型在完整图文输入下表现一切正常。结果换上真实业务数据,图像传感器抽风了、文本因为隐私脱敏被清空了、数据库某个字段残缺不全——模型性能瞬间崩掉一大截。
先看一个让龙哥觉得有点"反直觉"的画面:下面这张图,从左到右分别是64×64、128×128、256×256、512×512,直到1024×1024分辨率的人脸生成结果。
雨天、雪天、雾天,一个模型全搞定?针对统一恶劣天气修复中“全局聚合不分天气、跨尺度融合太粗暴、目标函数太自信”三大痛点,慕尼黑工业大学团队祭出UAR-Net,用门控Transformer加不确定性建模,直接刷新SOTA。结果实在,思路清晰,搞图像恢复的同学值得一读。
AI生成内容的版权保护一直是个复杂话题。生成一张"梵高风格的戴珍珠耳环的猫"成本不到一秒,但版权归属问题却难以解决。传统水印在像素空间里做文章,但容易失效。
扩散模型天天做图,这次被一位独立学者硬生生掰成了MCMC全局采样器。不用变分目标,只靠标准去噪训练加一堆MALA样本,就能在550维贝叶斯后验上实现跨模式跳转,冷启动一两轮直达平衡区。这事儿有意思,值得一读。
LONGGE AI COMMUNITY
加入「龙哥读论文」知识星球,持续获取 AI 论文、资讯、开源项目、招聘与研究思路。
加入龙哥读论文微信群:添加微信 kangjinlonghelper,备注“研究方向 + 地点 + 学校/公司 + 昵称”。
微信扫码加入知识星球