最新轻量级AIO天气恢复:80%参数全免,速度提升5倍?FReSH-IR详解
一个模型搞定雨、雪、雾,还要把大模型的参数量和算力砍掉80%?FReSH-IR给出了一份“轻量但能打”的答案。本文将拆解它是如何通过高低频分流、谐波融合,在几乎不掉点的前提下把推理速度提升数倍,并且让边缘设备也能跑得动。
LONGGE AI RESEARCH DAILY
每天筛选值得关注的 AI 论文,用工程视角拆解方法、实验和真正的落地价值。
目前已发表 1811 篇文章
一个模型搞定雨、雪、雾,还要把大模型的参数量和算力砍掉80%?FReSH-IR给出了一份“轻量但能打”的答案。本文将拆解它是如何通过高低频分流、谐波融合,在几乎不掉点的前提下把推理速度提升数倍,并且让边缘设备也能跑得动。
扩散模型做超分,画质确实顶,训练也确实是出了名的“百万步起步”。这篇文章没动网络结构,只在训练目标里加一个冻结VGG的感知正则项,就能让脑MRI和彩色人脸超分稳定加速收敛,局部细节还更真。想低成本给扩散训练“加外挂”的读者,值得花三分钟读完。
雨天、雪天、雾天,一个模型全搞定?针对统一恶劣天气修复中“全局聚合不分天气、跨尺度融合太粗暴、目标函数太自信”三大痛点,慕尼黑工业大学团队祭出UAR-Net,用门控Transformer加不确定性建模,直接刷新SOTA。结果实在,思路清晰,搞图像恢复的同学值得一读。
人人都说“先增强,后感知”,但一篇来自高中生的树莓派论文硬核证明:这个“共识”可能正在浪费你80%的算力!用10毫秒的暗通道判断,直接省掉470毫秒的去雾推理,精度还不降反升。嵌入式视觉的极致性价比,这篇论文讲透了。
拍完夜景想发朋友圈,结果暗部一团黑、亮部还偏色?这篇新南威尔士大学的工作把分块扩散模型玩出了新花样:分块尺寸随时间步渐进增大,既保住局部细节又协调全局亮度,4K图像推理提速80倍,显存仅需8.8GB,简直是低光增强领域的"效率控"福音。
拍照一时爽,后期火葬场——尤其拍到过曝夜景人像,想从高光里捞细节时,灵魂拷问就来了:先降噪还是先调亮度?先调亮度吧,暗部噪点会被放大;先降噪吧,过曝区域的细节又未必救得回来。传统玩法无非这两种,顺序任选,各有代价。
先聊一个很多人每天都会碰到、但完全没意识到的问题:你手机相册里那一张张照片,绝大多数都是JPEG格式。JPEG为什么能统治世界这么多年?因为它用一个巧妙的"分块变换+量化"策略,用很小的体积换来了还算能看的画质。
InSAR相位恢复一直靠固定滤波器硬扛,可每一对影像的几何参数都不一样,这就像用同一副老花镜看所有距离的物体。芬兰团队提出FiLM-GPNet,给网络装上“几何调节旋钮”,时间残差直降68%,而且换个城市不用重新训练,零样本直接上手。
拍文档照片最怕什么?阴影、模糊、歪斜、摩尔纹——哪怕是最强多模态模型也会当场翻车。直接拿恢复工具全图修一遍?可能越修越糟糕。华南理工这篇论文给了个聪明的解法:让模型自己判断“现在能不能答”,不能答再精准修复,修坏了还能自动回滚。全程免训练,效果逼近人类专家。
聊超分绕不开一个千古难题:又想马儿跑得快(细节丰富、观感锐利),又想马儿不吃草(结构保真、贴合原图)。这两件事在底层视觉里长期互相打架,逼着研究者要么偏科要么和稀泥。
先问一个很真实的问题:一个部署在野外监控杆上的图像恢复系统,第一年只需要去噪,第二年碰上了雾霾天开始需要去雾,第三年台风季又来了要处理雨纹。每一次新需求,难道都要把旧数据翻出来重新训练一遍?
又一篇零样本视频修复的狠活。天津大学团队把文本到图像扩散模型用出了花:不用训练就能修视频,还支持文本、图像两种参考输入,推理速度直接砍到三分之一,时序一致性指标WE降到原来的五分之一。被视频闪烁折磨过的同学,这篇值得重点研究。
LONGGE AI COMMUNITY
加入「龙哥读论文」知识星球,持续获取 AI 论文、资讯、开源项目、招聘与研究思路。
加入龙哥读论文微信群:添加微信 kangjinlonghelper,备注“研究方向 + 地点 + 学校/公司 + 昵称”。
微信扫码加入知识星球