西交大提出Quant Experts:token级量化补偿
量化论文最怕两件事:一是把模型压小了,二是把精度也一起压没了。Quant Experts 这篇的思路很实在,不跟“全局统一补偿”死磕,而是把重要通道分成全局稳定和 token 相关两类,再用共享专家和路由专家分工处理,72B 模型在 W4A6 下还能追回 5.09% 平均精度,确实有点东西。
LONGGE AI RESEARCH DAILY
每天筛选值得关注的 AI 论文,用工程视角拆解方法、实验和真正的落地价值。
目前已发表 1811 篇文章
量化论文最怕两件事:一是把模型压小了,二是把精度也一起压没了。Quant Experts 这篇的思路很实在,不跟“全局统一补偿”死磕,而是把重要通道分成全局稳定和 token 相关两类,再用共享专家和路由专家分工处理,72B 模型在 W4A6 下还能追回 5.09% 平均精度,确实有点东西。
视频异常检测最怕什么?不是模型不够大,而是它总爱把整段视频一锅端,结果真正的异常被“正常背景”冲掉了。CSI-VAD干脆把视频拆成环境、对象、时间三路分别看,零训练也能把异常线索抓得更稳。
3D场景检索最怕“指令说改一处,系统却把整间屋子都翻了”。这篇工作直接把问题拆成可执行的重排流程,还顺手补了一套新基准,实用性比很多只会讲概念的方案更硬。
一张图到底“信息多不多”,以前多靠经验拍脑袋。ERank更狠:冻结编码器跑一遍,就能把图像从“平淡”排到“丰富”,而且在超分和OCR的数据筛选上真能派上用场。
多目标跟踪最怕的不是“看不见”,而是“看见了也分不清”。这篇论文直接把 re-ID 的训练方式改成和推理同一套“整帧竞争”逻辑,再用共性外观抑制去压蜜蜂这种高相似目标的混淆,思路很对症。
这篇论文最有意思的地方,不是“又做了一个扩散逆问题方法”,而是把原本很容易写成一团经验技巧的 posterior sampling,硬生生拆成了按奇异方向逐坐标更新的 DDIM。更狠的是,它还给出后验一致性证明,属于“能跑、能讲、还能证”的那类工作。
这篇论文最有意思的地方,不是“又做了一个多模态模型”,而是 冻结基座不动,也能把音频硬塞进统一空间 。更狠的是,文本、图像、视频的原有结果还能保持 bitwise 一致,工程味很足。
3D医学影像最缺的不是模型,而是能长期喂饱模型的标注。MASS偏偏反着来:不用专家画框,靠自动掩码就把自监督做成了“临床味儿”很足的预训练,少样本分割和冻结编码器分类都能打。
世界模型最怕的,不是不会预测,而是把“环境自己在变”和“动作造成变化”混成一锅粥。DWM专门盯住这个老毛病下手,训练阶段分开学,推理阶段却不加戏,思路很干净。
视频摘要最容易犯的错,不是总结得不够短,而是把最关键的证据先删没了。HAS偏偏反着来:不做硬挑帧,而是把“高光分布”变成推理时的注意力引导,思路很干净,实验也够实在。
学生想碰真正的望远镜,常常卡在“流程太散、设备太贵、数据太乱”。MIRA把提案、审核、排程、执行、归档和教程串成一条线,像把科研现场直接搬进课堂。
太赫兹成像最烦的不是“看不清”,而是“拍得太慢”。这篇工作直接把机械扫描换成光控孔径,再用Hadamard复用把信噪比和速度一起往上拉,最后真的跑到了16帧每秒,挺硬。
LONGGE AI COMMUNITY
加入「龙哥读论文」知识星球,持续获取 AI 论文、资讯、开源项目、招聘与研究思路。
加入龙哥读论文微信群:添加微信 kangjinlonghelper,备注“研究方向 + 地点 + 学校/公司 + 昵称”。
微信扫码加入知识星球