FOCUS实证:数据扩展才是王道,蒸馏在轻量模型上贡献有限
别小看“数据扩展+教师再微调”这个组合拳。这篇工作老老实实地把视频帧抽出来补足稀有物种,再让教师自己先学一轮,就让轻量学生逼近大模型97%性能,在Jetson Orin Nano上跑出3.19ms一图。更关键的是,它用5次种子对比告诉你:蒸馏本身贡献有限,别被花哨术语带偏。
LONGGE AI RESEARCH DAILY
每天筛选值得关注的 AI 论文,用工程视角拆解方法、实验和真正的落地价值。
目前已发表 1811 篇文章
别小看“数据扩展+教师再微调”这个组合拳。这篇工作老老实实地把视频帧抽出来补足稀有物种,再让教师自己先学一轮,就让轻量学生逼近大模型97%性能,在Jetson Orin Nano上跑出3.19ms一图。更关键的是,它用5次种子对比告诉你:蒸馏本身贡献有限,别被花哨术语带偏。
想不想知道,给顶级VLM一个患者描述但完全不给图像,它们会怎么做?这篇CMU的研究发现,模型不仅不会拒绝回答,还会根据种族、年龄、性别编出不同的诊断,甚至存在“表面说看不到图、背地填上病名”的阴阳模式。对医疗AI的可信度当头一棒,值得所有临床AI从业者细读。
想象一下,你带了一张胸片给AI看病,结果图片没传上去,AI却根据你的年龄和肤色直接编了个诊断——这不是科幻,是今天这篇ICMR 2026论文的实锤发现。Claude、GPT-5.4和Gemini集体“翻车”,而且翻得很有规律:65岁白人男性=黑色素瘤,32岁黑人女性=结节病。更离谱的是,有些AI文字说“没图”,但结构化的诊断字段却填得满满当当。对AI安全感兴
ISAC是6G通感一体化热点,但嵌入通信数据会严重污染雷达感知。蒙特利尔理工这篇工作巧妙地用概率去噪网络吸收数据引入的旁瓣干扰,让感知几乎不受影响,还附带完整CRLB和BER理论分析。代码已开源,值得关注!
病理图像分析中,细胞空间结构是关键诊断线索,但传统启发式图结构无法自适应学习。G*2-Net巧妙地将图像级图结构学习转化为二阶双层优化问题,用DARTS式一步展开避免高昂计算,在三个数据集上全面超越现有方法。值得关注的是,其可学习图结构为模型提供了更好的解释性。
继2026年6月龙哥聊过AI检测器泛化难题后,哈尔滨工业大学团队在IJCAI-ECAI 2026挑战赛中给出了一个反直觉的答案:原来音视频之间的一致性假设在通用场景下根本不靠谱,解耦才是王道!DAV-Det以0.8460分夺得第一,简单粗暴但效果惊人。
这篇论文巧妙解决了多模态推荐中一个两难问题:既要利用用户行为信号优化描述,又要保持推理时纯内容生成。快手和南开提出的RecoReward用推荐器作为训练时的“裁判”,让MLLM学会生成对推荐更友好的描述,离线全面领先,在线也有实实在在的提升。思路新颖,工程上也很实用,值得做推荐系统的同学关注。
继6月聊过Mila的Gigapixel自博弈训练之后,Valeo这篇Pictura直接更进一步:把强化学习的观察空间从特权矢量换成了摄像头第一视角的渲染图,彻底消除了部署时的表征鸿沟。500亿步训练后,效果居然还能跟特权基线掰手腕,零样本迁移到Waymo场景甚至反超——这才是自博弈该有的样子。
语音增强模型部署一直是老大难?这篇来自汉阳大学的最新工作,直接把FastEnhancer-Medium模型编译成纯C int8运行时,在Apple M2上跑到0.069 RTF,比ONNX Runtime快3.3倍,质量只掉了0.006 PESQ,而且完全无依赖!不碰模型结构、不重新训练,全栈优化+int8量化搞定一切,还公开了源代码,简直是把语音增强部署的
API测试最头疼的“冷启动”问题——没有OpenAPI规范、没有历史日志,只有一个请求样本,能自动写出靠谱断言吗?Restor告诉你,用强化学习(GRPO)微调一个轻量LLM,这事儿能成,而且字节跳动已经在生产环境跑起来了,采纳率直接干到96%以上。一篇来自复旦和字节跳动的ISSTA'26工作,实打实的工业级神器。
统一多模态模型(UMM)过去要么贵得离谱(训练成本几万美元、数据上亿),要么理解与生成总得二选一。Sony AI这篇Argus-Unified直接掏出“混合视觉令牌”方案,把预训练VLM的视觉编码器冻住,只花$2000和1500万数据就训出比7B模型还强的理解能力,生成效果也不拉胯。对搞低预算落地的团队来说,这是一份很实在的参考。
食物分割里,豆腐和芝士经常被搞混?国立成功大学这篇工作用一个巧妙的思路——让大语言模型(GPT-o4 mini)根据图像猜出食材名称,再把食材标签嵌入视觉特征或解码器查询中,实现精准分割。两个模块完全即插即用,在FoodSeg103上刷新SOTA达到55.0 mIoU,且仅增加3.8GB显存开销。不用搞什么对齐训练,拿来就能涨点,实用派狂喜!
LONGGE AI COMMUNITY
加入「龙哥读论文」知识星球,持续获取 AI 论文、资讯、开源项目、招聘与研究思路。
加入龙哥读论文微信群:添加微信 kangjinlonghelper,备注“研究方向 + 地点 + 学校/公司 + 昵称”。
微信扫码加入知识星球