人大&阿里联合提出PSD:零额外参数的自蒸馏框架
序列推荐通常只用one-hot标签训练,浪费了用户序列中大量的“未来”信息。本文核心想法极其简洁:让同一个Transformer模型同时担任教师和学生——教师看未来,学生只看过去,通过门控蒸馏只传递“可达”的知识。不需要额外参数、不需要预训练教师、不改推理过程,在SASRec、BERT4Rec、UniSRec三大骨干上平均提升19.8%,远超现有蒸馏策略。强
LONGGE AI RESEARCH DAILY
每天筛选值得关注的 AI 论文,用工程视角拆解方法、实验和真正的落地价值。
目前已发表 1811 篇文章
序列推荐通常只用one-hot标签训练,浪费了用户序列中大量的“未来”信息。本文核心想法极其简洁:让同一个Transformer模型同时担任教师和学生——教师看未来,学生只看过去,通过门控蒸馏只传递“可达”的知识。不需要额外参数、不需要预训练教师、不改推理过程,在SASRec、BERT4Rec、UniSRec三大骨干上平均提升19.8%,远超现有蒸馏策略。强
当你在暗光下按下快门,CMOS传感器捕获的RAW数据里,既有光子打上去的散粒噪声,又有电路本身的读取噪声,混合在一起,让那些在实验室里表现神勇的“高斯去噪器”瞬间歇菜。这篇论文不打新网络架构,而是从噪声建模的老祖宗——方差稳定化出发,用一招“甩锅”重尾残差的稳健拟合,愣是把GAT+预训练模型这条老路走通了,而且走得很稳。对于想省掉重新训练模型成本、直接用现有
病理图像分析中,细胞空间结构是关键诊断线索,但传统启发式图结构无法自适应学习。G*2-Net巧妙地将图像级图结构学习转化为二阶双层优化问题,用DARTS式一步展开避免高昂计算,在三个数据集上全面超越现有方法。值得关注的是,其可学习图结构为模型提供了更好的解释性。
食物分割里,豆腐和芝士经常被搞混?国立成功大学这篇工作用一个巧妙的思路——让大语言模型(GPT-o4 mini)根据图像猜出食材名称,再把食材标签嵌入视觉特征或解码器查询中,实现精准分割。两个模块完全即插即用,在FoodSeg103上刷新SOTA达到55.0 mIoU,且仅增加3.8GB显存开销。不用搞什么对齐训练,拿来就能涨点,实用派狂喜!
当你的AI模型面对不同形状的训练数据时,是不是每次都要重新训练?挪威团队提出潜变量PDE映射,只需把不同几何的物理方程通过变形梯度“拉”到一个标准形状上,就能让模型用超少样本学会处理新形状。在心脏电生理模拟上,对旋转几何的误差直降4倍!物理信息机器学习爱好者不容错过。
病历数据又乱又稀疏?ICU里仪器报警此起彼伏,却常常漏掉关键趋势?武汉大学团队提出的MissHyper,在时序预测前就把同一时间戳的各种指标“合体”成病例快照,让超图模型一上来就有全局视野,三个临床基准统统领先!
自蒸馏方法通常需要特权答案或视觉证据标注来制造教师-学生不对称性,而本论文来自马里兰大学等机构,提出一个极其简洁的替代方案:只需要一张内容擦除的黑色图像,与原始图像下教师模型的预测做对比,就能构建出有效的自蒸馏目标。在Qwen3-VL和Qwen3.5全系模型上,VCSD稳定提升1.86%-4.77%,且无需外部教师、推理时零开销。方法既巧妙又实用,值得关注。
继2026年6月推过一篇强化学习搞定视频压缩之后,这回ABR领域又来了一个狠角色。电通大团队不仅一针见血地指出:多年来用来测试强化学习ABR策略泛化性的工具(只看平均带宽等统计量)是错的!还顺手把“规则”和“学习”的边界给消融了。 方法是真硬核:把经典码率选择的规则,直接以几何锚点的形式嵌进神经网络的潜在空间里,让网络“想跑偏都难”。训练只用3G数据,零微调
这篇论文最有意思的地方,不是它又堆了一个更大的模型,而是它故意把模型“眼前能看见什么”这件事掐得很死,然后看它到底会学出什么。结果很反常识:中心看细节,周边看场景,连脑区对齐都能对应上。
散焦去模糊最怕的不是模型不够大,而是各说各话、数据各跑各的。RealDefocus Benchmark把统一分割、统一协议、跨数据集验证都摆上台面,终于让“谁更强”不至于靠运气。
这篇论文的意思很直白:超分不一定非得靠人工文本标注硬喂,模型自己也能学出可用语义,再把语义按空间位置“精准打光”。它把提示学习和空间自适应调制接起来,思路不花哨,但很像能落地的工程方案。
这篇论文不靠花活,专盯一个老问题:为什么残差网络一加深就训练不顺。结论很直接——跳连和加法后激活别乱动,保持“直通车”最重要,1000层网络才有机会真的跑起来。
LONGGE AI COMMUNITY
加入「龙哥读论文」知识星球,持续获取 AI 论文、资讯、开源项目、招聘与研究思路。
加入龙哥读论文微信群:添加微信 kangjinlonghelper,备注“研究方向 + 地点 + 学校/公司 + 昵称”。
微信扫码加入知识星球