人大&阿里联合提出PSD：零额外参数的自蒸馏框架
序列推荐通常只用one-hot标签训练，浪费了用户序列中大量的“未来”信息。本文核心想法极其简洁：让同一个Transformer模型同时担任教师和学生——教师看未来，学生只看过去，通过门控蒸馏只传递“可达”的知识。不需要额外参数、不需要预训练教师、不改推理过程，在SASRec、BERT4Rec、UniSRec三大骨干上平均提升19.8%，远超现有蒸馏策略。强
标签：模型训练
共 155 篇
2026年最新！IRISA用域自适应一招搞定数字笔“成人→儿童”手写轨迹重建
你家娃的鬼画符，数字笔认不出来？别慌，法国IRISA团队找到了一条捷径——域自适应。仅用少量儿童数据，就让原本只懂成人书写的模型，在儿童手写轨迹重建上直接媲美甚至超越从零训练。这篇论文很务实，不光讲算法，还把从理论到实验的每一步都掰开了细说，值得一看。
告别误触和乱码，首个构建-注入联合优化指纹框架来了！
LLM一发布就被倒卖、二次分发，权属怎么证明？华东师大这篇2026年的工作想了个妙招：把“指纹”藏进模型参数里，而且不是用容易被识破的乱码，也不是用会误触的普通英文，而是用低资源语言组成的“代码混合”语言。更厉害的是，指纹的“构建”和“注入”不再割裂，构建时选的语言直接指导注入时往哪里写。最终结果很硬核：平均困惑度只有96（远低于乱码的1302），注入成功率
2026最新！弗吉尼亚大学Lantern：物理引导扩散不崩生成，FPD持平纯去噪
这篇来自弗吉尼亚大学的Lantern直面物理引导扩散在量热器模拟中的梯度冲突问题，设计GradBlend让物理辅助损失不妨碍生成保真度，并引入新度量CFD诊断层间与体素相关性。实验显示Lantern在FPD上持平纯去噪基线，而普通多任务方法性能崩溃2-100倍。对想给生成模型加物理约束的团队极有启发性。
谷歌新方法：推理级Shapley近似，LLM数据审计空间缩减99.1%
继6月聊过Adobe的定量LLM评判器之后，Google这篇直接将数据审计玩出了新高度。不重训练、不跑几千次微调，靠推理前向传播就能近似Shapley值，把审计搜索空间干掉99.1%，在HelpSteer2和HH-RLHF里揪出了一堆人类标注翻车的样本，甚至发现评估基准里藏着“错误答案才是正确”的坑。对搞LLM对齐、数据质量的同学来说，这是真正的降维打击。
仅用AdamW 2.6%状态！SkewAdam分层分配让67亿参数MoE单卡可训
还在为训练大模型时显存爆掉而烦恼？AdamW为671亿参数的MoE模型准备了50.6GB的优化器状态，比模型权重本身还大4倍！独立研究者Nuemaan Malik发现，MoE模型的不同部分（骨干网络、专家层、路由器）对优化器状态的需求截然不同。SkewAdam通过分层分配，将优化器状态压缩到1.29GB（仅占AdamW的2.6%），峰值内存降至31.3GB，
NVIDIA新作Agentic RL框架Molt：代码量锐减至9K，吞吐量持平Megatron
NVIDIA开源了Molt，一个专为智能体强化学习（Agentic RL）设计的PyTorch原生训练框架。代码量仅约8600行，却能在吞吐量上与业界顶级的Megatron堆栈掰手腕。对于天天改算法的研究者来说，这简直是福音，终于不用在层层抽象和复杂配置里找东西南北了。
NVIDIA开源Molt：8.6K行代码驯服700B MoE强化学习
给大模型训练强化学习，框架代码动辄数万行，改个奖励函数得绕三天。NVIDIA最新开源Molt，核心RL代码仅8.6K行，但能流畅训练700B规模的MoE模型，性能还跟Megatron-based框架平起平坐。这框架到底有啥魔力？值不值得你的团队迁移？咱们今天就来扒一扒。
北邮新方法：夜间深度估计误差暴降85%，雪天零样本也涨20%
雨天路面反光、夜间地面忽明忽暗、雪天纹理全无——自监督深度估计在这些场景下经常直接崩掉。北邮这篇工作给出了一个漂亮的解决方案：先用多个「天气专家」教师产生伪标签，再用不确定性蒸馏让学生学会判断该信谁；同时把雷达从稀疏的POV视角投影到更稠密的BEV空间做跨注意力融合。效果立竿见影，夜间absRel暴降85%，雪天泛化也提升了20%+。代码已开源，值得所有做自
只用自我中心视频，ResNet-18学出偏心度偏好
这篇论文最有意思的地方，不是它又堆了一个更大的模型，而是它故意把模型“眼前能看见什么”这件事掐得很死，然后看它到底会学出什么。结果很反常识：中心看细节，周边看场景，连脑区对齐都能对应上。
TINY_SCHILLER来了：德语小模型一行代码就能开训
德语小模型最烦的不是训练，而是“先把文本弄成能喂给模型的样子”。这篇工作直接把席勒戏剧做成单文件、可分词、可微调、可一键加载的语料，主打一个零摩擦。
TOFU也翻车了：无oracle认证有极限
机器遗忘最怕的不是“忘不掉”，而是“看起来忘了，实际上还记得”。这篇论文直接把评估体系拉回现实：别只盯着训练探针，得看它是不是能恢复到匹配重训的分布。
