LONGGE AI RESEARCH DAILY

龙哥读论文

每天筛选值得关注的 AI 论文,用工程视角拆解方法、实验和真正的落地价值。

目前已发表 1811 篇文章

分享网站 微博 X
PaperDaily 数据库收录 论文拆解 13572 篇 研究思路 385 条 AI 资讯 589 条 开源项目 177 个 科研招聘 140 条 学习资料 12 份 热点主题 830 条 论文成功模式 1776 条

标签:模型训练

共 180 篇
印度理工海得拉巴分校:音视频蒸馏提速8倍,10小时压到1.3小时
视觉与图像

印度理工海得拉巴分校:音视频蒸馏提速8倍,10小时压到1.3小时

数据集蒸馏这名字听着很美:用一小撮合成样本,顶掉整个大训练集。可一到音视频这种双模态场景,就撞上两根硬钉子——显存炸裂,以及两个模态各说各话。印度理工海得拉巴分校这篇 X-AVDD 用双向交叉注意力把两件事一起收拾了:合成时间从10小时压到1.3小时,VGGSound 上的准确率从个位数跳到两位数。这波值得拆开看看。

Nimbus BCI 平台验证:六条脑电解码流水线与手写脚本 0.00 点差异
大模型与智能体

Nimbus BCI 平台验证:六条脑电解码流水线与手写脚本 0.00 点差异

一个可视化平台宣称自己算出来的数字和手写脚本一样,这话到底该不该信?Nimbus BCI 给出的答案是:六条经典脑电解码流水线,三个公开数据集,两种评估协议,平台引擎与独立手写实现各跑一遍,逐被试比准确率。确定性流水线全部 0.00 点一致,深度模型的差异落在训练种子噪声里。软件平台自己做验证研究,这事本身就少见,值得看一眼它的验证设计和边界。

港科大(广州)S3R:稀疏起草+稠密验证,RL训练吞吐1.39倍
大模型与智能体

港科大(广州)S3R:稀疏起草+稠密验证,RL训练吞吐1.39倍

大模型做强化学习,真正的瓶颈常常不在反向传播,而在 rollout 生成——注意力吃掉了七成以上的解码时间。港科大(广州)这篇 S3R 的做法挺取巧:稀疏注意力只负责"提词",全注意力负责严格验收,采样分布不动,KV 读取却大幅减少。Qwen3-1.7B 上端到端训练吞吐做到 1.39 倍,训练还更稳。

大语言模型|北大MIT清华:注意力非线性让大模型深度缩放变成1/L
视觉与图像

大语言模型|北大MIT清华:注意力非线性让大模型深度缩放变成1/L

这篇论文回答的是缩放定律里最朴素也最要命的一个问题:多加一层,为什么有用?作者的答案有点反常识——在线性注意力里,深度只能按数据谱的幂律慢慢挤性能,很快就见底;注意力一旦带上 softmax 非线性,损失就按约 1/L 的逆幂律继续往下掉。作者还把这件事接到中心极限定理上,把「层间共享误差」和「层间差异」分开算账。

港城大×英伟达:把扩散时间步写进SSM递归算子,只训6.3M参数
大模型与智能体

港城大×英伟达:把扩散时间步写进SSM递归算子,只训6.3M参数

条件化这件事,主流做法要么把上下文塞进输入,要么用AdaLN去调激活,本质都是在外围打补丁。香港城市大学和英伟达AI技术中心这篇,直接把扩散时间步映射成SSM递归参数A、B、C、D、Δ的有界偏移,冻结111M骨干只训6.3到11M适配器,Chebyshev核平均验证损失压到2.55,还附送一份解析稳定性证书。能把"为什么稳"讲清楚的参数高效微调,不太多见,值

LONGGE AI COMMUNITY

把每天读到的论文,变成长期积累

加入「龙哥读论文」知识星球,持续获取 AI 论文、资讯、开源项目、招聘与研究思路。

加入龙哥读论文微信群:添加微信 kangjinlonghelper,备注“研究方向 + 地点 + 学校/公司 + 昵称”。

龙哥读论文知识星球二维码 微信扫码加入知识星球