LONGGE AI RESEARCH DAILY

龙哥读论文

每天筛选值得关注的 AI 论文,用工程视角拆解方法、实验和真正的落地价值。

目前已发表 1573 篇文章

PaperDaily 数据库收录 论文拆解 12823 研究思路 385 AI 资讯 208 开源项目 164 科研招聘 128 学习资料 8 热点主题 493 论文成功模式 1625

标签:模型训练

共 155 篇
RIKEN新解:LLM数据溯源“捷径”还是“精确制导”?BM25+影响力函数99%一致?
大模型与智能体

RIKEN新解:LLM数据溯源“捷径”还是“精确制导”?BM25+影响力函数99%一致?

LLM输出的“灵感”到底是从训练数据里“原样照搬”还是“高维加密”后释放?日本理研牵头的新研究首次给数据相似度(BM25)和数据影响力(KFAC)的排名关系画了张精准的“等高线图”。发现一个反直觉事实:影响力函数能更一致地预测相似度的结果,反过来则不行——这意味着“先BM25粗筛,再影响力精排”的混合方案,可能是大模型可解释性工具箱里的黄金搭档。

NYU最新研究:仅用8K短数据训练,让LLM在128K长上下文推理中准确率飙升90%!
大模型与智能体

NYU最新研究:仅用8K短数据训练,让LLM在128K长上下文推理中准确率飙升90%!

大模型在短数据上训练得再溜,一遇到超长上下文立马就“脑子一片空白”。纽约大学团队别出心裁,用“随机位置”这招,让模型在短文本训练时就能“看见”长文本的位置编码,再配合“长度课程”循序渐进的练习,仅用<8K的短数据训练,就在128K长上下文推理中准确率飙升到90%。这招堪称四两拨千斤,性价比极高!

Apple最新研究:10个标注员就够了!KL散度饱和曲线给出标注预算最优解
大模型与智能体

Apple最新研究:10个标注员就够了!KL散度饱和曲线给出标注预算最优解

苹果最新研究揭示了一个没人细想过的问题:收集标注时,花了钱不等于拿到了“对”的信息。KL散度和熵相关性对标注数量的要求天差地别。更扎心的是,免费的标签平滑无法取代标注员提供的“物品特有不确定性”信号。这篇文章会让你重新思考数据标注的预算分配,获得实实在在的降本增效理论基础。

Yann LeCun参与,SkyJEPA:让四旋翼在潜空间预测,零样本仿真直飞现实世界!
视觉与图像

Yann LeCun参与,SkyJEPA:让四旋翼在潜空间预测,零样本仿真直飞现实世界!

Yann LeCun的JEPA思想终于上天了!这篇工作提出了第一个用于四旋翼实时控制的JEPA风格潜空间动力学模型SkyJEPA。它完全在仿真中通过域随机化训练,却能零样本迁移到现实世界,在户外飞行中跟踪误差降低近40%,换了桨叶、加了负载也不掉链子。想看世界模型怎么帮无人机“闭眼预测”的,这篇必读。

Meta最新研究:用“软聚类”给物品画像,生成式推荐效果大涨!
大模型与智能体

Meta最新研究:用“软聚类”给物品画像,生成式推荐效果大涨!

生成式推荐是当下的研究热点,但如何将用户复杂的协同行为和物品语义同时注入大模型,始终是个难题。Meta这次提出G2Rec,巧妙的用了一个稀疏的物品协同图来捕捉用户行为,再用一个可扩展的“软聚类”方法自动学习出每个物品属于不同兴趣原型的概率,把难以表达的“上下文”变成了模型能轻松理解的结构化token。结果在多个数据集上全面领先,而且在线部署效果也很亮眼。读这

港科大新研究:只更新10%Token,推理能力飙升15%,告别盲目探索!
大模型与智能体

港科大新研究:只更新10%Token,推理能力飙升15%,告别盲目探索!

训练大模型就像带兵打仗,胡子眉毛一把抓只会越训越乱,熵塌陷了解一下?港科大的这篇论文发现了其中的“关键少数”——那些在分布上偏离群体平均的Token才是决定推理方向的决策节点。这套方法原理漂亮,效果更惊艳,只更新10%的Token反而吊打全量训练,是RLVR领域的一股清流。一起来看!

阿里最新研究:让LLM学会“连点成线”,长期部署任务成功率飙升76%!
大模型与智能体

阿里最新研究:让LLM学会“连点成线”,长期部署任务成功率飙升76%!

大模型做agent已不新鲜,但让它在真实场景长期部署、边工作边学习、自己积累经验,才是终极形态。阿里CoD论文用强化学习端到端训练LLM学会“连点成线”的元能力,任务序列里第四个任务成功率从28%干到76%,还跨域泛化到没见过的任务上。

Mila等最新研究:告别仿真瓶颈!自博弈训练端到端自动驾驶,效率吊打行为克隆
视觉与图像

Mila等最新研究:告别仿真瓶颈!自博弈训练端到端自动驾驶,效率吊打行为克隆

在继2026年6月推送过‘自动驾驶新突破!LLM+端到端双系统让无人车学会"老司机"思维’之后,今天Mila、蒙特利尔大学等机构的研究者们又开辟了让AI在虚拟世界里‘自己跟自己飙车’以训练端到端驾驶的新范式。其核心在于用超高速模拟器Gigapixel实现像素级自博弈训练,显著提升了模型的闭环鲁棒性,是应对长尾安全问题的一记猛药。

LONGGE AI COMMUNITY

把每天读到的论文,变成长期积累

加入「龙哥读论文」知识星球,持续获取 AI 论文、资讯、开源项目、招聘与研究思路。

加入龙哥读论文微信群:添加微信 kangjinlonghelper,备注“研究方向 + 地点 + 学校/公司 + 昵称”。

龙哥读论文知识星球二维码 微信扫码加入知识星球