Yann LeCun新作|视频预训练算力暴降20倍,丢掉95%Token反而更强
Yann LeCun参与的最新视频预训练工作,把JEPA家族的防坍塌机制全砍了,只用单一编码器加SIGReg正则,预训练算力直接降到原来的二十分之一,甚至95%的token随机丢掉反而精度更高。视频预训练终于不再是算力大户的专属游戏,这篇值得所有做视觉自监督的读者细读。
LONGGE AI RESEARCH DAILY
每天筛选值得关注的 AI 论文,用工程视角拆解方法、实验和真正的落地价值。
目前已发表 1573 篇文章
Yann LeCun参与的最新视频预训练工作,把JEPA家族的防坍塌机制全砍了,只用单一编码器加SIGReg正则,预训练算力直接降到原来的二十分之一,甚至95%的token随机丢掉反而精度更高。视频预训练终于不再是算力大户的专属游戏,这篇值得所有做视觉自监督的读者细读。
宇宙中有些“细线”比银河系还长,却稀有到548个源里只找到12个。这篇论文用LOFAR和ROSAT数据,硬是把这些神秘丝状结构的家底给翻了个底朝天。想看看天文学家怎么在星系团里“找线头”吗?
咱们直接进入正题。当下做企业级AI Agent,说白了就是在跟各种API打交道:日历、项目管理、数据库、通信软件……Agent要干活,就得学会调用这些外部工具。
对抗训练能降低神经网络的叠加表示,这早已被实验观察到,但“为什么”一直缺个说法。这篇独立研究用玩具模型把因果链拆得明明白白:对抗训练就是干脆利落地丢掉非鲁棒特征。逻辑闭环、干净利落,值得一读。
先说说什么是编舞编程(Choreographic Programming)。想象几个分布式角色要协同完成复杂协议,传统做法是给每个角色分别写代码,然后祈祷它们能正确对上。
天文观测也能玩出“密度测绘”!这篇论文用SITELLE高光谱分辨率数据,首次给英仙座星系团中心那团80千秒差距的纤维状星云做了全面“体检”,发现内外纤维存在明显的密度二分性,还和钱德拉X射线数据做了对比,为理解超大质量黑洞反馈与多相气体演化提供了扎实的观测约束。
这可能是量子光学领域最"清爽"的一篇数学物理文章:不堆数值、不靠仿真,纯靠手推就把极化激元束缚态的存在性、个数和频率范围讲得明明白白。方程优雅,结论干脆,适合想体会"推导之美"的硬核读者。
这篇工作把扩散模型去模糊从“一键生成”变成了“手动调档”,引入了类似音量旋钮的模糊度量(BM),让用户自己决定要锐化多少、生成多少细节。还实打实对比了ControlNet适配和全量微调两条路线,结论清晰,落地感强,值得做图像恢复和摄影后处理的朋友读一读。
先来一个最直观的画面:给你一个奇形怪状的凸体K,让你找一个体积最大的椭球塞进去,或者找一个体积最小的椭球把它包起来。前者叫John椭球,后者叫Löwner椭球。
“防弹衣上的拓扑学”——这话听起来像段子,但确实是理解这篇论文最贴切的一幅画面。
传统遗忘评测只问「忘没忘」,不问「能不能被硬撬开」。巴伊兰大学这篇论文把两件事同时做了:一是用边界知识检查误伤,二是拿越狱攻击检验假遗忘。看完实验只想说:不少模型连「表面失忆」都算不上,顶多是「装死」。
太空机器人一旦硬件故障,传统强化学习就抓瞎——因为真空中根本算不出奖励信号。卢森堡大学这篇工作把世界模型玩出了新高度:预训练阶段把奖励函数"记住"在隐空间里,部署后冻结奖励预测器、只更新转移动力学,60分钟无监督数据就能让机器人自我修复。三大任务、代码开源、效果诚实不吹牛,值得一读。
LONGGE AI COMMUNITY
加入「龙哥读论文」知识星球,持续获取 AI 论文、资讯、开源项目、招聘与研究思路。
加入龙哥读论文微信群:添加微信 kangjinlonghelper,备注“研究方向 + 地点 + 学校/公司 + 昵称”。
微信扫码加入知识星球