自动驾驶告别特权信息!Valeo.ai 500亿步开创新范式
继6月聊过Mila的Gigapixel自博弈训练之后,Valeo这篇Pictura直接更进一步:把强化学习的观察空间从特权矢量换成了摄像头第一视角的渲染图,彻底消除了部署时的表征鸿沟。500亿步训练后,效果居然还能跟特权基线掰手腕,零样本迁移到Waymo场景甚至反超——这才是自博弈该有的样子。
LONGGE AI RESEARCH DAILY
每天筛选值得关注的 AI 论文,用工程视角拆解方法、实验和真正的落地价值。
目前已发表 1811 篇文章
继6月聊过Mila的Gigapixel自博弈训练之后,Valeo这篇Pictura直接更进一步:把强化学习的观察空间从特权矢量换成了摄像头第一视角的渲染图,彻底消除了部署时的表征鸿沟。500亿步训练后,效果居然还能跟特权基线掰手腕,零样本迁移到Waymo场景甚至反超——这才是自博弈该有的样子。
想象一下你在云VR里看演唱会,网络突然卡顿,画面立刻变成马赛克甚至崩溃——SplatStream就是来终结这种尴尬的。它让动态3D高斯泼溅像视频一样支持自适应流传输,带宽不够就降质量但不中断,从粗糙到精细丝滑过渡。是不是很香?
3D高斯泼溅这个计算机图形学的网红,被Temple大学和阿贡国家实验室的团队跨界用到科学数据压缩上,结果直接碾压传统有损压缩器SZ3好几个身位。不仅压缩比高,还能实时交互渲染,宇宙学家们可以欢呼了。看完直呼:还能这么玩?
在视频生成领域,肖像动画一直是个既要保身份又要跟表情的棘手活。传统3DMM渲染生硬,纯扩散模型控制不准。本篇来自TUM和丰田的ViDS巧妙地把3DMM法线图作为视频扩散的条件,实现了精细、稳定的肖像动画生成,FID低至21.29,用户评分领先对手一大截。
打游戏时你有没有想过——这个场景里哪个参数让画面这么亮?哪个材质导致眩光?传统方法得反复调参数试错,而这篇来自Simon Fraser大学的最新论文,把可微渲染的梯度当作“显著性图”,一次反向传播就能告诉你答案。就像Grad-CAM解释神经网络一样,现在轮到渲染器了。
继2026年5月推送的NeoVerse之后,斯坦福又带来一款暴力物理世界模型PhyWM。它没有标注,没有动作标签,仅靠自回归预测光流和RGB,就能零样本完成物体分割、3D操纵甚至Visual Jenga。对机器人、具身智能来说,这是一条通往物理智能的捷径。
你是不是也遇到过这种尴尬:下载了一个精美的3D模型,结果纹理一放大全是马赛克,UV接缝处裂开得像补丁?传统图像超分模型拿到纹理图上直接翻车,生成模型又一味“自由发挥”不保留原细节。浙大团队这次祭出Texture++,用“自适应视角+四叉树掩码+局部单步扩散”三板斧,既保真又无缝,4倍超分PSNR飙到37.53,比SOTA高出1.5个dB,关键是——不需要梯度
一段单目第一人称视频,竟然想同时“读出”身体、手、注视、相机轨迹和深度。ReViV最有意思的地方,不是它又做了一个单任务模型,而是把这些本来就互相牵连的信号,硬是塞进了一个统一生成框架里,还跑得很快。
THz成像最烦的不是“看不见”,而是“看见了也看不清”。这篇工作把3D打印透镜和65nm CMOS源阵列拼成一套完整系统,直接把0.2mm细节、QR码和多层PCB内部结构都拎出来了,工程味很足。
3D场景检索最怕“指令说改一处,系统却把整间屋子都翻了”。这篇工作直接把问题拆成可执行的重排流程,还顺手补了一套新基准,实用性比很多只会讲概念的方案更硬。
多视图Transformer最怕什么?不是算力不够,而是位置编码“认不出同一块内容”。RayRoPE直接把patch绑到射线上,再让模型自己猜深度、补不确定性,结果就是:既要几何一致,又要多频细节,还能保持SE(3)不变。Apple Research这篇,属于把老问题拆开后重新装对了。🤨
高速运动把图像“拍糊”这件事,常见到让人麻木,但真要把它从3D重建里彻底修好,难点就来了。JADE-GS的思路很直接:让事件相机补时间信息,再让3D几何反过来约束2D去模糊,效果和效率都比单向流水线更像样。
LONGGE AI COMMUNITY
加入「龙哥读论文」知识星球,持续获取 AI 论文、资讯、开源项目、招聘与研究思路。
加入龙哥读论文微信群:添加微信 kangjinlonghelper,备注“研究方向 + 地点 + 学校/公司 + 昵称”。
微信扫码加入知识星球