← 返回 PaperDaily
视觉与图像
自动驾驶告别特权信息！Valeo.ai 500亿步开创新范式
继6月聊过Mila的Gigapixel自博弈训练之后，Valeo这篇Pictura直接更进一步：把强化学习的观察空间从特权矢量换成了摄像头第一视角的渲染图，彻底消除了部署时的表征鸿沟。500亿步训练后，效果居然还能跟特权基线掰手腕，零样本迁移到Waymo场景甚至反超——这才是自博弈该有的样子。
龙哥读论文
发布于 2026-08-14 09:11:34
阅读 4
查看原文
原论文信息如下：
自博弈驾驶的“特权”困境：为何现有方法难以部署
想象一下这个场景：你正在考驾照，坐在副驾驶的教练突然告诉你，“别担心，我能看到墙后面的行人，而且我知道前面那辆车的精确速度，你按我说的开就行。” 你听了教练的话，顺利通过了考试。但当你独自上路时，你的视野里只有摄像头看到的东西，墙后面有什么你完全不知道。这时候，你还能像考试时那样安全驾驶吗？
这就是当前主流自动驾驶自我对弈（Self-Play）训练策略的尴尬处境。为了让智能体在模拟器中通过大量交互学习鲁棒的驾驶行为，研究者们通常使用一个“黄金视角”——即直接从模拟器内部状态中提取出所有智能体、道路、信号灯的精确位置和速度，压缩成一个紧凑的矢量状态。这就是所谓的 特权观察
这种做法的好处是效率极高。像Gigaflow (由同行研究提出) 这样的工作已经证明，在足够大规模的自博弈训练下，仅凭矢量状态就能涌现出极其鲁棒的驾驶行为，甚至能零样本迁移到未见过的地图上。但它最致命的缺陷在于 表征鸿沟
为了解决这个问题，一个常见的补救措施是“知识蒸馏”（Knowledge Distillation）：先用特权矢量策略训练一个老师，再用摄像头图像作为输入，让学生模仿老师的决策。但这样就会引出一个经典问题：老师做出的某些决策依据，学生根本看不见，这种“盲目模仿”会让学生学到一些无法自洽的行为，在某些极端场景下突然崩溃。前人工作LEAD (由同行研究提出) 就详细记录并分析了这种失败模式。
Pictura 这篇论文的出发点非常干脆：既然蒸馏有这么多问题，那能不能从根本上把特权信息去掉，让智能体在训练时就只能看到它“应该看到”的东西？也就是说，让智能体直接在模拟器的第一视角（Perspective View）图像上进行自我对弈学习。
这一思路看似简单，实则触及了自动驾驶模拟训练的核心矛盾。在传统的矢量自博弈框架中，智能体接收到的状态向量通常包含自车坐标、速度、朝向角、车道中心线偏移、前方车辆相对位置与速度、交通信号灯状态等几十维甚至上百维的精确数值。这些信息在模拟器中唾手可得，但在真实世界中，任何传感器都无法直接输出如此干净、完整、无噪声的数值。摄像头图像需要经过目标检测、跟踪、测距等一系列感知模块才能转化为类似的结构化信息，而这一过程本身就引入了延迟、误差和漏检。因此，训练与部署之间的“感知鸿沟”不仅仅是模态差异，更是信息完备性与可靠性的根本差距。Pictura选择从源头消除这一差距，让智能体在训练阶段就直面感知的不确定性和遮挡问题，从而迫使它学会从有限的视觉线索中推断出完整的驾驶决策。
Pictura：每秒500K步的GPU原生透视渲染器
然而，想让智能体在模拟器中看图像，说起来容易做起来难。渲染图像的计算开销太大了。
之前的工作之所以都用矢量状态，正是因为矢量模拟器（如GPUDrive）的吞吐量可以达到数百万步/秒，而一旦渲染图像，传统基于游戏引擎的模拟器（如CARLA）速度就会大幅下降，根本无法支撑大规模自我对弈所需的数十亿次交互。
Pictura 的核心创新在于它打造了一个 GPU原生的自定义光栅化器
图1：Pictura 架构概览。将矢量模拟器与GPU光栅化器耦合，每个智能体都能接收到自己的第一视角观察图像。
这个光栅化器的设计非常巧妙，其核心思路可以概括为：用计算换取速度
它没有使用传统的图形渲染管线（Graphics Pipeline），而是用自定义的CUDA核函数在GPU的通用计算核心上完成光栅化。这样做有几个巨大的好处：
1. 零数据搬运：
2. 与硬件同频进化：
3. 部署友好：
在这种设计下，Pictura的渲染效率达到了惊人的程度。下图清晰地展示了它的性能。
图2：Pictura 光栅化器性能对比。左图：与已有工作在不同分辨率下的吞吐量对比；右图：在A100L和H100上的硬件扩展性。
从图2可以看出，Pictura的CUDA光栅化器在吞吐量上大幅超越了前辈RAP和Gigapixel。即使在默认的96x54低分辨率下，也能达到约500K个智能体步/秒的渲染速度，换算成图像就是每秒200万帧（4个摄像头）。更关键的是，光栅化只占了整个训练迭代的约10%，不再是训练的瓶颈。
为了更深入地理解Pictura渲染器的设计细节，我们需要拆解其光栅化流程。传统图形管线中，几何数据（三角形顶点）需要经过顶点着色器、几何着色器、裁剪、光栅化、片段着色器等多个固定功能阶段，每个阶段都由专用的硬件单元处理，数据在单元之间流动时存在固定的延迟和带宽限制。Pictura的自定义CUDA核则完全绕过了这些固定功能单元，直接在通用计算核心上执行一个高度简化的光栅化算法：对于每个智能体的每个摄像头，它首先根据摄像头的外参（位置、朝向）和内参（视场角、分辨率）构建投影矩阵，然后将场景中所有几何图元（车辆立方体、道路折线、交通灯圆盘等）从世界坐标系变换到屏幕坐标系，最后通过一个并行的像素填充核将图元的颜色写入对应的像素位置。整个过程完全在GPU显存内完成，不涉及任何CPU-GPU数据传输，也不依赖任何图形API（如OpenGL或DirectX）。这种设计的另一个优势是灵活性：研究者可以轻松地修改渲染内容，例如增加语义分割通道、深度图输出或自定义的交通参与者标识符，而无需修改底层图形管线。
Pictura渲染器的性能扩展性同样值得关注。论文在A100和H100两种GPU上进行了对比测试，结果显示在96x54分辨率下，A100的吞吐量约为350K步/秒，而H100达到了500K步/秒，提升约43%，这与H100在通用计算核心数量上的提升幅度基本一致。相比之下，基于图形管线的Madrona引擎在相同硬件换代下性能反而下降了约15%，这是因为H100的图形管线频率和效率并未同步提升。这一对比有力地证明了Pictura“用计算换取速度”设计理念的前瞻性——随着GPU通用计算能力的持续增长，Pictura的渲染性能将自动受益，而传统图形管线则可能陷入瓶颈。此外，Pictura还支持多摄像头配置，默认使用4个摄像头（前、后、左、右），每个摄像头生成96x54像素的RGB图像，总计约20,736像素。对于需要更高分辨率的场景，Pictura也提供了192x108和384x216的选项，尽管吞吐量会相应下降，但即使在384x216分辨率下，仍能达到约80K步/秒，足以支撑中等规模的自博弈训练。
Alberti：首个从第一视角图像训练的自博弈驾驶策略
有了Pictura这个高效的模拟器，Valeo.ai团队在此基础上训练了他们名为 Alberti
Alberti的训练完全遵循《论绘画》的精神：它只依靠从透视图中看到的二维图像来学习驾驶。
图3：Alberti 策略架构。用ConvNet提取图像特征，通过交叉注意力池化为场景令牌。
Alberti的策略架构也有它的独特之处。它采用了一个从零开始训练的轻量级卷积网络（ConvNet）来编码每个摄像头的视图。
然后，它使用一组可学习的查询令牌（Learned Query Tokens），通过交叉注意力机制（Cross-Attention）将特征图“池化”成固定数量的场景令牌（Scene Tokens）。这个设计相比简单的全局池化更灵活，也能处理不同分辨率的输入，确保模型能够灵活地关注到画面中最重要的区域——比如远处的红绿灯或者近处突然闯入的行人。
整个训练过程使用了最简单的PPO（Proximal Policy Optimization，近端策略优化）算法，没有使用任何特权教师或辅助监督。训练的规模达到了史无前例的 500亿个智能体步
下图展示了Pictura和Alberti的宏大训练规模，看着确实让人印象很深。
图4：Pictura 训练规模概览。500亿步、3500万公里、1750年的驾驶经验。
Alberti的网络架构设计体现了对视觉自博弈任务的深刻理解。卷积编码器部分采用了类似ResNet-18的轻量级结构，但将通道数缩减为原始ResNet-18的一半（即每层卷积的滤波器数量减半），从而在保持足够表征能力的同时大幅降低计算量。具体来说，每个摄像头的96x54x3图像首先经过一个7x7卷积层（步长2），随后经过4个残差块组，每个组包含2个3x3卷积层，特征图尺寸依次减半，通道数依次为32、64、128、256。最终每个摄像头生成一个8x4x256的特征图。然后，8个可学习的查询令牌（每个令牌维度为128）通过交叉注意力机制与所有摄像头的特征图进行交互，生成8个128维的场景令牌。这些场景令牌随后被送入一个2层的Transformer编码器（隐藏维度256，4个注意力头）进行全局信息融合，最后通过一个线性层输出动作的均值和标准差。整个网络参数量约为1200万，在H100上单次前向推理仅需约0.3毫秒，远低于渲染时间，因此推理不会成为训练瓶颈。
训练细节方面，Alberti使用PPO算法，裁剪系数ε=0.2，学习率3e-4，GAE参数λ=0.95，折扣因子γ=0.99。每个训练迭代包含1024个并行环境，每个环境运行128步，因此每次迭代产生约131K步的经验。奖励函数设计也值得关注：主要奖励包括前进速度奖励（鼓励车辆以目标速度行驶）、碰撞惩罚（-10）、偏离道路惩罚（-5）、闯红灯惩罚（-5）以及到达目标奖励（+20）。此外，还包含一个小的动作平滑奖励（鼓励加速度和转向角的平滑变化），以防止策略产生抖动行为。所有奖励项都经过归一化处理，使得奖励量级在训练初期保持稳定。值得注意的是，Alberti完全没有使用任何形式的特权信息或辅助任务（如深度估计、语义分割等），纯粹依靠视觉输入和奖励信号进行端到端学习。这种简洁的设计使得训练流程非常干净，也便于后续的分析和扩展。
去特权化评估：零样本迁移超越特权基线
说了这么多技术细节，最后还是要看效果。Valeo的团队进行了一系列严格的实验来验证Alberti的实际能力。他们对比了两种基线：
Vectorized
Vectorized†
域内测试（In-domain）：
零样本迁移（Zero-shot）： 1/2.5
这个结果非常反直觉，但仔细分析后会发现其中深刻的道理。
这是因为特权矢量状态是“硬编码”的几何和数字，它精确地知道每条车道的曲率、每个路口的位置。当从手绘的CARLA地图迁移到真实世界的Waymo路网时，这些精确数字的分布发生了巨大变化，导致“知识迁移”出现偏差。
而Alberti看到的则是经过光栅化后的“图像”。无论是CARLA的模拟车道，还是Waymo的真实车道，在它的“视觉词汇表”里都是一样的：一条有颜色的、边界的像素带。观察模态的一致性，反而带来了更强大的泛化能力。
此外，论文还通过分辨率扫描实验发现，即使将渲染分辨率大幅降低到32x18，Alberti的基础安全指标依然稳定，只是任务完成率会下降。这说明大量的驾驶知识是在“结构”中，而非“纹理”里。
图5：分辨率扫描实验。驾驶性能指标和训练吞吐量在不同渲染分辨率下的表现。
为了更全面地评估Alberti的性能，论文还进行了多组消融实验。首先，他们对比了不同训练步数下的性能曲线，发现Alberti在约200亿步后性能趋于饱和，而特权基线在100亿步后就已经收敛。这说明视觉自博弈需要更多的交互来学习从图像中提取有效信息，但一旦学成，其泛化能力更强。其次，他们测试了不同摄像头数量（2、4、6个）对性能的影响，发现4个摄像头（前、后、左、右）是最优配置，2个摄像头（仅前、后）会导致后方盲区增加碰撞率，而6个摄像头（增加前左、前右）带来的提升微乎其微，反而增加了计算开销。此外，论文还对比了不同查询令牌数量（4、8、16个）的效果，发现8个令牌在性能和效率之间取得了最佳平衡，4个令牌会导致信息丢失，16个令牌则增加了计算量但性能提升有限。
在零样本迁移实验中，论文还额外测试了Alberti在WOMD布局上的行为模式。他们发现，Alberti在面对真实世界的复杂路口时，会表现出更谨慎的驾驶风格：在接近路口时提前减速，在视野受限的弯道处降低速度，并在汇入车流时等待更长的间隙。相比之下，特权基线在迁移后仍然保持着在CARLA中习得的“自信”风格，导致在真实世界布局中更容易发生碰撞。这一现象进一步印证了视觉自博弈策略的泛化优势：由于Alberti在训练时就已经习惯了从有限的视觉信息中推断环境状态，它在面对新的视觉场景时能够自然地调整行为，而特权基线则因为训练时依赖了精确的数值信息，在数值分布发生变化时无法有效适应。
为什么“看见”才是关键：跟踪与反事实分析
为了进一步探究Alberti学到了什么，团队还进行了一些定性分析。他们尝试跟踪模型在推理时的注意力图，发现Alberti确实学会了关注对驾驶至关重要的视觉元素，比如前方的车道线、红绿灯以及行人。
它在行驶时，会表现出与人类驾驶员相似的逻辑：在遮挡多的场景中会自然减速，在视线恢复后又会重新加速。这表明，视觉自博弈训练出的策略不仅仅是刻板的“行为克隆”，它确实学会了一种基于视觉感知的、具有常识性的驾驶逻辑。
论文还进行了一项特别有启发性的反事实分析：他们故意在测试时遮挡Alberti的部分摄像头视野，观察其行为变化。当遮挡前方摄像头时，Alberti会立即减速并尝试向侧面移动以获取更好的视野，类似于人类驾驶员在视线受阻时的反应。当遮挡后方摄像头时，Alberti在变道前会变得更加犹豫，并更频繁地检查侧方视野。这些行为表明，Alberti不仅学会了从图像中提取信息，还学会了理解不同摄像头视角的重要性，并据此调整驾驶策略。相比之下，特权基线在同样测试中表现出了完全不同的行为模式：由于它训练时依赖的是全局矢量状态，遮挡摄像头对其行为几乎没有影响，因为它根本不依赖视觉输入。这恰恰说明了Pictura方法的根本优势——它训练出的策略天然地适应了视觉感知的局限性，而不是像蒸馏方法那样试图“假装”拥有完整信息。
注意力图的可视化分析进一步揭示了Alberti的内部工作机制。通过将交叉注意力层中查询令牌对特征图的注意力权重映射回原始图像空间，研究者发现不同的查询令牌学会了关注不同的语义区域：一个令牌专注于前方道路和车道线，另一个令牌关注前方车辆和行人，第三个令牌关注交通信号灯和标志，还有令牌负责监测侧方和后方的交通参与者。这种隐式的语义分工使得Alberti能够同时处理多个驾驶子任务，而无需显式的任务分解或模块化设计。值得注意的是，即使在低分辨率（96x54）下，注意力图仍然能够清晰地定位到小目标（如远处的行人或红绿灯），这说明卷积编码器在低分辨率下仍然保留了足够的空间信息，而交叉注意力机制则有效地从这些信息中提取了关键内容。
从光栅化到真实世界：已有路径与未来挑战
Pictura的提出，为驾驶自博弈训练打开了一扇新的大门。它证明了“去特权化”的可行性和价值。但我们也必须看到，从模拟中的光栅化图像到部署在真实车辆上的摄像头画面，中间还差着一道名为“视觉域适应”的鸿沟。
这篇论文也坦诚地将其留作未来工作。目前Alberti在模拟器中表现优秀，但要将它迁移到真实世界，还需要结合真实图像数据或域适应技术，例如利用生成模型将光栅化图像风格化，或采用已有的蒸馏方法。但无论如何，Pictura都为此提供了一个更健康的起点——它的策略先天就适应了透视观察的局限性，不会再出现“强师教出弱徒”的尴尬情况。
针对模拟到现实的迁移，论文提出了几种可行的技术路线。第一种是风格迁移方法：利用CycleGAN或CUT等无监督图像翻译模型，将Pictura渲染的光栅化图像转换为具有真实感的图像，同时保持场景的几何结构不变。这样，Alberti就可以在风格化后的图像上进行微调，逐步适应真实世界的视觉分布。第二种是混合训练方法：在自博弈训练过程中，随机对光栅化图像施加数据增强（如颜色抖动、高斯噪声、模糊等），使策略学会对视觉变化保持鲁棒。第三种是蒸馏方法：将Alberti作为教师，在真实图像上训练一个学生网络，但由于Alberti本身就是在视觉输入上训练的，这种蒸馏不会出现传统方法中“教师看到学生看不到”的问题。论文指出，这些方法各有优劣，但共同的前提是Pictura提供了一个更健康的起点——它的策略已经学会了从视觉信息中推理驾驶决策，而不是像特权策略那样依赖不可迁移的数值信息。
除了模拟到现实的迁移，Pictura和Alberti的工作还面临其他一些挑战。首先是计算资源的门槛：500亿步的训练需要32块H100运行13小时，这对于大多数研究团队来说是一个不小的开销。不过，论文也指出，Alberti在200亿步时就已经达到了接近饱和的性能，因此实际训练时可以适当缩减规模。其次是红绿灯识别问题：在域内测试中，Alberti的闯红灯率明显高于特权基线，这主要是因为低分辨率下红绿灯只占几个像素，难以准确识别。未来的改进方向包括使用更高分辨率的输入、在策略网络中增加专门的小目标检测模块，或者结合高精度地图先验信息。最后是动态场景的复杂性：目前Pictura的渲染只包含了车辆、行人、道路和交通灯等基本元素，尚未模拟施工区域、临时路障、交警手势等更复杂的场景。将这些元素纳入渲染管线将是扩展Pictura适用性的重要一步。
龙迷三问 Q1: Pictura的渲染器为什么能这么快？和传统游戏引擎（如CARLA）的渲染有什么本质区别？
Q2: Alberti在域内测试中红绿灯识别这么差，是否说明这个方向不行？
Q3: 论文说这是一个“去特权化”的模型，但为什么在Waymo数据上表现反而更好？
如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~
龙哥点评 论文创新性分数： ★★★★☆
移除蒸馏步骤，直接在透视视图上进行大规模自博弈训练，这个思路干净、漂亮。虽然不是从0到1的范式革命，但在工程和训练范式的创新性上非常高。实验合理度： ★★★★★
实验设计非常严谨。设置了有/无特权信息的两种基线，做了细致的消融和分辨率扫描，零样本迁移实验的设置也很有说服力，结果详实，令人信服。学术研究价值： ★★★★★
这篇论文证明了“无需特权信息”的自博弈训练是可行的，这会引导整个学术和工业界重新审视大规模模拟训练的范式，价值极高。稳定性： ★★★★☆
在模拟环境中，面对不同密度、不同地图，表现稳定。但在真实驾驶场景等模拟到现实的迁移过程中，其性能能否保持稳定，论文没有给出结论。适应性以及泛化能力： ★★★★★
在CARLA地图内泛化良好，而且零样本迁移到WOMD布局后全面超越特权基线，展现了极强的概念泛化能力。这是论文最大的亮点。硬件需求及成本： ★★★☆☆
训练算力需求巨大（500亿步，13小时x32块H100），但推理时模型很小，速度很快。训练成本高，但使用成本低。复现难度： ★★★★☆
论文开源了项目，网络结构、训练细节、渲染参数都写得非常清楚。只要准备好H100级别的算力，复现结果应该是可行的。产品化成熟度： ★★☆☆☆
这是一篇偏向学术研究的论文，距离产品化还有“感知域适应”这一大关要过。但它提出的训练框架和架构设计，产品团队可以直接借鉴来训练更鲁棒的部署模型。可能的问题： 在域内，红绿灯的识别效果差于矢量基线，对实际部署构成挑战。同时，模拟到现实的迁移是大家普遍关心的关键步骤，论文未给出任何结果或明确方案，这是一个重大的未知数。
主要参考文献
[1] Yin, Y., Ramzi, E., et al. Pictura: Perspective-View Self-Play at Scale for Driving. arXiv:2607.26005, 2026. [2] 项目主页与演示视频: https://valeoai.github.io/Pictura/ *本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～ 想了解更多原文细节的小伙伴，可以点击 "阅读原文"， 查看更多原论文细节哦！
