东南大学自动驾驶：PlanWAM用规划塑造未来表征

龙哥导读：

自动驾驶真正难的地方，不是看见前方有车，而是提前判断几秒后这辆车会怎样动，并把判断变成安全轨迹。东南大学等单位提出的 PlanWAM 没有把世界模型做成“未来视频播放器”，而是让未来表征直接接受规划任务的塑形：只保留那些真正能帮助车辆选路线的信息。

这件事听起来像一句训练技巧，实际改变的是世界模型的目标。过去的未来预测常常追求画面像不像，或者特征能不能重建；但驾驶规划关心的是另一组问题：前车会不会突然切入？哪条轨迹更安全？当前的判断，几秒后会不会变成碰撞风险？一张看起来逼真的未来图像，如果没有帮助回答这些问题，就可能只是漂亮的旁观者。

PlanWAM的核心路线可以用一句话概括：训练时偷看真实未来，让未来表征学会服务规划；部署时撤掉这条“后视镜”，只用历史画面预测同样的规划型未来。论文在两个导航模拟基准和一个高保真闭环模拟器上分别报告了93.8、90.9和38.7的主指标，重点不只是分数高，而是把“未来预测”与“轨迹选择”绑在了一起。

一、它到底解决了什么问题

传统端到端规划可以直接从历史相机画面生成轨迹。它的优点是链路短，但缺点也明显：模型往往要把“观察场景”和“预测变化”压缩在同一次决策里。一旦遇到动态交通参与者，模型不仅要知道现在发生了什么，还要估计未来的演化，再决定向左绕、减速还是保持路线。

于是研究者加入世界模型，让系统先得到一个未来状态表征，再把这个表征交给规划器。问题在于，未来表征应该长什么样？如果训练目标只是重建未来像素，它可能花很多容量记住颜色、纹理和细节，却没有把注意力放在会改变轨迹的交通关系上。PlanWAM的答案是：不要先定义一个“看起来完整”的未来，而要让规划损失反过来决定未来表征保留什么。

二、方法：训练时看未来，部署时靠历史推未来

第一步是压缩历史。系统使用四个历史时刻、四个摄像头的观察，并通过“时间寄存器金字塔”分配信息预算。越接近当前时刻，保留的查询越多；越久远的历史，压缩得越强。四个时间层的查询数是4、4、8、16，每个摄像头最终得到128个历史令牌。直觉很简单：刚刚发生的变化往往更值得规划器关注，几秒前的画面仍有用，但不能占满记忆。

时间寄存器金字塔：近期历史分配更多查询，远期历史压缩得更强。图片来源：PlanWAM官方项目页。

第二步是建立训练专用的未来后验分支。它可以读取真实的未来多视角画面，把未来信息变成未来潜在表征。关键在于，这个表征不接受单独的像素重建任务，而是直接接入轨迹生成器和轨迹评分器。轨迹生成器提出候选路线，评分器判断路线质量，相关损失一路反向传回未来表征。于是，未来表征会优先保留那些影响“走哪条路”的信息。

PlanWAM框架：训练阶段用真实未来塑造目标，部署阶段只保留历史先验分支。图片来源：PlanWAM官方项目页。

第三步是把这份“事后知道的答案”教给只能看历史的先验分支。论文称之为 Hindsight-to-Foresight Distillation，也就是把事后信息蒸馏成前瞻能力。用论文中的符号表示，先验预测未来表征 ẑ，训练专用后验得到目标表征 z，再用带停止梯度的平方误差让二者靠近：

L_latent = 1/(N_z d) · || ẑ_(t+) − sg(z_(t+)) ||²_F

这里的 N_z 是未来令牌数量，d 是每个令牌的特征维度，sg 表示停止梯度，意思是后验目标先固定下来，不让两条分支互相追逐。这个损失的直觉不是“让两个向量长得一样”这么简单，而是让历史先验学会从场景变化中猜出一份对规划有用的未来摘要。部署时，后验分支被移除，车辆只根据历史得到 ẑ，再把它交给轨迹生成与选择。

三、实验结果：优势集中在动态风险判断

在第二版导航模拟基准的测试集上，PlanWAM达到90.9的增强规划分，高于论文对比的最强已学习结果1.0分；碰撞相关指标为99.0，时间到碰撞指标为98.5。第一版基准上的规划分为93.8，也超过论文中的代表性对比方法。单看总分，容易把这理解成全面碾压；但逐列看，提升更集中在对动态场景和轨迹选择有帮助的部分。

原论文Table 1：第二版导航模拟基准测试结果。表中箭头向上表示数值越高越好；PlanWAM的增强规划分为90.9，碰撞相关指标为99.0，时间到碰撞指标为98.5。图片来源：PlanWAM论文原文。

更有说服力的是零样本闭环模拟器。模型没有针对这套模拟器再训练，平均路线完成率为53.7，综合驾驶分为38.7；在困难和极困难场景中，综合驾驶分分别为35.6和22.0。这里的价值在于跨环境验证：模型在导航模拟基准上学到的前瞻表征，换到另一套高保真闭环模拟环境后仍然参与决策。但它仍是仿真评测，不能直接等同于真实道路安全表现。

定性结果：左侧展示导航模拟中的轨迹对比，右侧展示高保真闭环模拟中的跨数据域滚动。图片来源：PlanWAM官方项目页。

四、消融实验告诉我们，真正有效的不是“预测未来”四个字

从基础模型开始，加入时间寄存器金字塔后，规划分从93.1升到93.4；再加入未来表征蒸馏后升到93.5；最后让未来表征同时参与轨迹生成和轨迹选择，达到93.8。这个递进关系很重要：历史压缩解决“看什么”，蒸馏解决“怎样从历史推未来”，规划塑形解决“未来表征最终服务什么”。三个环节不是同一种增益。

另一组实验比较了不同未来目标。通用未来潜变量只有93.5规划分，规划塑造型潜变量达到93.8。把预测未来只用于轨迹生成得到93.5，只用于候选选择得到93.7，同时用于生成和选择才达到93.8。换句话说，未来信息不是放进网络就自动产生价值，关键是它要参与完整的“提出路线—比较路线”过程。

论文还报告了失败类型变化：从基础模型到完整模型，规划分为0的失败数量从314降到237，轨迹选择错误减少87次；无责碰撞和时间到碰撞相关失败分别下降62.3%和52.4%。不过，驶入可行区域相关失败略有恶化，说明PlanWAM的主要收益落在动态场景理解和决策选择，而不是所有安全问题都同步改善。

失败分析：完整模型减少了总体失败和轨迹选择错误，但不同失败类型并非全部下降。图片来源：PlanWAM官方项目页。

五、工程上最值得追问的三件事

第一，训练时的未来信息会不会造成部署落差？ PlanWAM的部署分支确实只读取历史，论文也把后验限定为训练用途。蒸馏实验说明先验能够接近后验的潜在表征，但这种接近依赖训练数据覆盖的交通变化。如果真实道路出现训练分布外的交互，先验预测错了未来，规划器仍可能把错误的前瞻信息当成依据。

第二，指标提升是否来自更强的计算和数据配置？ 论文使用视觉预训练骨干和低秩适配，两个训练阶段在16张A800上完成，规划器每次生成64条候选轨迹。论文给出了控制变量消融，但没有把所有训练成本、数据规模和推理时延压缩成一个单一的工程账本。实际部署需要继续确认端到端延迟、显存占用、传感器缺失和长时间运行稳定性。

第三，世界模型的“未来”究竟是画面还是决策摘要？ PlanWAM没有追求完整生成未来视频，而是学习一个规划型潜变量。这种取舍能减少无关细节，让模型更专注于轨迹；代价是表征的可解释性和可视化程度较低。它适合回答“哪个动作更好”，不等于已经回答“未来每个像素会怎样变化”。

龙哥点评

PlanWAM最值得肯定的地方，是把一个容易被说空的问题落到了训练接口上：未来表征不是越丰富越好，而是要对规划有用。它用训练时可获得的真实未来，教出部署时不可直接获得、但可以从历史中预测的规划型摘要，再让这份摘要同时进入轨迹生成和候选选择。这个设计比单纯把世界模型接在规划器前面更有针对性。

但这项工作的价值应放在“更会利用未来信息”上，而不是“自动驾驶已经解决安全问题”。公开导航基准和高保真闭环模拟结果说明方法有效，失败分析也显示动态风险相关错误明显减少；可行驶区域错误、真实道路分布外场景、推理时延和传感器异常仍然是下一步要补的环节。对研究者，它提供了一种设计未来表征的思路；对工程团队，它提醒大家先定义未来信息要服务的决策，再选择预测目标。

主要参考资料

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。