IEEE 2026新作：安全迁移强化学习让换道更稳更快

这篇论文把“老师盯着学”这件事，做成了一个能自适应收放的安全迁移框架。换道这种高风险任务里，它不只管少撞车，还尽量别把效率一起按进地板里，思路挺顺手。

龙哥读论文发布于 2026-08-31 00:20:07 阅读 3 查看原文

#强化学习 #自动驾驶 #模型训练

🐉 龙哥读论文知识星球来了！
公众号每日8篇拆解不够看？星球无上限更AI领域论文、资讯、招聘、招博、开源代码，一站式干货，每日2分钟刷完即赚！
👇扫码加入「龙哥读论文」知识星球，前沿干货、实用资源一站式拿捏～ xingqiu_header

龙哥推荐理由：这篇论文把“老师盯着学”这件事，做成了一个能自适应收放的安全迁移框架。换道这种高风险任务里，它不只管少撞车，还尽量别把效率一起按进地板里，思路挺顺手。

原论文信息如下：

论文标题:
Sample-efficient Transfer Reinforcement Learning via Adaptive Reward Shaping and Policy-Ratio Reweighting Strategy 发表日期:
2026年06月发表单位:
湖南大学、重庆邮电大学、西安高新研究院、中央南大学原文链接:
https://arxiv.org/pdf/2606.26527v1.pdf

自动驾驶换道决策的拦路虎：训练安全与迁移效率的双重挑战

自动驾驶里的换道，看起来像“打个方向盘”的小事，真上路就知道，这活儿比表面复杂得多。车要看前车、后车、旁边车，还得判断自己现在冲过去会不会把场面搞成大型交通事故现场。更麻烦的是，强化学习想把这事学会，往往得先在环境里疯狂试错；可换道这种任务，试错一次可能不是“学到了”，而是“撞到了”。

这篇论文盯上的，就是这个很现实的矛盾：既要训练安全，又要迁移高效。前者保证别把车练成“碰碰车”，后者保证别从零开始慢慢熬到天荒地老。论文的思路很直接：先让一个“老师策略”在简单场景里学出安全经验，再把这份经验带到更复杂的目标场景里，帮助学生策略少走弯路。

图2：本文方法总体框架。老师策略先在简单高速场景中离线训练，随后在复杂场景中通过安全干预、奖励塑形和优化加权三种方式辅助学生策略学习。

化险为夷：教师策略如何让智能车学得又快又稳

先把最核心的逻辑说透：这不是单纯的“拿老师答案抄作业”，而是把老师策略拆成三种作用。第一种是干预动作，在学生太危险时接管；第二种是奖励塑形，把老师的判断变成额外学习信号；第三种是优化加权，让那些更有价值的样本在训练时“说话更大声”。

这里的老师不是神仙，也不是永远正确的“完美驾驶员”，论文自己也说得很清楚：teacher 只是为了辅助学生学习而引入的策略。它的任务不是永远替学生开车，而是在学生最容易犯错的时候，先把局面稳住，再慢慢放手。这个设计很像教新手开车：刚上路时，教练手会忍不住去碰方向盘；等人稍微会一点了，教练就会逐渐收手，不然学生永远学不会自己判断。

图1：方法关键组件示意图。源任务学到的安全知识，被迁移到目标任务中，用来加速学习、提升数据效率并降低安全风险。

为了让读者不被术语绊住脚，先解释几个基础概念。SAC 是 Soft Actor-Critic，中文常译为“软演员-评论家”算法，是一种带熵正则的强化学习方法，擅长在探索和稳定之间找平衡。CMDP 是 Constrained Markov Decision Process，中文叫“约束马尔可夫决策过程”，意思是在“拿高分”之外，还得满足安全约束。THW 是 Time Headway，中文叫“时间车头时距”，说白了就是前车离得够不够远，别一脚油门把自己送进前车后备箱。

深度拆解：自适应干预、奖励塑形与优化加权三管齐下

先看动作空间。论文把换道决策抽象成五类高层动作：左转、右转、加速、减速和巡航。这个设计不追求“方向盘打几度、油门踩几分之几”的精细控制，而是先把决策层面的动作做清楚，方便强化学习更快学会“什么时候该干什么”。

公式含义很直白：动作空间一共五个，分别对应左变道、右变道、加速、减速和巡航。这样做的好处是，策略不用在连续控制里一头雾水，先把离散决策学明白，再去谈更复杂的驾驶细节。

再看奖励设计。源任务里，老师策略的训练不依赖外部任务奖励，而是用一个“内在奖励”去鼓励探索，核心目标是先把安全相关知识学出来。这个内在奖励本质上就是鼓励车辆在状态空间里多走、多看、多积累经验，避免一上来就只会在固定路线里打转。

这里的 r♦ 表示源任务奖励，等于相邻时刻车辆位置变化的二范数。通俗一点说，就是车在路上“动起来”的程度，借这个信号让老师策略先学会更广泛地探索。

目标任务就不再是“随便跑一跑”，而是真正的高速换道。于是奖励函数也变成了三部分：安全、效率和目标完成度。安全项主要惩罚碰撞，效率项鼓励保持合理车速，目标项鼓励尽快并稳定地切到目标车道。这个组合很像开车时脑子里的三句话：别撞、别慢、别绕远。

公式里的 ws、we、wg 分别是安全、效率、目标三项的权重。论文没有把任务简化成“单纯跑得快”，而是明确让安全占住底线，这一点很适合安全关键场景。

效率奖励看的是当前速度和一个合理速度区间的关系。速度太慢，车流效率会被拖垮；速度太快，又可能把安全边界挤没。这个项就是让车别“磨洋工”，也别“赶着去投胎”。

目标奖励则和当前车道与目标车道的距离有关，越接近目标车道，奖励越高。这样学生策略就不会只顾着“活着”，还会知道“什么时候该完成换道”。

安全约束这块也很关键。论文没有只靠奖励里那点“别撞车”去糊弄，而是单独设计了基于 THW 的成本函数。THW 越小，说明跟前车越近，风险越高；低于安全阈值时，成本就会上升。这个做法的意义很明确：安全不是奖励的附属品，而是单独约束。

THW 的中文就是“时间车头时距”，计算方式是前车距离除以当前速度。速度越快，留给反应的时间越少，所以这个指标特别适合衡量高速场景的安全性。

这个成本函数的意思就是：一旦 THW 低于安全阈值，就开始扣分。它让训练目标更像真实驾驶逻辑，而不是单纯追求“多跑几步就算赢”。

这部分最有意思的地方在于，论文没有让老师“全程霸屏”。干预是自适应衰减的：如果学生最近更危险，老师就多管一点；如果学生已经更稳了，老师就少插手一点。这个机制避免了一个常见毛病——老师太爱管，学生永远长不大。

这里的 πmix 就是混合行为策略，𝒯(s) 是干预指示器。它决定当前动作到底由老师出手，还是由学生自己来。换句话说，就是“该老师上就老师上，该学生练就学生练”。

阈值更新规则也挺像“会看脸色”的教练：如果最近违规率高于目标，就降低阈值，让老师更频繁接管；如果违规率更低，就提高阈值，让学生多独立开一会儿。这个机制的好处是，干预强度不是拍脑袋定死的，而是跟着学生状态动态变化。

接下来是奖励塑形。论文把老师策略对动作的“评价”变成了一个额外项：如果当前动作更像老师会选的动作，就给一点 bonus；如果不像，就少一点。这个 bonus 用的是动作在老师策略下的对数概率 log πt(a|s)。它的作用不是替代环境奖励，而是给学生一个更安全、更像老司机的学习方向。

这一步的关键不是“让学生照抄”，而是把老师的安全偏好塞进学生的值函数更新里。于是学生不只是知道“这样做有奖励”，还会逐渐知道“这样做更像安全驾驶”。

这里的 Vnext 是下一状态价值，α 是熵正则系数。熵正则的作用是保留一定探索性，别让策略过早变成“只会一招鲜”。

这个目标值把环境奖励、老师 bonus 和未来价值揉在一起。简单理解，就是告诉学生：别只盯着眼前一脚油门的爽感，还要考虑老师怎么看、未来会不会翻车。

最后是优化加权。论文没有把老师干预样本和学生样本一视同仁地乱混，而是引入了一个基于似然比的权重 ρ。如果学生策略已经能解释老师动作，那这类样本就更值得更新；如果差得太远，就适当压一压，免得把训练带偏。

这个权重本质上是在回答一个很朴素的问题：老师给的这条经验，学生现在吃得下吗？吃得下就多学一点，吃不下就先别硬塞。

这个加权损失用在评论家网络上，意思是：不同来源的样本，不是同样分量。更适合当前策略的样本，更新权重更大；差异太大的样本，更新会被抑制。这样做能减少迁移中的不稳定，避免“老师经验”在分布不一致时反而添乱。

理论保证：混合策略回报的边界分析

这篇论文不是只会“调参讲故事”，还补了一段理论分析，说明混合策略为什么不会完全失控。核心思路是：老师和学生混合之后，策略回报的变化可以被控制在一个和策略差异相关的范围内。换句话说，只要老师和学生之间的差距别太离谱，训练过程就不至于像脱缰野马一样乱飞。

这里的 dπ(s) 表示策略 π 下的状态分布。它告诉我们，策略最终会把自己“活跃”在哪些状态上。

这个不等式的意思是：两个策略的回报差，和它们在每个状态下的动作分布差异有关。分布越接近，回报差异通常越可控；分布差得越大，迁移就越容易出问题。

这条式子把回报差写成优势函数的期望，意思是：如果学生在某些状态下总爱选比老师差的动作，长期回报就会被拖下去。它说明老师指导不是摆设，而是和最终收益直接相关。

论文还用 KL 散度把老师和学生的差异联系起来。KL 散度越大，说明两者越不像；而似然比加权、干预衰减这些设计，正是在尽量把这种差异控制在可接受范围内。

理论部分的价值不在于把式子堆满，而在于说明这套方法不是“凭感觉让老师来帮忙”，而是尽量让干预、奖励和优化三件事形成闭环。老师管安全，学生学策略，权重管稳定，三者各司其职，才不至于一边救火一边添柴。

实战亮剑：实验效果全方位超越基线模型

实验部分的重点很清楚：看这套“老师带学生”的方案，能不能真的比常规方法更安全、更高效。论文用了不同交通密度的高速换道场景，还额外拿真实的 NGSIM US-101 数据集做了验证。NGSIM 是交通领域很常见的真实车辆轨迹数据集，US-101 则是其中一段高速公路场景，能比较真实地反映车流交互。

表I：超参数设置。这里列出了训练时的关键配置，主要是为了保证对比实验尽量公平，也方便复现。

表II：综合对比结果。对比方法包括 SAC、PPO-Lag、TS2C 和本文方法，结果显示本文方法在安全性和效率之间取得了更好的平衡。

表III：在 US-101 数据集上的性能对比。这个结果很重要，因为它说明方法不只是“在仿真里会表演”，在真实轨迹数据上也能站得住。

表IV：消融实验结果。通过去掉安全引导、干预衰减和双源数据训练，论文验证了每个模块都不是摆设，少一个都可能掉链子。

图4：对比实验。包括平均奖励、平均成本和碰撞率三项指标。本文方法收敛更快、更稳，成本更低，碰撞率也更小。

从结果看，本文方法在安全性上提升非常明显，论文给出的结论是，相比基线方法，安全性提升超过 52.2%，效率提升超过 5.0%。这个数字的含义不是“把所有指标都拉爆”，而是说明它在安全和效率这对天然矛盾上，确实找到了一个更顺手的平衡点。

图5：不同方法的换道行为可视化。本文方法换道更平滑，而 SAC 显得有点激进，PPO-Lag 和 TS2C 则更保守，效率被压得比较明显。

这组可视化很有说服力，因为它不是只看单一数字，而是直接看车怎么开。SAC 的问题是动作偏激进，容易连续换道甚至碰撞；PPO-Lag 和 TS2C 虽然更谨慎，但谨慎过头就像新手上路——安全是安全了，效率也一起躺平了。本文方法则更像一个成熟司机：该并线时并线，该稳住时稳住。

图6：NGSIM US-101 场景示意。绿色车是自车，黄色车是周围车辆。这个场景更接近真实车流，能检验方法是否真的能处理复杂交互。

消融实验进一步说明，安全引导、干预衰减和双源数据训练三者是互相配合的，不是随便拼起来的“论文三件套”。少了安全引导，学生不容易学到老师的安全偏好；少了干预衰减，学生会过度依赖老师；少了双源数据训练，老师干预时收集到的高价值样本就浪费了。换句话说，这三块少谁都不行。

图7：消融实验。完整方法在回报、成本和碰撞率上都优于去掉部分模块的版本，说明整体设计是相互支撑的。

图8：干预阈值敏感性分析。不同初始阈值会影响训练曲线，但整体上说明这个参数是可调的，且有明确的性能边界。

实验里还有一个值得注意的点：论文并没有只在一个“好看”的场景里秀肌肉，而是把不同交通密度、真实数据集和消融分析都摆出来了。这样的设计比较像认真做实验，而不是只挑一张最能发朋友圈的图。整体上，它证明了这套方法在安全关键迁移学习里确实有实用价值。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

这篇论文到底解决了什么问题？它解决的是自动驾驶换道里“训练不安全”和“迁移不高效”同时存在的难题。方法通过老师策略干预、奖励塑形和优化加权，让学生策略在复杂目标场景里更安全、更稳定地学会换道。

THW 和 CMDP 是什么意思？THW 是时间车头时距，用来衡量跟车安全距离；CMDP 是约束马尔可夫决策过程，意思是强化学习除了追求高回报，还必须满足安全约束。换道这种任务，光会“拿分”不够，还得“守规矩”。

为什么要同时用干预衰减、奖励塑形和样本加权？因为这三件事对应的是三类不同问题：干预衰减解决“老师别管太死”，奖励塑形解决“学生别只会乱试”，样本加权解决“不同来源的数据别一锅端”。三者合起来，才能让迁移既安全又不至于训练发散。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★☆

把安全干预、奖励塑形和优化加权放在一个迁移框架里，思路比较完整，不是单点小修小补。

实验合理度：★★★★☆

既有不同交通密度的仿真对比，又有真实 NGSIM 数据验证，还有消融实验，整体比较扎实。

学术研究价值：★★★★☆

对安全关键场景下的迁移强化学习有明确启发，尤其适合自动驾驶这类“不能乱试”的任务。

稳定性：★★★☆☆

理论和实验都在帮它稳住，但本质上仍依赖老师策略质量与阈值设置，换场景时还要继续验证。

适应性以及泛化能力：★★★☆☆

对高速换道和真实轨迹数据有一定适应性，但更复杂城市道路或长尾交通行为还需要额外测试。

硬件需求及成本：★★★☆☆

比纯从零探索更省样本，但 teacher-student 双策略训练和多项机制叠加，训练成本不算低。

复现难度：★★★☆☆

方法细节给得比较全，但涉及环境构建、约束设计和多模块联动，复现还是有一定门槛。

产品化成熟度：★★★☆☆

适合做安全辅助决策研究原型，离真实车规级落地还差更多极端场景验证和系统级测试。

可能的问题：方法依赖老师质量和阈值设定，真实复杂交通中若 teacher 不够强，迁移收益可能受限。

主要参考文献

[1] Wenjie Huang, Yang Li, Jingjia Teng, Mingwei Jin, Kai Song, Yougang Bian, Yongfu Li, Qisong Yang, Helai Huang. Sample-efficient Transfer Reinforcement Learning via Adaptive Reward Shaping and Policy-Ratio Reweighting Strategy. arXiv:2606.26527v1, 2026.

[2] NGSIM US-101 dataset. 用于真实交通轨迹场景验证。

*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！

欢迎加入龙哥读论文粉丝群，扫描下方二维码或者添加龙哥助手微信号加群：kangjinlonghelper。一定要备注：研究方向+地点+学校/公司+昵称（如图像处理+上海+清华+龙哥），根据格式备注，可更快被通过且邀请进群。
『龙哥读论文』微信群目前包含：图像处理、大模型及智能体、自动驾驶及机器人、AI医疗及AI金融5个群
高速路上学换道，星球里学读论文；想看更多自动驾驶、强化学习、安全迁移的拆解，欢迎来一起“抄作业”🚗📚