阿里与北大多主体视频生成：DIAL让人脸相似度31.81%升至60.64%

龙哥导读

给模型几张人物参考图，再让它生成一段多人视频，最怕的不是画面不够华丽，而是人物拍着拍着“串脸”、衣服变色、某个主体直接消失。阿里与北大这项工作没有再加一个外部识别器，而是从模型内部找到一张天然的“主体定位图”，把身份保持变成可调旋钮。最亮眼的一组结果是：同一骨干上，人脸相似度从31.81%升至60.64%。

生成单个人的视频已经不轻松，生成两三个人、几件物体同时出现的视频更麻烦。参考图里的每个主体都要被认出来，人物之间不能互相借脸，衣服、发型和物件也不能在运动过程中悄悄换主人。

过去的办法通常把“像参考图”当成训练时固定好的模型性格：有的模型非常听参考图，却像把照片硬贴到视频里；有的画面自然，但主体一动就不像了。真正缺少的不是又一个更大的模型，而是一只可以在推理时拧动的“身份保持旋钮”。

图1：上半部分展示身份保持过强或过弱，下半部分展示主体消失、属性漂移和多参考对象身份纠缠。来源：论文 Figure 1。

一、多人视频为什么特别容易“串脸”

可以把视频生成想成一场持续几十步的集体绘画。模型从一片噪声开始，先决定人物站在哪里、做什么动作，再逐渐补出脸、衣服、头发和背景纹理。每一步都要同时听文本提示和参考图，但参考信息并不会自动贴着正确的人走。

当参考主体只有一个时，注意力偶尔偏一点，模型还有机会靠整体语义修回来。主体变多后，同一个空间位置可能同时收到多张参考图的特征。某个人的脸部特征被送到另一个人的位置，身份纠缠就出现了；早期布局里少放了一个主体，后面再精细地去噪也很难把人补回来。

论文把问题拆成两类。第一类是身份保持强度不可控：训练数据决定模型到底多听参考图，用户只能接受。第二类是语义漂移：主体会消失，属性会改变，多张参考图会互相污染。两类问题表面不同，底层都指向同一个疑问：模型在每一步到底把注意力放到了谁身上？

二、关键发现：模型内部本来就藏着一张主体地图

研究团队逐层、逐时间步检查参考图与视频空间之间的注意力。他们先用主体分割掩码作为位置参照，再观察不同注意力模块是否真的对准主体。大多数模块的响应很分散，像一张有噪声的热力图；但少数特定模块会出现明显峰值，响应区域与主体轮廓高度重合。

论文把这类内部信号称为内生主体空间定位注意力（ISGM）。它不是额外训练出来的分割器，也不是推理时另跑一次视觉模型，而是扩散模型在处理参考主体时自然形成的注意力结构。简单说，模型虽然会犯串脸错误，但它身体里已经有一块“知道人在哪里”的模块。

图2：多数注意力模块响应分散，特定模块会形成与参考主体空间位置一致的集中峰值，论文据此提取内生主体空间定位图。来源：论文 Figure 2。

这个发现很重要，因为它改变了控制思路。传统方法常常再加一个外部条件网络，让系统学习“哪个主体该出现在哪”。DIAL选择直接复用模型内部已经形成的定位能力：既然模型知道主体在哪，就用这张图反过来约束后续注意力。

不过这张图并非从第一步就可靠。去噪早期，画面结构还没形成，定位图比较模糊；去噪后期，主体轮廓逐渐清楚，定位才稳定。论文没有强行用一种办法贯穿全部时间步，而是顺着这个变化设计了两个阶段。

三、第一阶段：画面成形后，用定位图拧动身份旋钮

在低噪声阶段，人物的大致位置已经稳定，定位图也开始贴合主体。DIAL先取上一个去噪步骤的定位图，把它转成主体对应的空间区域，再为当前步骤的注意力增加一个区域化偏置。被定位图覆盖的位置，会更强地读取对应参考主体；区域之外不会被同样放大。

其中最关键的变量是γ，它控制偏置强度。γ越大，生成结果越努力保留参考图里的身份特征；γ较小，模型保留更多自由生成空间。多主体场景中，每个主体都有独立的γ，因此可以让主角保持得更像，同时让背景人物更自然，而不是整张画面一起加压。

图3：上一步的主体定位图被转成空间引导，在当前去噪步骤中只增强对应主体区域；不同主体可分别设置引导强度。来源：论文 Figure 3。

这个设计的巧妙之处，是控制发生在推理时，不需要为了每个强度重新训练模型。产品侧可以把γ暴露成高级参数：广告人物需要高度一致时调高，创意短片想保留更多变化时调低。它把过去隐藏在训练数据里的风格，变成了一个可以明确选择的工程参数。

为什么不能直接把整张图的参考注意力都增强？因为那会把背景、纹理和其他主体一起压住，容易出现僵硬、模糊和“贴图感”。区域化定位图只在需要的地方加强身份，类似舞台追光灯只跟着演员走，而不是把整个剧场亮度拉满。

从计算过程看，当前步骤先读取上一时刻的主体定位响应，再通过阈值把高响应区域变成掩码。模型随后把这个掩码扩展成“哪些视频位置可以读取哪些参考主体”的关系矩阵。最后，关系矩阵经过对数变换和γ缩放，加到原有注意力分数上，再进入归一化。这样做不是替换模型原来的判断，而是在已有分数旁边增加一股有空间范围的推力。

这里的“上一时刻指导下一时刻”也很关键。如果直接用当前步骤尚未完成的响应去改当前步骤，会形成难以控制的自我依赖。延迟一步使用，相当于先让模型给出一次定位，再在下一轮利用这个定位修正路线。代价是定位误差也可能被传递，所以论文只在定位逐渐稳定的后80%去噪过程启用。

四、第二阶段：画面还很乱时，先让模型学会选对主体

早期高噪声阶段更难。此时定位图边缘松散，直接把它作为硬引导，可能把错误位置越推越强。但早期步骤又决定了人物数量、位置和大体布局，一旦这里把主体漏掉，后面很难补救。

DIAL的做法是不用模糊定位图直接指挥，而是用它来“评卷”。同一训练样本换不同随机种子，会得到多条早期去噪轨迹。团队计算每条轨迹的定位图与真实主体掩码有多大重合，重合更好的作为偏好样本，重合更差的作为被拒样本。

评分可以直观理解为：对每个主体，把“定位图落在正确掩码里的响应”除以“定位图的全部响应”，然后对所有主体求和。分子越大，说明注意力更多落在正确对象上；分母保证不是靠无脑放大整张图得高分。这个分数不需要人工逐段观看视频，也不需要额外奖励模型。

图4：两条随机种子轨迹按定位图与主体掩码的重合程度形成偏好对，再通过多步直接偏好优化，让模型更早锚定正确主体。来源：论文 Figure 4。

接下来，模型通过多步直接偏好优化学习更好的轨迹。它不是要求每一帧复制训练视频，而是让早期注意力更愿意选择那些能对准参考主体的内部路径。第一阶段负责“画面成形后精准加力”，第二阶段负责“画面成形前别把人放错”。两者正好覆盖不同噪声区间。

偏好训练采用多步而不是只比较一个终点，也符合视频扩散的特点。早期某一步的布局偏差，可能在后续不断放大；只看最终帧，模型很难知道是哪一步开始走错。多步目标把改进压力分散到连续轨迹，让主体锚定不是最后一刻的补丁，而是在布局形成过程中持续生效。

自动偏好并不意味着完全没有监督。训练数据仍需要主体掩码，定位分数的定义也来自研究者的设计。它减少的是“让人观看两段长视频并逐对选择”的成本，把明确的空间一致性问题交给可计算规则；至于动作是否自然、情绪是否合适、画面是否有审美，仍然不能只靠这个分数决定。

五、实验怎么做：两个140亿参数骨干、180组提示

论文把DIAL接到两个多主体视频生成骨干上：Kaleido与Phantom模型。两者都建立在140亿参数的视频生成模型路线之上。高噪声阶段的偏好训练使用约1.4万条样本，评测采用开放主体视频评测集，包含180组提示，覆盖单主体和多主体的七类场景。

评价不只看“脸像不像”。论文同时报告美学、运动平滑度、运动幅度、人脸相似度、主体一致性和自然度。这个组合很必要：如果只看身份相似度，模型完全可以通过减少运动、僵化表情或复制参考图来刷分，但那不是一段好视频。

需要注意的是，180组提示足以做系统对比，但仍不是生产规模压力测试。长视频、多镜头切换、极端遮挡、复杂群体运动和真实客户素材，都可能引入新的失败模式。论文证明的是这套机制在两个强骨干和指定评测上的有效性，不等于所有视频生成架构都已经解决身份一致性。

六、最醒目的结果：31.81%升到60.64%

在Kaleido骨干上，原始模型的人脸相似度是31.81%。加入DIAL并把γ设为2时，结果达到43.80%；γ设为8时达到57.46%；γ设为16时达到60.64%。从基线到最高设置，绝对提升28.83个百分点，接近翻倍。

这里真正值得关注的不是单个最高分，而是指标随γ持续上升。这说明控制参数不是装饰品，而是能稳定改变身份保持强度。对于产品，连续可控往往比“某个固定配置赢了榜单”更有价值，因为不同任务对相似度和自然度的偏好并不相同。

但收益也有代价。随着γ提高，自然度分数从基线附近的79.86%逐步下降到75.23%。模型更像参考人物，却会牺牲一部分画面自由度和自然感。这不是论文失败，反而说明旋钮的意义：用户需要根据任务选择平衡点，而不是永远拧到最大。

如果把这组曲线放进产品，比较合理的做法不是只提供“开或关”，而是设计几个有明确用途的档位。低档适合动作幅度大、创意空间优先的内容；中档适合广告、短剧和虚拟试穿；高档适合身份要求严格、镜头变化相对克制的数字人。每个档位都应同时观察相似度、自然度和运动幅度，而不是只优化一个数字。

更进一步，系统可以按主体动态分配强度。主角在近景时提高γ，退到远景或被遮挡时降低；品牌商品保持高强度，普通背景物体使用低强度。论文主要验证了静态参数，但“每个主体独立控制”的接口已经为这类调度留下空间。

七、消融实验回答了两个关键质疑

第一个质疑是：是不是只要把参考图影响整体放大，就能得到同样效果？论文比较了全图统一增强与定位图局部增强。在相近的人脸相似度下，全图增强的自然度只有69.03%，而定位图在γ为16时仍有75.23%。差距说明空间选择很重要，不能把“更像”简单理解成“参考权重更大”。

第二个质疑是：高噪声偏好训练有没有独立价值？把第一阶段关闭，也就是γ设为0，只保留第二阶段时，Kaleido的主体一致性分数从38.62%升到41.22%，Phantom从41.10%升到42.76%。这说明早期锚定确实减少了主体丢失和语义漂移，而不是靠后期增强把脸修得更像。

两组消融合在一起，构成了一条完整证据链：局部定位让后期引导更精准，偏好优化让早期布局更稳定。一个解决“在哪里加力”，另一个解决“什么时候先学会别走错”。

八、定性结果里，改善的不只是脸

论文的定性对比包含人物、物体和多主体组合。基线常见的问题包括发型变化、手持物外观漂移、两个主体身份混合，以及水果篮等物体形状在运动中变得不稳定。DIAL的结果更容易保持细粒度特征，也减少了多人场景中的几何错配。

图6：不同开源方法与DIAL的定性对比，重点观察人物细节、物体属性、多主体身份纠缠和形状稳定性。来源：论文 Figure 6。

不过，定性图最适合说明失败类型是否被缓解，不适合单独证明普遍胜率。真正支撑结论的仍是多项量化指标、不同γ设置、两个骨干和消融实验。读图时也应关注动作幅度与背景自然度，而不是只盯着静态截帧里的脸。

九、与已有路线相比，DIAL补上了哪一环

Phantom通过跨模态对齐提升主体一致性，也是DIAL采用的骨干和偏好数据来源之一。它更像是在训练阶段把参考主体与视频语义绑紧；DIAL则继续追问：模型内部究竟哪块注意力真的对准主体，能否在推理时直接利用？

Kaleido面向多主体参考视频生成，提供了DIAL观察注意力峰值的重要基础。DIAL并没有替换它，而是把它已有的内部信号提取出来，增加低噪声控制与高噪声锚定。两者关系更像“生成骨干”与“可插入的控制对齐机制”。

另一种跨模态融合路线同样关注主体一致性，通过改造参考信息进入视频的方式减少漂移。相比之下，DIAL的独特之处是把模型内部注意力同时用作控制信号和训练偏好来源：后期拿它指导生成，前期拿它挑选更好的轨迹。

此前我们讨论过视频蒸馏里的随机缓存与双噪声掩码，它们主要解决“生成更快以后，动态和多样性别塌掉”。DIAL关注的是另一条轴：主体变多以后，身份和属性别混掉。把这些工作放在一起看，视频生成正在从“能生成”走向“速度、动态、身份和控制同时可用”。

十、对产品团队有什么实际价值

第一，虚拟试穿与广告制作更容易分配控制预算。主角的脸和服装需要高一致性，背景人物或环境可以保留更多变化。每个主体独立设置强度，比全局统一增强更符合制作流程。

第二，个性化叙事不必为每种风格重新训练一套模型。低噪声阶段的控制不更新模型参数，理论上可以在同一服务里提供不同身份保持档位。团队仍需评估额外注意力处理带来的延迟，但产品形态比固定模型更灵活。

第三，自动构造偏好对降低了人工标注压力。高噪声阶段直接用定位图与主体掩码的重合程度评分，不要求标注者逐对观看长视频。它不能消除训练算力，也不能替代最终人类质量判断，但能把昂贵人工反馈集中到更难自动判断的美学与动作问题上。

第四，内部注意力可以成为可观测的调试接口。如果产品出现人物消失或属性串扰，团队不必只看最终视频猜原因，还可以检查主体定位图何时变散、哪一层没有形成峰值。这为故障定位和质量监控提供了新的抓手。

落到团队协作上，这种可观测性还能改变问题分工。算法同学可以判断定位峰值是否存在，平台同学可以记录不同步骤的定位稳定度，内容团队可以把失败案例按“主体漏检、身份混合、属性漂移、自然度下降”分类。相比一句笼统的“这段视频不太像”，可诊断指标更容易形成可重复的修复闭环。

十一、落地前还要算清三笔账

第一笔是架构适配。论文在两个基于同一路线的140亿参数骨干上验证，核心依赖某些注意力模块自然出现空间峰值。换成不同结构、不同参考图注入方式或更小模型后，是否还能找到同样稳定的定位层，需要重新测量。

第二笔是训练成本。第一阶段推理控制无需再训练，但第二阶段仍需要偏好优化和约1.4万条训练样本。自动评分减少的是人工标注，并不等于训练免费。企业采用时还要比较：已有模型的身份漂移有多严重，是否值得再做一次对齐训练。

第三笔是质量取舍。γ越大，身份越稳定，自然度却会下降。真实产品不能把60.64%直接当默认配置，而应按场景做用户测试。证件式数字人可能更看重相似度，创意内容可能更看重动作与自然感，两者的最佳点不会相同。

还有一笔容易被忽略的账：定位图本身也需要质量监控。某个模块在论文数据上形成稳定峰值，不代表它面对动漫角色、宠物、遮挡商品或企业私有素材时仍然可靠。部署前应先建立一组覆盖实际业务的校准集，统计定位区域与主体掩码的重合程度，再决定哪些层、哪些时间步可以启用引导。

如果定位置信度不足，系统还需要安全退路，例如降低γ、暂时关闭局部引导，或回到原始骨干结果。可控系统的价值不只是正常样本上更强，也包括知道什么时候不要强行控制。论文已经给出了观察内部注意力的入口，后续工程应把它发展成置信度与回退策略。

十二、论文目前没有覆盖的场景

评测集中在180组提示和两个骨干，尚未系统覆盖更长时长、多镜头剪辑、人物进出画面、严重遮挡、极端视角变化和大规模群体。定位图依赖主体轮廓逐渐清晰，若主体很小、快速交叉或长期被遮住，内部空间信号可能不再稳定。

论文公开页面提供了完整方法、算法、结果与消融，但没有核验到配套项目页、官方代码、模型权重或可下载演示。现阶段更适合把它看作一套证据充分的方法设计，而不是已经可以直接接入生产的现成工具。

另外，人脸相似度只是身份一致性的一个维度。衣服、发型、物体属性、身体比例和动作风格也会影响“是不是同一个主体”的感受。后续若能把多种身份特征纳入统一控制，同时报告推理时延与显存开销，工程判断会更完整。

对于多人短剧和广告，镜头之间的长期身份连续性同样重要。单个片段里不串脸，只是第一步；跨镜头换景、换动作以后仍能保持主体关系，才更接近真实制作流程。

十三、龙哥点评：最值得学的不是指标，而是顺着模型内部结构做控制

龙哥认为，这篇工作最有启发的地方，不是把一个相似度数字推高，而是先找到模型内部已经存在的可靠结构，再围绕它设计控制和训练。很多系统遇到问题时，第一反应是外接更大的识别器、更复杂的奖励模型或更多人工标注；DIAL先问了一句：模型自己是不是已经知道答案的一部分？

答案是肯定的，但只在特定层、特定去噪阶段可靠。于是方法没有粗暴地“全程加强注意力”，而是让可靠的后期信号负责控制，让不稳定的早期信号负责排序。这种按信号成熟度分工的思路，比堆模块更优雅，也更容易解释。

一项方法是否值得团队采用，要看它是不是减少了真实心智负担和交付成本。DIAL减少了逐对人工偏好标注，还提供可调参数与可观察定位图，这两点都有工程价值；但缺少公开代码、跨架构验证和时延报告，意味着离“拿来即用”还有距离。

国庆节就在一天后，但它与论文技术主线没有直接关系，因此本文不硬接节日话题。更值得延续的是近期视频生成研究的共同转向：从追求单次最好看的样片，走向让速度、多样性、身份和控制真正进入可配置、可诊断的系统。

十四、龙迷三问

第一问：γ越大越好吗？
不是。γ提高会增强身份相似度，但自然度会下降。它的价值恰恰是允许团队按任务选点，而不是提供一个永远最大的默认值。

第二问：有了主体定位图，还需要参考图编码器吗？
需要。定位图回答“参考主体的信息应该落到哪里”，参考图编码器仍负责提供“这个主体长什么样”。一个管空间路由，一个管身份内容，两者不能互相替代。

第三问：普通开发者能借鉴什么？
遇到模型失控时，先找内部是否已有与目标相关、且在特定阶段可靠的中间信号。能复用内部结构，就不一定要先加外部大模块；但必须验证这个信号何时可靠、何时会误导。

十五、总结：让模型注意力从黑箱变成方向盘

DIAL面对的是多主体视频生成最影响使用体验的两类问题：身份保持强度无法调节，以及主体消失、属性漂移和身份纠缠。它通过逐层分析发现，扩散模型内部少数注意力模块会自然形成主体空间定位图。

在低噪声阶段，方法把上一时间步的定位图变成区域化注意力偏置，通过γ分别调节不同主体的身份强度；在高噪声阶段，它比较不同随机轨迹的定位质量，自动构造偏好对，训练模型更早锚定正确主体。

实验在两个140亿参数骨干和180组提示上展开。Kaleido的人脸相似度从31.81%提升到最高60.64%；只保留高噪声偏好优化也能提高主体一致性；局部定位增强在相近相似度下，比全图统一增强保留了更高自然度。

从研究路线看，这不是简单给模型再加一层条件，而是把内部注意力变成可以测量、训练和操作的对象。只要这种中间信号足够稳定，类似思路也可能用于物体、服装和场景元素的一致性控制。

这项工作的核心启发是：注意力不只是模型内部难以解释的热力图，也可以在经过可靠性验证后，成为推理控制、自动监督和系统诊断的共同接口。视频生成真正走向生产，不只要画得好，还要知道该听谁、听多强、出错时从哪里查。

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。