清华大学与生数科技视频生成：Vidu S2实现720p 25–42 FPS实时生成与流式编辑

龙哥导读

视频生成过去更像“交作业”：写好提示，等待系统一次性吐出成片。清华大学与生数科技的 Vidu S2 想把它改成“实时对话”：一边生成，一边说话、换物体、改衣服、换背景，甚至同步编辑正在输入的视频。论文报告数字人分支达到720p、每秒25至42帧，流式编辑综合评分4.26。真正值得看的不是一个更快的演示，而是训练、参考控制、编辑对齐和服务部署被放进了同一套系统。

如果生成视频已经开始播放，用户突然说：“把手里的杯子换成蓝色，再把人物带到海边”，系统能不能不推倒重来，直接从下一段接着改？如果输入是一段真人直播，生成端能不能保持动作同步，同时换衣、换风格，却不让人物身份和背景每几秒漂一次？

这两个问题听起来像普通的视频特效，实际上同时卡住了生成质量、时间连续性、控制响应和计算延迟。离线模型可以慢慢“想”，流式系统却必须在下一帧到来前完成推理。Vidu S2的目标，是让视频生成从一次性作品变成可以持续操控的视觉过程。

图1：Vidu S2整体能力总览。左侧展示实时数字人生成，中间展示对输入视频进行流式编辑，右侧扩展到双目空间视频；三条能力共享面向连续视频的生成与部署基础。来源：论文图1。

一、实时生成为什么比“把离线模型跑快”难得多

普通文生视频通常一次处理整段时空信息。模型可以反复去噪，也能同时查看前后帧，因此较容易保持人物、场景和动作的一致性。流式生成不同：系统只能看到已经发生的历史，未来画面尚不存在，却必须马上给出下一段结果。

这就像一边直播一边写剧本。每个新片段都依赖前面生成的内容，只要某一段把脸、服装或背景生成偏了，后面的模型会把错误当成真实历史继续传播。片段越长，误差越容易累积，最终出现身份漂移、动作僵硬或画面突然跳变。

速度也不只是显卡每秒算多少次。实时数字人还要处理语音、口型、参考图和提示更新；流式编辑要同时读取源视频和参考物；空间视频则要生成左右眼一致的两路画面。任何一个环节排队，用户感受到的都不是“高帧率”，而是卡顿和迟钝。

因此，论文没有把贡献限定为一个生成模型，而是拆成数字人、编辑和空间视频三类应用，再从训练到服务逐层解决延迟与一致性。这里的“实时”是端到端系统属性，不是单个算子的宣传数字。

二、两条主线：从声音生成数字人，从视频流实时改画面

Vidu S2的第一条主线是实时数字人。系统接收人物初始图像、音频和文本控制，连续生成说话、表情和动作。它不仅要对准口型，还要在长时间播放中维持脸部身份、衣服纹理和背景稳定。

第二条主线是流式视频编辑。输入不是静态提示，而是一帧帧到来的源视频。用户可以指定人物、衣服、配饰、风格或背景，输出要跟随原动作，同时完成外观变化。这比离线编辑更严格，因为系统不能等待整段视频结束后再统一修正。

两条线的共同难点是“历史不能丢、未来不能看、当前不能慢”。数字人侧重点是自回归生成中的长期稳定，编辑侧重点是输入与输出的逐帧对齐。论文为它们设计了不同训练机制，但在参考控制和高效服务上共享思路。

这也解释了为什么论文把系统称为可交互、可编辑、可生成空间视频，而不是只叫实时数字人。作者试图证明，同一个流式视频底座能够支撑多个产品形态，而不只是完成一项演示。

三、自回放强制：让模型为自己过去犯的错负责

流式生成最棘手的问题，是训练和使用时看到的历史不同。训练中，模型通常接触真实视频的前几帧；真正运行时，它看到的是自己刚刚生成的帧。哪怕单段误差很小，连续使用后也会逐步偏离真实分布。

Vidu S2提出自回放强制方法（Self-Replay Forcing）。可以把它理解成一次完整的模拟驾驶：学生模型先根据自己的输出向前生成一条长轨迹，不再假装每一步都站在正确答案上。随后，训练过程把这条学生轨迹分段重新加噪，并进行一次可反向传播的因果回放。

关键变化在于，后面片段的损失能够沿着回放过程影响前面的表示。模型不只是学习“眼前这一段怎样更像老师”，还会学习“前面怎样生成，才能让几十秒后的状态更容易维持”。这相当于把长期后果纳入当前动作，而不是每个片段独立交卷。

与只用真实历史训练相比，这种做法更接近部署时的输入分布；与每一步都展开完整反向传播相比，它又控制了显存和计算。核心不是消灭单帧误差，而是降低误差在长时间自回归中的放大速度。

四、为什么需要单步细化器，而不是让主模型直接生成720p

高分辨率与低延迟天然冲突。主生成骨干如果直接承担720p画面的全部计算，每增加一次去噪步骤都会放大延迟；为了速度强行减少步骤，又容易损失面部细节、发丝、衣服纹理和边缘稳定性。

Vidu S2把任务拆开：低分辨率骨干负责动作、构图和时间连续性，单步细化器负责把结果提升到720p。白话来说，前者先保证“演得对、接得上”，后者再用一次快速修整补足“看得清”。

单步并不等于简单插值。细化器仍要利用条件信息恢复人物与场景细节，但不能引入新的动作偏差。若细化器每帧各自发挥，清晰度虽然提高，纹理却可能闪烁；因此它必须保留时间信息，让连续帧中的细节变化稳定。

这类分工在实时视觉系统中很常见：把最昂贵的全局推理放在较低分辨率，把像素级完善交给专门模块。论文报告的720p、每秒25至42帧，正是模型拆分与工程优化共同作用的结果。

五、动态参考：生成到一半，也能加入新物体和新场景

传统参考图控制通常在生成开始前固定：给一张人物图或一件衣服，模型围绕它完成整段视频。Vidu S2进一步允许参考在过程中变化。用户可以在流中加入一个杯子、帽子或新背景，后续视频随之调整，而此前内容不需要重新生成。

实现上的难点是，新参考既要足够强，能让目标物体真正出现；又不能破坏人物身份、动作节奏和已有场景。系统因此把参考内容作为可持续读取的条件，并结合当前历史决定它从什么时候、以什么方式进入画面。

论文还加入视觉语言模型代理。它读取用户指令和参考图，先组织适合数字人生成的提示，再检查已生成的视频帧，为后续片段继续调整提示。这里的代理更像现场导演：把“换个杯子、走到新场景”拆成模型能够连续执行的镜头要求。

图2：动态参考控制案例。图中展示蓝色杯子的生成与替换、人物离开原场景进入新环境，以及摘下并重新戴上同一顶帽子。来源：论文图4。

从产品角度看，这一步比单纯提高画质更重要。离线生成可以靠反复重抽解决不满意的细节，实时交互却要求用户的一句话迅速改变后续内容。当参考条件可以中途插入，生成视频才开始接近可操控的软件，而不只是随机性较强的内容生产器。

六、帧对齐注意力：编辑时不能让动作慢半拍

流式编辑与自由生成不同。源视频里的人已经抬手、转身或走路，输出视频必须在相同时间完成相同动作。如果模型从一大片历史帧中自由寻找信息，很可能把前一时刻的姿态复制到当前帧，形成拖影、错位或动作延迟。

Vidu S2采用帧对齐注意力：目标帧主要读取源视频中同一时刻的帧，让动作骨架和时间位置保持同步；参考图则对全部目标帧可见，用来持续约束衣服、风格或人物外观。

这相当于把“怎么动”和“长什么样”分开。源视频负责逐帧动作，参考图负责跨时间身份与外观。若两类信息都在所有帧之间自由混合，模型容易在动作同步和外观一致之间互相干扰。

该结构适合虚拟试穿、人物风格迁移和背景替换，因为这些任务通常希望保留原视频的动作与镜头节奏，只改变指定视觉属性。对于需要重新编排动作的编辑，它的限制也很明显：严格对齐输入时间意味着自由度不会像从零生成那么大。

七、训练数据不是越多越好，流式任务更怕切错片段

论文的数据流程首先从多种视频来源中切分片段，再进行质量过滤、语音处理、时间密集描述和特征编码。相比普通视频训练，流式系统特别依赖切分位置：如果镜头切换被当成连续动作，模型会把突然换景误学成正常时间变化。

作者因此强化了切点检测、高清晰度选择和背景稳定处理。数字人数据需要保留自然口型、表情和身体动作；编辑数据还要整理风格转换、虚拟试穿、背景变化等成对样本，让模型明确知道哪些内容应保留、哪些内容应改变。

其中一些编辑对通过重建式视频到视频训练生成，再结合参考引导形成监督。这个过程说明，实时编辑的上限很大程度取决于训练对是否精确。如果参考衣服与目标视频在姿态、遮挡和纹理上对不齐，模型学到的可能是模糊平均，而不是稳定替换。

论文没有公开训练数据规模和完整配方，因此外部团队难以判断数据工程在最终效果中占多大比重。但从流程设计看，Vidu S2不是只靠模型结构取胜，数据筛选与任务化配对同样是系统能力的一部分。

八、服务栈做了什么：稀疏计算、低精度矩阵和多卡流水

模型能生成，不代表服务能实时跑。论文在服务层使用稀疏注意力，减少无需全量计算的时空交互；使用八位权重和八位激活矩阵乘法，降低计算与显存压力；再通过算子融合减少中间结果反复写入显存。

多块图形处理器之间采用流水方式分工。不同阶段不必全部挤在同一张卡上顺序执行，而是像生产线一样让前一段生成、后一段细化和后续编码重叠工作。吞吐率因此提高，但系统调度、通信和容错也会更复杂。

八位矩阵乘法带来的速度收益也不是免费的。低精度可能放大细节误差，尤其是人脸、文字和细小配饰。真正可用的服务需要在量化误差、算子覆盖、设备型号和批处理策略之间反复校准。

因此，25至42帧每秒不能被理解成任何设备、任意并发和所有模式下都恒定达到。它是论文系统配置中的报告结果。对产品团队而言，更关键的问题是：在目标硬件、分辨率、并发和首帧延迟约束下，能够稳定维持多少帧。

九、数字人实验：720p、每秒25至42帧意味着什么

Vidu S2数字人分支报告720p输出与每秒25至42帧。25帧已经进入常见视频播放的流畅区间，42帧则为交互响应、网络波动和后处理留下更多余量。相比“生成几秒、等待几分钟”的离线模式，这种速度让实时播报、对话角色和互动直播具备产品想象空间。

在论文构建的流式音频视频基准上，视觉吸引力为0.687，视频质量3.370，感知质量7.138，音频质量3.286，音画对齐0.353，音画同步误差0.617，音频指令遵循2.985，主体与背景一致性分别为0.998和0.993。

这些指标方向并不完全相同，音画同步误差越低越好，其余多数越高越好。论文表格中，Vidu S2在所列系统间取得各项最佳值。它说明系统没有只用牺牲画面或同步换速度，而是在统一评测中同时保持多项质量。

作者还组织20名专业评估者进行成对偏好比较，覆盖整体质量、运动、表情、画面、一致性、音画同步和语义遵循。人工评价能补充自动指标难以识别的表情自然度，但它依然受样本选择、评估规则和内部系统可用性影响。

十、编辑实验：综合4.26，强项是流式条件下仍能守住质量

编辑分支在闪耀视频编辑评测集上总体得分3.74；在开放视频编辑评测上总体4.42，在参考视频编辑评测上总体3.78，联合总体4.26。

论文报告这一联合分数比拥有140亿参数的伯尼尼-R离线模型高0.34。这个对照尤其严格，因为离线方法可以读取完整输入，而流式方法必须随视频到达逐段生成。

这组结果的意义不只是“打败一个更大的模型”。离线基线可以访问完整视频，理论上拥有更多未来信息；Vidu S2只能随输入逐步处理，却仍取得更高综合评分，说明帧对齐与参考控制没有因为流式限制而明显牺牲编辑质量。

不过，不同基准的评分范围、样本和评价维度不同，3.74、4.42和4.26不能简单相加或跨论文横比。最可靠的读法，是在论文同一张表、同一协议下比较参评系统，而不是把一个总体分数当成所有场景的通用质量标签。

真正的进展是：流式编辑不再只追求“来得及”，还开始在统一评测中与离线强基线正面比较质量。

十一、虚拟试穿：动作保留与衣服一致性同时接受考验

虚拟试穿是检验流式编辑的好场景。系统既不能改变人物原本的动作，也不能让衣服在转身、遮挡或手臂交叉时忽然消失。纹理、领口、袖长和身体边界都要随姿态连续变化。

在虚拟试穿视频数据集的非配对评测中，Vidu S2的图像级视频弗雷歇距离为9.9515，数值越低越好；对比的衣物到视频网络为19.5131。该指标衡量生成分布与真实视频分布之间的差异，结果显示Vidu S2在这组协议下更接近真实数据。

图3：白衬衫虚拟试穿案例。不同时间帧保持原人物动作，同时让指定服装随姿态与遮挡变化。来源：论文虚拟试穿定性结果图。

但一个分布指标不能覆盖所有肉眼问题。衣服图案是否准确、手指是否穿模、背面纹理是否凭空改变，都需要结合逐帧定性结果和用户测试判断。商业试衣还会进一步要求尺码、材质垂感和身体尺度可信，这些并不是当前视觉替换指标能够完整回答的。

十二、空间视频：从单路画面走向左右眼一致

论文还把流式生成扩展到空间视频。普通视频只需生成一个视角，空间视频要同时为左右眼产生存在细微视差的画面。差异太小没有立体感，差异错误则会让观看者感到物体深度混乱，甚至产生不适。

这要求两路视频不仅各自连续，还要彼此遵守几何关系。人物脸部、手部和前景物体尤其敏感；单眼看起来正常的纹理，在另一只眼中若位置不一致，就会破坏融合。

空间视频也是最能暴露系统成本的方向。两路高分辨率输出增加计算、显存与传输压力，头戴设备还要求更低的端到端延迟。论文展示了统一系统向该场景扩展的能力，同时明确更高分辨率和更低延迟仍是后续挑战。

十三、与已有实时视频路线相比，Vidu S2补上了哪一环

已有实时交互视频工作多聚焦自回归蒸馏，解决“如何快速连续生成”。例如因果强制方法强调高质量实时交互生成，长时直播方法关注长时间连续生成，掩码强制方法则针对自回归蒸馏中的误差累积与模式退化。

Vidu S2仍沿着这条技术路线前进，但把问题从一个生成模型扩展为产品系统：数字人需要音画同步，编辑需要逐帧对齐，动态参考需要中途响应，空间视频需要双目一致，服务栈还要把速度真正跑出来。

与近期视频恢复工作放在一起看，差别也很清楚。恢复模型的目标是尽量忠实地修补已有画面，生成模型则允许创造新内容；Vidu S2的编辑分支位于两者之间：动作来自输入视频，外观来自参考和指令。它既不能像纯生成那样自由，也不能像恢复那样只还原原始信息。

这篇论文的增量，是把“实时生成”推进到“实时可控生产”：不仅连续吐帧，还允许人在过程中改变目标。

十四、哪些场景最可能先落地

第一，实时数字人和直播助手。当音画同步、身份稳定和低延迟同时可用，系统可以承担播报、客服、互动角色和虚拟主播。这里最重要的不是生成一段惊艳样片，而是连续工作几十分钟仍不漂移。

第二，边拍边改的视频特效。创作者可以在拍摄时预览换装、换背景或风格化结果，现场调整动作和镜头，不必等到后期才发现素材不适配。它会把部分后期工作前移到拍摄过程。

第三，互动娱乐和虚拟角色。游戏或社交应用中的角色可以根据用户语音和参考图即时变化，而不是播放有限的预制动画。动态参考尤其适合临时加入道具、服装和场景。

第四，空间计算内容。若双目一致性和延迟继续改善，实时生成可以为虚拟现实提供随交互变化的环境和角色。不过这一方向对算力、网络和舒适度要求最高，距离普通设备上的稳定使用仍更远。

十五、局限：漂亮结果背后，还有复现、成本和安全问题

首先，论文来自商业团队，当前没有公开模型权重、训练代码、数据配方和完整服务配置。外部研究者可以检查论文中的方法与结果，却无法在同等条件下复现每秒25至42帧、量化误差和多卡流水的实际成本。

其次，比较对象中包含商业系统和内部系统。论文给出了统一协议与20人专业评估，但样本选择、访问版本和服务配置仍主要由作者掌握。对用户而言，公开体验中的首帧等待、并发稳定性、价格和地区可用性，可能比离线表格更直接。

再次，视觉语言模型代理会增加系统复杂度。代理若误解指令，可能把错误提示传给后续生成；检查模块若漏掉身份漂移，也会让问题继续累积。系统需要保存提示变化、参考更新和生成状态，才能在异常时定位是哪一层出了问题。

最后，实时换脸、换装和数字人降低了视频制作门槛，也提高了冒用身份和误导传播的风险。产品化不能只优化速度，还需要明确授权、内容标识、水印、追踪和投诉处置。越接近实时，滥用造成的反应窗口越短，治理必须成为系统设计的一部分。

十六、龙哥点评：视频模型正在从“作品生成器”变成“实时计算界面”

龙哥认为，Vidu S2最值得肯定的不是某一个榜单第一，而是它把实时视频拆成了几组可工程化的问题：长期自回归漂移、分辨率提升、动态参考、逐帧编辑对齐和服务吞吐。每一组都有明确方法，并最终汇合到可交互体验。

过去的视频生成更接近渲染任务：输入条件，等待成片，再挑最好的一版。实时系统则更像计算界面，用户的语音、动作和参考物持续改变后续输出。这会让评价标准从“某一段好不好看”转向“能否及时响应、能否长时间稳定、改动是否可撤回”。

对创业团队和应用开发者，最现实的启发不是立刻训练同等级模型，而是重新设计交互。哪些控制必须逐帧生效，哪些可以延后处理；哪些状态需要缓存，哪些参考可以动态加入；用户更在意首帧速度、持续帧率，还是最终画质？这些问题比“接一个视频模型接口”更决定产品体验。

龙哥也会保留一份克制。没有公开权重和服务配置，外部尚不能独立核算单位视频成本与长时间稳定性。但方向已经很清楚：下一阶段的竞争，不只是生成得更逼真，而是谁能让生成过程真正听得懂、改得动、跟得上。

十七、龙迷三问

1. 每秒25至42帧，就等于没有延迟吗？

不等于。帧率描述稳定运行后每秒产生多少帧，用户还会感受到首帧等待、网络传输、提示处理和参考图更新延迟。高帧率是实时体验的重要条件，但完整产品还要同时优化从用户动作到画面变化的端到端响应时间。

2. 流式编辑会不会改变原视频动作？

它的设计目标恰恰是保留动作。帧对齐注意力让目标帧读取同一时刻的源帧，参考图负责外观变化。不过快速动作、严重遮挡和细小物体仍可能产生误差，定量指标不能代替逐帧检查。

3. 普通开发者现在能直接复现吗？

目前不能完整复现。论文公开了方法、实验和体验入口，但没有开放训练代码、权重、数据与完整部署配置。开发者可以借鉴动态参考、逐帧对齐和分级生成思路，若要评估商业接入，还应单独测试成本、并发、隐私和内容安全能力。

十八、总结

Vidu S2把实时视频系统分成数字人、流式编辑和空间视频三类能力。数字人侧通过自回放强制减缓长时间误差累积，用单步细化器将输出提升到720p，并通过动态参考与视觉语言模型代理支持中途加入新物体和场景。

编辑侧用帧对齐注意力保留输入动作，让参考图持续控制服装、风格或背景。服务侧再结合稀疏注意力、八位矩阵计算、算子融合和多卡流水，论文报告数字人达到每秒25至42帧，编辑联合总体得分4.26。

它展示了一条很有产品感的路线：生成模型不再等待一次性提示，而是持续接收人的新指令，并把修改带入后续画面。复现与成本信息仍不充分，但实时、可控和可持续编辑正在成为视频生成下一轮竞争的共同坐标。

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。