斯坦福 Percy Liang 团队大模型训练：数据重复4轮即退化，32轮后反输稠密模型

龙哥导读

高质量文本不够了，同一批数据多学几遍行不行？斯坦福 Percy Liang 团队发现，真正决定重复风险的不是每次计算动用了多少参数，而是模型背后拥有多少总参数：算力账省下来了，数据账可能反而更贵。

前面我们讨论阶跃Step 5时，6000亿总参数、每次只激活270亿参数的设计很吸引人：模型容量很大，实际计算量却可以控制。类似的稀疏专家架构，已经成为训练超大模型的重要路线。

但这里藏着一个容易忽略的矛盾。模型可以只激活少量参数完成一次计算，却仍然要为庞大的总参数准备足够多、足够不同的数据。 如果高质量数据已经反复使用，每个专家会不会把自己那一小片数据背得越来越熟，最终失去泛化能力？

这篇论文没有直接训练一个万亿参数商业模型，而是搭建了一个系统实验场：固定训练计算量，逐步改变数据重复轮数、专家数量、专家大小和数据来源，再观察稀疏模型什么时候开始记住训练集、什么时候失去对新文本的判断能力。

一、先说清楚：什么是稀疏专家模型？

普通稠密模型像一家公司里的所有员工：每来一个任务，几乎所有部门都要参与。模型有多少参数，一次计算大体就要经过多少参数。规模越大，能力可能越强，但训练和推理成本也一起上涨。

混合专家模型（MoE）则像把员工分成许多专门小组。每个输入到来时，路由器先判断它应该交给哪些专家，只激活其中少数几个。这样可以把总参数做得很大，同时把每次实际参与计算的“活跃参数”控制在较小范围。

举个简化例子：一个模型共有64个专家，但每个词只进入其中几个。模型可能拥有数十亿总参数，一次前向计算却只使用几亿参数。工程团队通常会据此估算训练数据需求：既然每次只激活这么多参数，按活跃参数准备数据是不是就够了？

论文发现，这个直觉可能过于乐观。路由器会把不同词分给不同专家，每个专家看到的只是全部训练数据的一部分。如果训练数据反复循环，某个专家可能不断看到相近的词和结构，形成一个很窄、很稳定的数据分片。总模型看似读了整套数据，每个专家实际却在重复背自己的局部题库。

二、研究者怎样把“重复数据”变成可控实验？

实验首先固定总训练数据量，再改变其中独立文本的数量。如果训练总量不变、独立文本减少，模型就必须多次看到同样的数据。论文用重复率R表示平均重复轮数：R等于1时，每条数据大致只见一次；R等于4时，同一批独立数据平均学习4轮；R等于32时，则循环32轮。

总训练量写成一个简单关系：T = 20 × Nₐ。T表示训练所用的总词元数量，Nₐ表示每次计算实际激活的参数量。换句话说，不论模型是稠密还是稀疏，主要实验都按活跃参数给出相近的训练计算预算。

接着，作者同时改变模型规模和稀疏程度。活跃参数覆盖8000万、2亿和10亿，部分稀疏模型的总参数最高达到85亿。相同活跃参数下，专家越多、每次只激活的比例越低，总参数通常越大，模型也越稀疏。

这样的设计能区分三个容易混在一起的因素：是计算规模导致过拟合，是总参数导致过拟合，还是专家路由本身导致过拟合。作者还把网络抓取文本、代码、学术论文和百科文本分别训练，检查现象是否只属于某一种数据。

这里要特别区分三个“账本”。第一本是计算账：一次训练到底激活了多少参数；第二本是容量账：模型总共拥有多少可学习参数；第三本是数据账：训练期间真正见过多少独立词元。稠密模型的前两本账通常接近，专家模型却可能相差数倍甚至数十倍。过去按计算账匹配数据预算，容易漏掉容量账带来的记忆能力。

例如，两台模型每次都激活2亿参数，理论上的单步计算量接近。其中一台是2亿参数的稠密模型，另一台可能拥有更多专家和远高于2亿的总参数。若两者使用同样大小的独立数据池，后者相当于让更多可学习参数围绕同一批材料反复调整，出现记忆的机会自然更大。

作者还强调“重复率”与“训练总量”不能混为一谈。模型训练得更久，通常既可能增加独立数据，也可能增加重复轮数；这两种情况的效果完全不同。本文固定总训练词元，再收缩独立数据池，因此能够把性能变化更明确地归因于重复，而不是简单归因于训练步数增加。

arXiv 网页版 Figure 2（PDF 版 Figure 1）：横轴是数据重复率，纵轴是验证损失，数值越低越好。每组都比较稠密模型与不同稀疏程度的专家模型；曲线向上越早，说明模型越早因重复数据失去泛化能力。

三、最反直觉的结果：4轮就开始退化，32轮后优势反转

在8000万活跃参数规模下，稠密模型把数据重复到约8轮时，验证表现才开始出现较明显变化；稀疏专家模型在4轮附近已经受到影响。重复率继续增加后，两类模型都会过拟合，但稀疏模型恶化得更快。

在数据全部独立或重复程度较低时，稀疏模型通常优于相同活跃参数的稠密模型，因为它拥有更多总参数，可以容纳更丰富的函数。但当重复达到32轮，排序发生反转：原本更强的稀疏专家模型开始落后于稠密模型。

这并不是训练损失降不下去。恰恰相反，高重复率下，训练损失会快速接近零，说明模型越来越擅长记住训练材料；与此同时，验证损失上升，面对没见过的文本表现变差。它像一个把题库答案背得滚瓜烂熟的学生，模拟考试满分，换一道新题就露馅。

模型越大、越稀疏，这个问题越早出现。研究者比较了不同专家数量和专家粒度后发现，过拟合强度更接近由总参数数量决定，而不是活跃参数数量。即便两台模型每次计算使用的参数相同，总参数更多的那台仍需要更多独立数据。

看 Figure 2 时，不要只盯住某一个点。真正重要的是整组曲线的排序如何随重复率改变：左侧低重复区域，稀疏模型利用额外总参数取得更低验证损失；向右进入高重复区域后，稀疏曲线更快抬头，先与稠密曲线相交，再明显高于稠密模型。这个交叉点就是“容量优势”被“记忆代价”吃掉的位置。

随着活跃参数从8000万增加到2亿和10亿，具体拐点会变化，但相对关系保持稳定：总参数更多的配置更敏感。也就是说，这不是某个小模型偶然不稳，而是一条跨规模可观察的趋势。论文据此提醒，未来模型继续扩展总参数时，数据重复风险不会自动消失，反而可能被放大。

这里的“反输”也需要准确理解。它不是说专家模型在所有设置下都不如稠密模型，而是说在相同活跃计算预算、重复率足够高时，专家模型会失去低重复区间的优势。数据充足时它仍然强；数据短缺时，架构优势才可能变成负担。

四、不是某一种数据的问题：网页、代码、论文和百科都出现

如果现象只出现在低质量网页文本上，我们还可以把责任推给数据噪声。论文于是把训练来源拆开：网络抓取内容、程序代码、学术论文和百科文本分别进行重复训练。

四类数据的具体曲线不同，但大方向接近：重复率上升后，稠密与稀疏模型都会变差；稀疏模型通常更早、更快退化。质量过滤只能略微减轻问题，没有把稀疏模型变成“可以无限重复数据”的架构。

有一个结果比较有意思：如果把不断重复的某个领域，与规模相当或更大的不重复数据混合，独立数据有时会产生类似正则化的作用。模型仍会学习重复领域，但持续看到新的语言模式，能够减缓某些领域的过拟合。

不过，这种保护并非对所有混合都同样明显。重复代码与独立网页文本混合时，代码验证损失仍会随重复上升；重复学术文本与独立网页文本混合时，独立部分占比越高，退化有时越缓。不同领域的词汇、结构和知识重合程度，会影响“新数据”能否真正打散专家的固定分工。

这对数据工程有一个现实启示：评估重复不能只算整个训练集的平均轮数。一个大语料库平均只重复两轮，其中的代码、数学或某种语言子集却可能已经重复几十轮。专家路由又会进一步把这些小领域集中到少数参数，因此最危险的往往是局部重复率，而不是全局平均值。

arXiv 网页版 Figure 6（PDF 版 Figure 3）：四个面板分别对应网络文本、代码、学术文本和百科文本。不同领域都呈现相似趋势：重复率越高，稀疏专家模型越容易失去原有优势。

五、为什么专家模型更容易“背局部题库”？

作者首先观察路由器。对于每个词，路由器会给专家打分，再选择其中少数专家处理。研究者比较训练过程中相邻检查点的选择结果：同一个词是否仍被分给同一个专家。

结果显示，路由决策在训练早期就快速稳定。也就是说，模型很早就决定“这类词归谁负责”，后续很少重新分配。重复数据到来时，同一批词会一轮又一轮送进相似专家，每个专家看到的数据范围因此更加固定。

接下来，作者通过“专家敲除”衡量专门化程度：推理时暂时关闭一个专家，观察验证损失增加多少。如果关闭某个专家造成很大损失，说明模型对它依赖很强，它已经掌握了其他专家难以替代的专门功能。

随着重复率提高，专家敲除带来的损失总体上升，说明专家越来越专门、彼此冗余越来越少。重复训练把“分工”推向了“各自死记硬背”：每个专家熟练处理固定分片，却不再保留足够的替代能力。

论文还观察专家共同激活：同一个词会同时调用哪些专家组合。如果组合分布很单一，说明模型形成了固定搭档；如果组合更多样，说明同类输入可以借助不同参数路径处理。高重复率改变了这种协作结构，并与专家专门化一起出现，进一步说明过拟合不是单个参数的问题，而是整个专家生态逐渐僵化。

可以把它想成一个长期只服务少数老客户的咨询团队。每个顾问越来越懂自己手上的固定客户，内部流程也越来越顺，却很少接触新的行业和问题。短期效率提高，面对新客户时，经验迁移反而变弱。重复数据给专家模型造成的，正是这种“局部熟练、整体僵化”。

不过，论文没有把路由固化直接宣布为唯一原因。后面的正则化实验发现，某些方法能明显缓解过拟合，却没有让路由重新变得灵活。这说明问题不只在“数据被分给谁”，还在专家内部学出了怎样的函数。

arXiv 网页版 Figure 40（PDF 版 Figure 21）：三个面板依次观察路由稳定性、关闭单个专家造成的损失，以及专家共同激活的分布。重复率上升时，专家专门化程度随之增强，但这些现象主要提供相关性线索。

六、五类补救办法，真正有效的是“让专家不能太依赖自己”

论文测试了多种常见正则化方案。第一类是随机失活：训练时随机屏蔽一部分中间输出，迫使模型不要把能力压在少数固定连接上。概率过高会损害低重复率下的正常学习，但在极高重复率下，能够显著减轻过拟合。

第二类是输出掩码。它会随机把整层前馈网络、某个专家或“某个词—专家组合”的输出置零。相比逐元素随机失活，这种做法粒度更粗，却更直接地阻止模型依赖固定专家路径。论文发现，几种掩码方案都能明显改善高重复训练。

在较强掩码下，稀疏模型即使面对超过64轮的数据重复，仍可能优于稠密模型。这个结果说明专家架构并非天然无法承受重复数据，关键是训练过程是否主动打破了过度专门化。

但另外三类常见方案效果有限。提高权重衰减只有较小变化；改变梯度裁剪阈值基本落在实验波动范围内；给路由输入增加随机扰动，也没有呈现清晰收益。简单让更新幅度变小或让路由抖一抖，并不能稳定解决问题。

作者的解释是，有效方法具有共同点：它们会随机移除部分参数输出，迫使多个专家形成更丰富、可替代的表示。无效方法更多是在控制更新大小或路由噪声，没有直接破坏专家对固定数据分片的依赖。

即便如此，没有一种方案恢复到全独立数据训练的水平。正则化能够减轻数据短缺造成的损失，却不能把重复数据变成真正的新数据。 这点对预算规划很重要：补救技术可以延缓退化，不能替代持续获取高质量独立样本。

正则化还有明显的取舍。较强随机失活在高重复区间表现更好，却会让低重复区间的模型学得不够充分。团队若一开始数据很丰富、后期才逐渐进入重复阶段，可以考虑让正则强度随训练进度变化，而不是从头到尾固定一个很大的概率。论文没有系统验证这种动态策略，但实验结果已经给出了值得追踪的方向。

输出掩码之所以值得关注，还因为它直接作用于专家输出，不需要改变推理结构。训练结束后可以关闭掩码，在线推理无需额外步骤。它的代价主要发生在训练阶段：模型需要在部分路径临时缺席时学会补位，因此可能需要重新调学习率、训练时长和专家负载平衡。

七、和两篇经典工作放在一起，研究路线更清楚

2023年的《Scaling Data-Constrained Language Models》主要研究稠密语言模型。它发现，在数据受限时，适度重复并非立即有害：大约四轮重复仍可接近使用全独立数据的效果；继续重复后，性能才会逐步衰减。

同年的《To Repeat or Not To Repeat》进一步讨论“词元危机”，并测试过一个16专家的T5模型。它指出，多轮训练的退化与参数规模有关，随机失活可以缓解问题，但不同模型规模需要重新调整强度。

本文补上的一环，是把稀疏专家模型从一个单独配置，扩展到多种活跃规模、专家数量、专家粒度、数据领域和数据混合方式，并把总参数与活跃参数分开分析。结论因此更明确：估算安全重复轮数时，稀疏模型不能只看活跃参数，总参数同样决定数据压力。

两篇相关论文的原文分别为：

https://arxiv.org/abs/2305.16264

https://arxiv.org/abs/2305.13230

八、对训练团队意味着什么？

第一，数据预算要按总参数重新核算。 一个总参数很大、活跃参数很小的专家模型，计算上可能经济，数据上却不一定经济。如果沿用稠密模型按活跃参数估算的重复轮数，模型可能更早进入记忆区。

第二，训练监控不能只看训练损失。 重复数据越多，训练损失可能越漂亮。团队应同时观察验证损失、不同数据域的变化、专家敲除影响和专家选择是否过早稳定。训练集接近零损失，可能恰恰是危险信号。

第三，增加专家数量不是无成本扩容。 更多专家带来更多总参数和更细的分工，也可能让每个专家长期接触更窄的数据分片。计算效率提高以后，独立数据不足会成为新的瓶颈。

第四，优先测试随机失活和输出掩码。 在高重复训练中，这类方法比权重衰减、梯度裁剪和简单路由扰动更有希望。但强度需要针对模型规模和重复率重新选择，不能直接照搬一组参数。

第五，混合独立数据可能比继续清洗同一小池更划算。 论文中的部分数据混合实验显示，规模足够的不重复数据可以减缓重复领域的退化。工程上应比较“更严格过滤后重复更多轮”和“保留更多不同数据”两条路线，而不是默认越干净越好。

如果是资源有限的小团队，可以先做一个低成本诊断：选定准备训练的数据池，用原计划模型的缩小版本，分别训练到不同重复轮数；每隔固定步数记录训练损失、验证损失和各领域表现。只要已经看到“训练继续变好、验证开始变差”的分叉，就没有必要等完整大模型训练结束后再确认风险。

如果已经在训练大规模专家模型，也不必因为出现重复就立刻全部推倒。更实际的顺序是：先降低重复率最高的数据域权重，加入独立数据；再对高重复阶段测试输出掩码；最后才考虑改变专家数量或重新训练路由。这样可以用较小实验逐步定位，到底是数据池太窄、正则不足，还是架构本身不适合当前预算。

对采购和管理者而言，这篇论文也改变了成本讨论。专家模型的项目预算不能只写图形处理器小时数，还应把数据授权、清洗、去重、持续更新和验证集建设列为长期成本。模型总参数越大，如果独立数据没有同步增长，后续增加的训练算力可能只是让模型更快记住旧材料。

九、这项结果还不能直接外推到所有超大模型

主实验最高为10亿活跃参数、85亿总参数，规模远小于当前数千亿参数商业模型。大模型可能使用更复杂的数据课程、持续加入合成数据、不同路由算法和更强正则化，退化拐点未必与本文数字完全一致。

论文研究的是受控预训练，不等同于指令微调、持续学习或真实线上训练。数据“重复32轮”也不是所有数据被机械复制32份，而是固定总词元预算下，独立词元池缩小后形成的平均重复率。实际训练中，不同数据源的重复程度通常并不均匀。

路由早期稳定和专家过度专门化与过拟合同时出现，但现有实验没有证明前者就是唯一原因。随机失活能降低过拟合，却没有恢复路由可塑性，这意味着专家内部函数、参数冗余和数据分片方式可能同样重要。

因此，本文最适合提供训练设计原则，而不是一条固定公式。团队可以把4轮、8轮、32轮当成风险参考点，但真正的停止条件仍应来自自己的验证损失、数据结构和目标任务。

还有一个尚未解决的问题是合成数据。如果新生成文本只是在原材料上换词改写，它可能增加表面数量，却没有增加足够的新结构和新知识；如果合成流程能够构造新的推理链、难例和反事实，它又可能提供真正的独立信息。本文没有测试合成数据，因此不能把“文件数量增加”直接等同于“独立数据增加”。

未来也需要把路由设计纳入比较。本文的结果来自一类典型专家路由；若路由器能够定期重分配、鼓励跨专家共享，或者根据重复风险主动扩大一个词接触的专家集合，是否能推迟专门化仍待验证。真正的解决方案可能不是只加噪声，而是重新设计专家如何分工和轮岗。

十、龙哥的判断：稀疏模型省的是计算，不是数据

Percy Liang长期关注基础模型的透明度、评测和社会影响，目前是斯坦福计算机科学副教授，也是斯坦福基础模型研究中心负责人。这篇工作延续了一个很实用的研究风格：不只问模型能不能扩得更大，还要问扩展过程中哪一笔成本被忽略了。

过去讨论专家模型时，最常见的卖点是“总参数很大，每次只激活一小部分”。这句话在计算层面成立，却容易让人误以为数据需求也只由活跃参数决定。本文用系统实验说明，总参数扩张出来的容量，最终仍要由足够多样的数据来填充。

这也解释了为什么单纯追求更高“参数利用效率”并不完整。真正健康的扩展，应同时回答三个问题：新增参数是否学到了新模式，新增计算是否带来了验证收益，新增训练数据是否提供了新的信息。如果第三个问题的答案是否定的，前两项指标再漂亮，也可能只是在更高效地记忆。

如果高质量人类数据确实越来越稀缺，下一阶段的竞争可能不只是继续增加专家，而是围绕三件事展开：怎样提高独立数据的有效信息量，怎样用合成数据提供真正的新变化，以及怎样让专家保持适度共享而不是过早锁死分工。

龙哥最认同的一点，是论文没有把某个正则化技巧包装成万能答案。随机失活和输出掩码确实有帮助，但全独立数据仍然最好。工程团队可以通过训练技巧多撑一段，却不能永久绕过数据多样性这条基本规律。

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。