华盛顿大学×亚马逊实测7种图像Tokenizer：重建更好，未必更适合多模态

先说可直接拿走的结论：挑统一多模态模型的图像 Tokenizer，不能只看重建图和重建分数；至少还要分开检查文字、图像、文生图与图生文损失，其中图生文损失更适合作为跨 Tokenizer 的共同参照。

龙哥导读

很多团队挑图像 Tokenizer，第一反应是看重建图够不够漂亮、重建指标够不够低。论文给出的提醒很直接：真正把图像符号和文字放进同一个模型后，决定效果的不只是“像素还原能力”，还有这些视觉符号是否好学、是否容易与文字对齐，以及它们会不会反过来干扰文字建模。

要理解这篇论文，先把 Tokenizer 想成一本“视觉字典”。普通语言模型先把句子拆成词元，再预测下一个词元；统一多模态模型也会把图片压缩成一串离散编号，让同一个模型既能接着写文字，也能继续“写”图像。

问题是，不同视觉字典切分世界的方式完全不同。有的更擅长保留纹理，有的更关注物体语义，有的词表很大，有的压缩得更狠。过去常用的选择办法，是把图片编码后再还原，看看重建图和原图有多像。但统一多模态模型真正面对的任务远比重建复杂：它还要读图回答问题、根据文字生成图像，并让视觉符号与自然语言共享同一套预测网络。

论文核心框架：过去只看重建或单一生成、理解任务；本文把图像 Tokenizer 放进统一自回归训练里，分任务观察它与文字共同学习时的表现。

一、为什么“重建得像”可能会误导选型？

重建指标回答的是：经过压缩再解码，像素和视觉特征还能保留多少。它很重要，却只覆盖了视觉字典的一半职责。统一模型还需要学习这些编号之间的规律，并把它们与“狗、红色、左边、正在跑”等文字概念建立联系。

一个极端例子是：某套编码可以精细保存草地纹理和光影，因此重建图很漂亮；但相近物体可能被拆成变化剧烈、缺少语义规律的编号。解码器能把它还原出来，不等于语言模型容易预测这些编号。反过来，一套略损失纹理、却把“物体类别和结构”组织得更清楚的视觉语言，可能更适合图文联合学习。

论文把这种能力称为“多模态可学习性”：不是只问图像能不能被还原，而是问在统一预测目标下，文字和图像符号能不能一起被模型有效掌握。实验发现，重建质量和多模态可学习性确实会分叉。使用更强判别器改善重建后，部分下游生成与问答结果并没有同步提高；加入语义监督后，重建反而变差，但图文学习和下游表现可以更好。

二、四张成绩单不能平均：文字、图像、文生图、图生文

团队搭建了一个受控实验台：采用同一类纯自回归模型、相同数据配方和训练流程，只替换图像 Tokenizer。模型以 Qwen3 为文字骨干，比较多种视觉字典，并把验证损失拆成四张成绩单。

四类损失都会随着数据量和模型规模增加而下降，但下降速度和 Tokenizer 排名不同。文字损失更多继承自语言模型初始化；图像和文生图损失更受后续多模态训练影响；图生文损失则更像一面镜子，反映视觉符号是否真的向文字提供了有用信息。

实验结论摘要：四类损失都会下降，但变化速度和不同 Tokenizer 的排序并不一致。

这意味着不能把四个数字简单平均。某个 Tokenizer 可能最适合文生图，却对纯文字建模造成更大干扰；另一个可能图生文最好，但图像符号本身更难预测。平均数会把这些冲突压成一个看似简单、实际失真的总分。

跨方案比较摘要：预测空间不同，不能硬比总损失；跨 Tokenizer 时更应关注共享文字空间的图生文损失。

三、最值得记住的信号：跨 Tokenizer 比较时，多看图生文损失

在同一种 Tokenizer 内部，文生图损失和图生文损失都与生成质量高度相关。论文图中，固定同一种视觉字典后，文生图损失与生成能力基准的皮尔逊相关系数达到-0.954，与另一项越低越好的生成指标相关系数达到+0.956。这说明训练中的损失确实能预告下游趋势。

但一旦跨 Tokenizer 比较，文生图损失就不再公平。原因是每套视觉字典的词表和符号空间不同，同样一个损失数值不一定代表同样难度。论文尝试按词表大小归一化，能修正一部分偏差，却不能消除全部差异。

图生文损失更稳定，因为最终预测的是大家共用的文字词表。视觉字典虽然不同，但问题统一成了“看完这些视觉符号后，模型能不能更准确地说出文字”。因此，它既包含图文对齐信息，又有跨方案可比的输出空间。实验中，它不仅与生成质量相关，也与微调后的视觉问答表现保持中等相关。

四、图像词表还会“反向影响”文字能力

更意外的发现是：即使文字数据、文字 Tokenizer 和语言骨干都不变，仅替换图像 Tokenizer，纯文字损失也会变化。也就是说，视觉语言不只是决定图片怎么表示，它还会改变同一个网络学习文字的难度。

团队通过去掉图像生成目标做了定位。去掉后，成对 Tokenizer 之间的文字损失差距基本消失，说明干扰主要来自“预测图像符号”这件事，而不是来自看图说话。直观地说，如果视觉符号非常难学，它会在共享网络里占用更多建模能力，甚至把优化方向从文字任务上拉走。

这对统一模型尤其重要。过去选择图像 Tokenizer 时，常把它当成图像端独立部件；论文表明，它其实是整个模型的基础语言之一。词表大小、语义组织方式和预测难度，都会通过共享参数传到文字侧。

五、语义监督为什么有效：不是语法更简单，而是“视觉词”更有意义

团队比较了普通统一视觉分词器（UniTok）与加入语义监督的版本。加入语义监督后，视觉符号与常见物体类别词之间的联系更强；图生文损失的改善也主要集中在物体名称，而不是停用词、颜色词或普通内容词上。

实验结论摘要：语义监督主要增强视觉符号与物体词的联系，但局部序列熵未一致下降，说明提升来自视觉词更有意义，而非视觉语法更简单。

论文还检查了视觉符号序列的局部熵。如果语义监督只是让“视觉语法”变简单，那么不同长度的局部片段都应该更容易预测；结果并不一致。作者因此更支持“视觉词变得更有意义”的解释：不是整套序列规则都更简单，而是单个视觉符号更能表达物体级信息。

六、词表不是越大越好，指标也不是越低越好

团队比较了1024、8192和16384三种词表规模。结果没有出现“词表越大，所有损失越低”的整齐趋势：16384在图生文损失上最好，8192却在归一化后的文生图和纯图像损失上更低。不同任务仍然偏好不同视觉空间。

下游结果又多了一层复杂性：16384的生成和视觉问答表现最好，可能得益于更强的重建能力。于是选型不能只押一张成绩单。真正合理的做法，是把重建、可学习性、跨模态对齐、文字干扰和目标业务共同放进决策。

论文80亿参数模型的生成样例。既有正确遵循数量和属性的案例，也保留了“羽毛头盔”“三块饼干”等失败例子。

七、这项研究真正改变了什么？

第一，它把图像 Tokenizer 从“压缩器”提升为“视觉语言”。一旦图像和文字共享模型，视觉符号的设计就会影响生成、理解，甚至纯文字能力。

第二，它给出了更便宜的诊断思路。团队不必每次都把所有候选方案完整微调并跑完全部下游评测；可以先看四类验证损失，用图生文损失做跨 Tokenizer 的重要参考，再把计算资源投入最有希望的少数方案。

第三，它提醒我们谨慎理解“相关”。固定 Tokenizer 时，某些损失与生成质量关系很强；跨 Tokenizer 后，输出空间变化会让同一个数字失去公平性。一个指标是否有用，不只取决于相关系数多高，还取决于比较对象是否共享同一把尺子。

八、实验到底控制了什么，为什么这些结论值得参考？

Tokenizer 横向比较最容易出现的问题，是每个方案都搭配不同模型、不同数据和不同训练技巧，最后分不清优势来自视觉字典，还是来自其他条件。本文的主要价值之一，就是尽量把这些变量锁住：语言骨干统一采用 Qwen3，图像 Tokenizer 在多模态训练期间保持冻结，输入序列格式、训练目标、数据混合方式和评测流程也尽量一致。这样观察到的差别，才更有可能来自视觉符号空间本身。

训练分为两个阶段。第一阶段是混合模态继续预训练，模型同时接触纯文字、纯图像、文生图和图生文样本。纯文字样本要求模型预测整段文字；纯图像样本要求模型预测整段视觉符号；文生图只给文字条件、计算后续图像符号的损失；图生文则只给图像条件、计算后续文字的损失。条件部分进入上下文，但不直接计入被统计的损失。

第二阶段是监督微调。研究者把完成继续预训练的检查点放到生成和理解任务中，再看早期损失能否预告后期表现。这个设计很关键：如果一个训练损失只在预训练期间好看，却与微调后的真实能力无关，它就不适合作为选型信号。论文发现，图生文损失虽然不是万能指标，但在跨 Tokenizer 比较时比文生图损失更稳定。

规模维度也不是只跑一个点。核心分析覆盖约6亿、17亿和40亿参数模型，以及1200万、2400万和4800万样本等训练规模；配方验证还训练了80亿参数模型。研究者因此能区分“某次训练偶然更好”和“随着数据、模型扩大仍保持的趋势”。四类损失普遍随计算增加而下降，但下降的幅度与排序并不相同，这正是平均损失不可靠的原因。

验证集也按任务拆分。论文留出5万条纯文字样本和5万条图文样本，在相同掩码规则下计算每个被监督符号的平均负对数似然。通俗说，就是看模型面对没参与训练的数据时，对正确下一个符号有多大把握。数值越低，说明在这类任务和这套符号空间里预测越容易。

这里必须强调“在这套符号空间里”。文字模型常用按字节归一化的指标，因为不同文字 Tokenizer 的分词长度不同；图像 Tokenizer 更复杂，它们是有损压缩，视觉符号不能无损还原成原始像素，所以图像符号损失不能直接解释成原图的信息量。论文把损失定位为固定视觉语言下的建模难度，而不是跨所有视觉语言都天然公平的绝对尺子。

九、三个设计实验，把“为什么”继续拆开

第一组看判别器。训练图像 Tokenizer 时加入更强的视觉判别器，可以推动解码图像在感知特征上更接近真实图片。实验中，这种做法确实改善了重建指标，但并没有稳定改善统一模型的四类损失和下游能力，视觉问答甚至出现下降。这说明“解码器更会画回去”和“语言模型更会使用这些符号”不是同一目标。

第二组看语义监督。研究者让视觉编码过程额外接近具有语义信息的特征。结果是重建指标变差，但文字、图生文和文生图损失改善，生成与理解指标也更好。进一步分析显示，提升主要落在物体类别词上：图像符号更容易帮助模型预测“狗、汽车、椅子”等有视觉落点的词，而不是笼统改善所有文字。

这个结果对低层视觉研究也有启发。去噪、增强和压缩通常强调像素保真，但如果处理后的表示最终要进入多模态模型，还要检查语义结构有没有被保留。视觉质量更高与语义接口更好可以同时成立，也可能互相冲突。评价指标必须根据下游用途组合，而不是把一个重建分数当成最终答案。

第三组看词表规模。词表越大，每个视觉符号理论上可以承载更细的信息，但模型也要在更多候选中预测下一个符号。实验里的1024、8192和16384三档词表没有呈现简单单调关系：中等词表在部分图像侧损失上更好，最大词表在部分下游任务上更强，纯文字损失又可能走向相反方向。

研究者还检查了“词表很大但大部分符号根本不用”的可能。七种 Tokenizer 的实际单符号熵与理论最大值差距都在1.3%以内，说明大多数词表并非严重闲置。即便如此，不同符号出现频率仍不均匀，热门符号和冷门符号之间可相差很多倍。词表规模只是容量上限，真正的建模难度还取决于使用分布和语义组织。

十、给训练团队的一套实际选型流程

第一步，先设底线。用重建图、感知距离、文字细节和人物身份等指标，排除明显丢失业务关键信息的 Tokenizer。文档生成需要保文字，人物内容需要保身份，图像恢复需要保细节，不同业务的底线不能共用一套权重。

第二步，用小模型做受控预训练。语言骨干、数据、训练步数和优化器保持一致，只替换视觉字典。不要一开始就把全部资源押在最大模型上；先用小规模曲线观察四类损失的方向、稳定性和相互冲突，能更快淘汰明显不合适的方案。

第三步，拒绝只报总损失。至少分别记录纯文字、纯图像、文生图和图生文。若文生图更好、文字却明显变差，说明图像符号预测可能正在挤压语言能力；若重建很好、图生文很差，说明视觉符号可能保留了纹理，却没有形成易于文字读取的语义结构。

第四步，跨 Tokenizer 比较要换尺子。文生图和纯图像损失是在不同视觉词表上计算的，不能仅凭绝对值排名。可以尝试词表归一化，但仍要保留怀疑。图生文损失落在共同文字词表上，更适合做第一轮跨方案筛选，不过最终仍要由下游生成和理解评测确认。

第五步，检查训练曲线而不是只看终点。如果某个方案早期下降快、后期停滞，另一个方案起步慢却持续改善，两者在扩大数据后可能反转。论文展示的缩放曲线说明，Tokenizer 排名会随任务、数据量和模型大小变化，因此小规模一次性排名不应被当成永久结论。

第六步，把失败样例纳入报告。论文展示的生成结果里，灯塔、玫瑰、两个苹果和山景画能正确遵循提示，但“带羽毛头盔的骑士”和“三块饼干”仍会失败。平均分不能告诉团队错误属于数量、属性、空间关系还是罕见组合；真实产品选型必须按失败类型拆分。

第七步，再算工程账。相同压缩率下，编码器和解码器大小会影响数据预处理速度；词表变大会增加输出层与采样成本；视觉序列变长会直接推高训练和推理计算。论文主要研究能力关系，并没有替每个产品回答延迟、显存和吞吐问题，这些仍要在自己的硬件上实测。

十一、哪些结论不能被过度解读？

标题中的“一套框架实测七种”强调的是受控比较，而不是说七种已经覆盖所有主流路线。它们都属于固定长度、单码本的离散视觉表示；对于可变长度表示、多码本、连续特征、扩散式生成或视频 Tokenizer，结论需要重新验证。

6000万样本得到0.73与9000万样本得到0.72，也不能解读成团队方法“少三分之一数据全面反超”。两边模型规模、训练来源和具体配方不同，论文只用它证明自己的受控实验台能达到合理水平。与此同时，团队模型在另一项生成距离指标上是10.55，对照为5.47，差距明显。把两项都写出来，才能看到“相近”而不是“碾压”。

相关系数同样不等于因果。固定某种 Tokenizer 时，损失和生成质量一起变化，可能共同受到模型规模、数据量和学习率影响。论文通过多组规模和超参数加强了证据，但它仍不能证明单独优化某个损失就一定提高所有下游能力。损失更适合预警和筛选，不适合充当唯一训练目标。

语义监督改善了物体词对齐，也不意味着越强越好。如果视觉符号只保留抽象语义，纹理、文字、几何边界和人物细节可能被牺牲。统一模型需要的不是纯语义标签，而是一种在可重建性、可预测性和跨模态意义之间取得平衡的视觉语言。

十二、不同读者可以从论文拿走什么？

如果你是学生或刚进入多模态方向，可以先记住一个概念转换：Tokenizer 不是无关紧要的数据预处理，而是模型真正要学习的一门语言。像学习中文和英文一样，符号怎么划分、词表多大、哪些概念被放在一起，都会改变后续学习难度。看论文时不要只跳到最终榜单，也要看表示空间和训练目标怎样定义。

如果你负责训练系统，这项工作提供了一套故障定位方法。生成效果不好时，不要立刻归因于模型不够大或数据不够多；先检查是图像符号本身难预测、文字条件没有对齐到视觉符号，还是联合训练正在损伤语言能力。四类损失拆开后，优化方向会比一个总损失清楚得多。

如果你负责产品，最重要的是把指标和用户任务对应起来。图像创作工具更关心提示词遵循、数量和属性；文档助手更关心文字识别与版面；视觉问答更关心物体、关系和常识。某个 Tokenizer 在平均分上领先，不代表它适合你的核心场景。应先定义不能接受的失败，再决定哪些指标进入门禁。

如果你研究图像恢复、增强或压缩，论文也提醒了一条连接上游与下游的路径：恢复后的图像不仅给人看，也越来越多地交给多模态模型理解。未来评价一个视觉表示，可能既要看人眼质量，也要看它能否形成稳定、可预测、与文字一致的机器语言。这会让传统图像质量指标与多模态评测进一步汇合。

更进一步说，这种思路也适合团队做版本迭代。每次替换视觉编码器、调整词表或加入新的图像训练目标，都应保存四类损失曲线和代表性失败案例，形成可回溯的对照档案。这样即使最终总分只变化一点，也能知道变化来自生成、理解、图文对齐还是语言干扰，避免在多轮实验后只剩下一张无法解释原因的排行榜。

十三、限制：这还不是一条万能选型公式

论文限定在七种固定长度、单码本、离散图像 Tokenizer，并使用 Qwen3 纯自回归骨干。扩散模型、连续视觉表示、多码本方案或其他语言骨干是否保持相同规律，还需要复现。

验证损失是一种诊断工具，不能替代最终业务评测。论文覆盖了生成、通用视觉问答和文字识别等任务，但没有系统评估人类偏好、安全性、区域级定位、长视频和交互式任务。算力限制也使它没有建立完整的“最优数据量—模型规模—Tokenizer”缩放定律。

因此，最稳妥的结论不是“以后只看图生文损失”，而是：不要再只用重建质量替统一多模态模型挑视觉语言；至少要把分任务损失、图文对齐和文字侧干扰一起看。

对做图像生成、视觉语言模型和统一多模态系统的团队，这篇论文最实用的价值是一套更完整的检查表：图像还原得怎样、视觉符号是否好学、文字能否读懂它、生成目标是否干扰语言能力，以及最终业务真正需要哪种平衡。

如果你正在做图像生成或视觉语言模型，可以收藏这份选型检查表。后续我会继续跟踪这些 Tokenizer 在公开代码、跨骨干复现和真实训练成本上的结果。

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。