Meta×中佛罗里达大学多模态检索：3.1B激活参数做到70.4分，算力还能再省50%

龙哥导读

多模态检索过去常见两条扩展路线：要么把向量做得更长、每个对象存更多向量；要么让大模型先生成一段推理，再输出检索向量。前者增加存储和比较成本，后者会把在线延迟推得很高。MoEMB换了个方向：总容量继续做大，但每次查询只叫醒少量专家。论文在公开数据训练组里，用约3.1B激活参数把多模态嵌入评测系统（MMEB-V2）做到70.4分，还系统拆解了“哪些图像令牌和专家可以少算”。

先问一个很现实的问题：如果一家公司要给十亿张图片、视频和文档建立检索向量，模型每处理一个对象都先“思考几十步”，效果也许更好，可成本会不会先把产品压垮？检索与聊天不同。聊天请求通常一问一答，检索系统却要提前编码海量候选库，还要持续处理新内容和用户查询。

这也是MoEMB最值得看的地方。它不是简单宣布“又涨了几个点”，而是在追问：检索模型的容量应该放在哪里，才能让能力增长，却不让每次调用都承担全部成本？这个问题与最近多模态模型按问题跳过视觉计算、混合专家模型控制激活参数的趋势相连，但检索场景有自己的难处——吞吐量、批量大小和候选库规模都更敏感。

论文Figure 1：横轴是MMEB-V2准确率，纵轴是每秒查询数。红色MoEMB路线增加专家总数时，准确率明显上升，而实际激活计算保持受控。

一、向量模型不是“压缩器”，而是检索系统的第一道判断

很多人第一次接触向量模型，会把它理解成“把图片或文字压成一串数字”。这没错，但只说了一半。真正有用的向量，不仅要压缩，还要把语义关系安排好：相似内容在空间里靠近，不相关内容被拉远，文字问题能够找到图片答案，视频片段能够匹配描述，扫描文档能够回应跨页查询。

论文研究的是通用多模态向量模型。一个编码器要同时处理图片、视频、视觉文档和文字指令，还要覆盖分类、问答、检索、定位和视频时刻检索等不同任务。输入不只是“这张图是什么”，还可能是“在这段视频中，哪一刻出现了符合条件的动作”，或者“从一份长文档里找到支持某个结论的页面”。

任务一多，矛盾就出现了。轻量模型便宜，但复杂推理能力不够；大模型更懂指令，却可能让每条查询都变贵。对比学习还依赖很大的训练批量，因为同一批次里的其他样本会充当负例。参数越大、激活占用越高，可容纳的批量反而越小，模型规模和训练质量会互相挤压。

二、过去四条扩展路线，贵在不同地方

论文把多模态向量扩展归纳成四种办法。第一种是增加向量维度，让一个向量装下更多信息；第二种是为一个对象保存多个向量，查询时做更细粒度匹配；第三种是“先想再编码”，先生成推理令牌，再把推理结果压成最终向量；第四种就是MoEMB，把编码器内部扩展成多个稀疏专家。

论文Figure 2：从左到右分别是加长单向量、保存多向量、生成推理令牌，以及由路由器选择少量专家。MoEMB扩展的是编码器容量，不增加最终向量数量。

加长向量最直接，但候选库有十亿条时，每多一个维度都会变成长期存储和比较成本。多向量路线能保留局部信息，却会让索引更大、匹配次数更多。先推理再编码对难题有效，但生成过程是串行的；候选库里的每一项都走一遍推理，代价会被数据规模放大。

论文引用的对比很醒目：在第三版多模态嵌入评测系统（MMEB-V3）的文字部分，普通2B多模态编码器完成评估约需1.7天；一个2B“先想再编码”模型编码查询约需7.8个H200 GPU日，编码候选则约需431个H200 GPU日。这里并不是说推理令牌没有价值，而是提醒检索系统必须区分“少量困难查询”和“海量候选预编码”。

MoEMB的选择是：把更多知识分散进许多专家参数，但每个令牌只经过其中少数几个。可以把它想成一家大型医院。医院科室很多，综合能力很强；具体病人进来后，由分诊台把他送到少数相关科室，而不是让全部医生逐个会诊。总容量增长，不等于单次计算必须同比增长。

三、MoEMB到底怎么把多模态模型变成检索模型？

基础流程并不神秘。文字指令、图片、视频帧或文档页面进入多模态模型，编码器输出一串隐藏表示；池化模块再把它们压成单个向量，最后做归一化。可以把第一条核心公式写成：e = norm(Pool(F(input)))。F负责理解输入，Pool负责汇总，norm把向量长度统一，方便后续用余弦相似度比较方向。

训练使用对比学习。一个批次里，正确匹配的查询与目标应该相似，其他目标充当负例。相似度Sij等于查询向量与目标向量的余弦相似度，再除以温度参数。损失会提高正确配对Sii在全部候选中的相对概率。批量越大，负例越丰富，因此论文特别强调全局批量512的重要性。

真正的变化发生在前馈网络。普通稠密模型每个令牌都经过同一套前馈参数；稀疏专家模型准备共享专家和大量专门专家，路由器为当前令牌计算分数，只保留最高的k个。输出可以理解成“共享专家结果乘一个门控系数，再加上被选专家的加权和”。没有入选的专家不参与本次令牌计算。

论文比较三种建模方式。第一种直接使用预训练阶段已经学好路由器的原生稀疏骨干；第二种把稠密模型的前馈层拆开、复制成多个专家，再从头学习路由；第三种按图片、视频、文字等模态固定分配专家。结果最好的不是最复杂的新路由，而是保留预训练模型已经形成的令牌级专家分工。

这点很反直觉。很多团队拿到预训练模型后，会本能地觉得下游任务必须重新训练路由器。论文消融却显示，原生稀疏骨干达到70.4分；稠密模型改造成专家结构只有63.1分，按模态固定分配为64.2分。预训练期间形成的专家分工，可能已经编码了跨语言、视觉与指令的细粒度能力，粗暴重排反而破坏它。

池化选择也影响明显。把普通“最后一个令牌”池化换成专门的<emb>令牌，整体成绩从69.50升到70.34。加入强制负载均衡和路由正则后反而跌到66.62；给路由器额外塞入任务编号或指令先验也没有带来收益。换句话说，模型不是缺少更多人工规则，而是需要尽量保住预训练路由器已有的结构。

四、第一次省算力：总专家很多，每次只叫醒8个

小型稀疏模型（MoEMB-A3B）基于总参数约35B、每次激活约3.1B的多模态稀疏骨干；更大的稀疏模型（A10B）每次激活约10.2B。论文让每个令牌选择8个专家，因此即使专家总数从32增加到256，单次活跃计算也不会按8倍上涨。总专家像知识仓库，top-8路由像每次只打开相关的8个抽屉。

Figure 1展示的结果最能说明这条路线。专家从32个扩展到256个，MoEMB-A3B在MMEB-V2上的准确率增加10.4分，而吞吐量只从每秒34.2条查询降到29.3条。相比之下，推理检索模型（Embed-RL-2B）打开生成式推理后只增加1.5分，吞吐却从每秒41条跌到0.11条，约慢370倍。

五、第二次省算力：简单输入别走完整流程

固定top-8仍有浪费。一个清晰商品图和一道跨学科图表推理题，真的需要相同数量的视觉令牌、专家和网络层吗？论文把动态计算拆成六种动作：删除令牌、跳过网络层、提前退出、跳过专家、动态改变每个令牌启用的专家数，以及永久裁掉不重要专家。

论文Figure 5：上排减少令牌或网络深度，下排减少专家计算。不同动作分别作用于序列长度、层数、每令牌激活专家数和专家总容量。

令牌裁剪最容易理解。图片或视频被切成大量视觉令牌，其中天空、背景或连续相似帧可能重复。模型先判断哪些令牌最重要，再把低价值令牌移除，后续层便不必继续处理它们。论文既训练专门裁剪器，也尝试不额外训练、直接利用模型内部信号做排序。

专家跳过与动态top-k处理的是另一维。前者判断某个令牌是否可以不走稀疏专家，只保留注意力和共享专家；后者不再要求所有令牌固定调用8个专家，简单令牌也许4个足够，困难令牌则保留更多。专家裁剪更彻底，它直接把长期价值较低的专家从模型中删除，主要减少权重容量。

作者还尝试把多个动作一起训练。直觉上，所有地方一起省应该最划算，结果却不理想。多个离散开关会相互干扰：刚删掉一批令牌，又让剩余令牌跳层，再限制专家数量，优化器很难判断一次精度下降究竟由哪个动作造成。统一预算方案一度下降5.6分，说明“把六个开关都交给一个控制器”并不自动聪明。

六、一个有意思的信号：不用注意力，也能判断视觉令牌是否重要

传统视觉令牌裁剪常看注意力分数：最终表示关注哪个令牌，就保留哪个。问题是论文使用的高效注意力实现不一定显式生成完整注意力矩阵。为了拿到一个分数再把矩阵算出来，节省的计算可能又被额外开销吃掉。

MoEMB转而使用门控增量网络里的写入强度β。这个模块维护一块递归记忆S。每个令牌到来时，β决定新信息应在多大程度上写入记忆：β接近0，表示几乎保留旧记忆；β接近1，表示当前令牌值得大幅改写状态。作者把多层、多头的β平均后，当作无需额外训练的令牌重要性。

公式的直觉可以拆成三步。第一，用遗忘门α决定旧记忆保留多少；第二，用β控制是否覆盖与当前键相关的旧方向；第三，把β乘以当前值向量写入。关键不是公式长什么样，而是模型在更新内部记忆时，已经顺手留下“这个令牌值不值得记”的信号。拿它来裁剪令牌，不必再额外计算一张注意力地图。

实验中，基于β的推理期裁剪在保留50%视觉令牌时，减少22.8%的浮点运算，整体成绩下降约1.1分，吞吐提升1.39倍。训练得到的一次性裁剪器能减少32%运算、下降约1.0分。中等预算下，两者差距不大；到了删除70%到75%视觉令牌的激进区间，专门训练的裁剪器优势才明显。

论文Figure 7：四组曲线分别展示动态专家数、令牌裁剪、专家跳过和专家裁剪。预算越激进，准确率通常越快下降；不同动作的拐点并不相同。

七、榜单结果：3.1B激活参数，公开数据组70.4分

主基准MMEB-V2包含78项任务，覆盖图片、视频和视觉文档，任务类型包括分类、问答、检索、定位与时刻检索。论文把使用外部数据和只使用公开基准家族数据的模型分开比较。如果训练数据与测试任务形式高度相似，榜单分数会同时反映模型能力和数据覆盖，不能直接比较。

论文Table 2：MoEMB-A3B在只使用公开MMEB家族数据的分组中达到70.4分；A10B版本达到72.4分。表格同时拆分图片、视频和视觉文档任务。

在公开数据训练组里，MoEMB-A3B以3.1B激活参数得到70.4分，高于推理检索模型（Embed-RL-4B）的68.1分和通用检索模型（UME-R1-7B）的65.6分。后两者实际激活参数分别约13.2B和8.3B，还需要先进行自回归推理。更大的10.2B激活版本达到72.4分，比Embed-RL-4B高4.3分。

分模态看，3.1B激活版本在图片任务平均71.8、视频53.5、视觉文档81.0。它不是每个子项都第一，但在三类任务间比较均衡。A10B进一步达到图片74.0、视频56.3、视觉文档82.2。对通用向量模型来说，均衡很关键，因为真实索引库通常不会只出现一种输入。

但如果把使用大量外部数据的模型也放进来，MoEMB并非总榜第一。外部数据组里的大模型可达到80分左右。作者在局限部分也承认，当前模型仍落后于外部数据训练方案。更准确的结论是：在相同公开数据条件下，专家扩容比增加推理令牌更有效率，而不是“MoEMB打败所有多模态检索模型”。

八、推理型检索：不写推理过程，反而拿到51.6分

第二个多步推理检索系统（MRMR）更强调多步逻辑和跨领域理解。它包含艺术、医学、科学、人文、数学、物理、工程、商业、否定判断、设计和交通等子任务。有些问题不是看图识物，而是要识别定理、判断矛盾、连接跨模态知识。

论文Table 3：MoEMB-A3B平均51.6分，在表中超过7B到13.2B激活参数的多种基线；优势来自更大的稀疏容量，而不是在线生成推理文本。

这套3.1B激活版本平均51.6分，高于另一检索模型（LaME-7B）的48.9、UME-R1-7B的48.2和Embed-RL-4B的46.8。它在艺术、医学、科学、人文、设计和交通等多项上表现突出，但数学、物理和否定判断并非全面领先。这说明更大的专家容量能吸收更多跨领域模式，却没有把所有逻辑难题一次解决。

与Think Then Embed相比，两条路线的差异很清楚。后者把额外计算放在每次输入的推理轨迹上，适合“这道题确实值得多想”；MoEMB把额外能力放进稀疏参数，让路由器快速选择相关知识，适合“库很大、请求很多、每次都不能慢”。未来更现实的系统也许不是二选一，而是默认使用稀疏编码，只有少量困难查询再触发推理。

九、理论省下的计算，为什么不一定变成真实速度？

这是论文最有工程价值的一节。很多工作报告“浮点运算减少30%”，读者很容易理解成“速度快30%”。现实并非如此。GPU不是按数学公式一项项收费，它以固定大小的数据块执行矩阵乘法，还要承担内存搬运、核函数启动、专家分发和设备通信。

例如某个专家只分到少量令牌，普通分组矩阵乘法仍可能按至少128行的计算块处理。令牌少了一点，却没少到能消掉整个块，真实延迟就不会同比下降。论文还发现，朴素地逐个专家循环虽然看起来对稀疏度很敏感，但基线本身比融合内核慢5.7到8倍，用它计算“加速比”会严重夸大收益。

论文Figure 8：左侧比较令牌裁剪的压紧变长序列实现与遮罩实现，右侧比较不同专家计算内核。只有把剩余令牌真正压紧并使用合适的融合内核，理论节省才会转成每秒查询数提升。

MoEMB为令牌裁剪实现了压紧的变长序列：每层把保留下来的令牌重新排列成连续片段，同时维护边界，避免不同样本互相混入。它把63%到82%的理论运算下降转成真实时间收益；只做遮罩、仍保留原张量形状时，几乎得不到速度提升。

专家计算则使用面向数据块的融合内核。论文报告，专家数减到某个程度后，继续减少top-k的收益会饱和，因为注意力、共享专家和路由分发仍在。这个结果提醒工程团队：算法预算、张量形状和硬件内核必须一起设计。只在论文表格里少算几次乘法，产品延迟可能一毫秒都没变。

十、不同模态，模型把算力花在了不同深度

自适应计算不只是“难样本多算，简单样本少算”。Figure 9展示了图片、文字、视频和视觉文档在不同层的资源分配。图片与视频包含大量空间和时间冗余，因此令牌裁剪主要发生在较早层；视觉文档中的小字、表格和布局更密集，早期删得太多容易丢失关键结构。

论文Figure 9：图片和视频更早裁剪令牌；文字在早期层更常跳过专家，但动态top-k会为文字保留更多专家。最后一层几乎不跳专家，用来稳定生成最终向量。

专家跳过的规律又不同。早期层中文字令牌更常跳过稀疏专家，因为模板化指令可以依赖注意力和共享专家；后期各模态的跳过比例趋近。最后一层几乎不跳过专家，说明生成最终向量前仍需要一次完整整合。

十一、训练细节里，最不能省的是大批量负例

论文训练两个周期，序列长度8192，全局批量512，使用低秩适配。消融实验显示，批量从512减到256，MMEB-V2整体下降4.52分，是几项超参数中最明显的损失。原因很直白：对比学习需要在同一批次里看到足够多“不匹配对象”，才能学会细粒度区分。

论文Figure 6：批量缩小造成4.52分下降，低秩适配秩从64减到32下降2.91分；学习率从1e-4降到5e-5反而提升1.02分。

低秩适配的秩从64减到32会下降2.91分，温度相关的logit scale从50降到20会下降1.10分。学习率却呈现反方向：从1e-4降到5e-5，整体提高1.02分；在更小学习率下训练第二个周期再提高0.55分。这说明稀疏预训练骨干需要温和适配，更新过猛容易破坏既有专家分工。

这也解释了为什么“把参数做大”并不等于训练容易。混合专家允许总容量扩大，但对比学习的大批量需求仍在，专家并行、负例规模和路由稳定性必须共同满足。团队如果只有少量GPU，可能很难直接复现论文的训练条件；更现实的入口是使用已有稀疏骨干做下游适配，而不是从稠密模型临时复制一批专家。

十二、和三条相近路线放一起看

第一，Think Then Embed把能力放在推理轨迹里。它先生成上下文，再形成向量，优势是困难查询可以显式分解；代价是生成过程会显著增加查询和候选编码时间。MoEMB不生成解释文本，把能力放进可稀疏调用的专家参数，更适合吞吐敏感的大规模索引。

第二，多任务检索方法（TSEmbed）关注任务数量扩展。当一个模型要覆盖更多检索任务，任务之间会争抢表示空间和训练容量。MoEMB进一步把这个问题解释成容量与路由问题：总参数更多时，通用模型与任务专家之间的差距缩小，说明专家轴可以缓解任务干扰。

第三，视觉跳层方法把预算放在网络深度上。此前多模态模型加速工作会根据问题动态跳过视觉计算；MoEMB则同时研究令牌、层、专家数量和专家总容量。两者共同说明“所有输入走同一计算路径”越来越不合理，但MoEMB还强调了一个更难的工程问题：稀疏动作必须有对应内核，才能真的变快。

十三、这项工作适合谁，又不适合谁？

适合第一类团队：候选库极大、模态很多、查询延迟严格。例如图文商品检索、视频素材搜索、企业视觉文档问答和推荐召回。它们需要一个统一编码器处理多种对象，同时又不能为每条候选生成长推理。专家扩容能把更多能力装进模型，动态计算则为简单内容减少浪费。

适合第二类团队：已经拥有稀疏多模态骨干和成熟分布式服务。论文结果依赖原生预训练路由器、专家并行、压紧变长序列和融合专家内核。如果只有普通稠密模型，临时复制前馈层并从头学习路由，并没有得到同样收益。

不适合把“3.1B激活参数”直接理解成3B小模型。它背后仍有约35B总参数，需要权重存储、设备切分和路由调度。对低并发、小索引、单一模态应用，部署一套专家系统的复杂度可能超过节省的算力。

也不适合把50%计算下降当成固定承诺。论文结论来自特定模型、基准、预算和内核。表中代表性配置通常是少量精度损失换取约10%到30%的运算下降；“最高约一半”对应特定动作和允许的误差范围。真实产品还会受到批大小、输入长度、硬件和索引服务结构影响。

十四、论文留下的四个问题

第一，外部数据差距仍然存在。MoEMB在公开数据组里领先，但外部数据训练的大模型仍能取得更高总分。专家扩容提高了参数利用方式，却不能替代高质量、多样化训练数据。

第二，当前不支持音频。论文覆盖图片、视频、文字和视觉文档，但“通用多模态”尚未包含语音、环境声和音乐。加入音频后，路由器会不会形成新的专家分工，令牌裁剪规则是否仍有效，都需要重新验证。

第三，训练与服务门槛不低。实验使用长序列、大批量、专家并行和专门内核。论文没有把“一套现成的小型服务即可复现全部结果”作为主张。对普通团队，更值得复用的是设计原则：保留预训练路由、优先裁剪视觉冗余、测真实吞吐，而不是照搬最大配置。

第四，基准高分不等于所有检索问题都解决。MRMR里数学、物理和否定判断仍有明显空间；MMEB-V2也有训练分布与评测分布的关系问题。上线前还要用自家查询日志检查长尾概念、地区语言、敏感内容和误召回成本。

十五、龙哥点评：稀疏化真正难的不是“少算”，而是“知道哪里能少算”

这篇论文最让我认可的，不是70.4这个数字本身，而是它把“模型规模”和“每次请求成本”拆开讨论。过去我们常把更强理解力等同于更大的稠密计算，MoEMB证明至少在通用多模态检索里，可以先扩大专家知识库，再让路由器决定哪些知识值得调用。

第二个亮点是它没有停在理论运算量。作者专门展示了遮罩为什么不等于加速、逐专家循环为什么会制造虚假的高加速比，以及压紧序列和融合内核怎样把节省兑现成吞吐。对工程团队来说，这部分甚至比排行榜更重要。一个方法能否落地，常常就卡在“数学上少算了，硬件却没少等”。

第三个启发来自β写入强度。优秀的动态计算信号不一定要额外训练一个判断器，有时模型内部已经存在可复用的状态。注意力告诉我们“最终表示在看谁”，记忆写入强度告诉我们“谁正在改变内部状态”。后者不一定处处更好，但它为高效注意力模型提供了一条不依赖完整注意力矩阵的裁剪路径。

不过，长期价值取决于两件事。第一，更多硬件和框架能否原生支持令牌级稀疏与专家级稀疏，不再让团队自己维护复杂内核；第二，检索评测能否更接近真实系统，把索引构建时间、候选库更新、跨设备通信、长尾误召回和成本一起计入。只看离线平均分，很容易把系统问题藏起来。

十六、龙迷三问

十七、总结：让模型变大，但别让每个请求都为全部参数买单

MoEMB给出了一条清晰路线：用稀疏专家扩大通用多模态向量模型的总容量，保留单向量、非自回归编码，再根据令牌、模态和任务复杂度动态分配计算。在公开数据训练组中，3.1B激活参数版本在MMEB-V2达到70.4分，在MRMR达到51.6分；增加专家总数带来超过10分提升，而吞吐只小幅下降。

它还证明，自适应计算不能只写在公式里。保留50%视觉令牌可减少22.8%运算并把吞吐提高1.39倍，组合方案可达到约1.44到1.46倍；但真正收益来自压紧序列和融合专家内核。随机少选专家会明显掉点，多种离散动作硬绑在一起也可能互相干扰。

最终值得记住的不是一个模型名字，而是一个系统设计原则：把“拥有多少能力”与“这次请求调用多少能力”分开。当图片、视频、文档和文字共同进入同一检索系统后，真正高效的模型不只是参数更少，而是能判断当前输入需要看多少、走多深、找几位专家，并把省下的计算真实变成用户能感受到的速度。