科罗拉多大学安舒茨医学中心：1.1万例右上腹多帧超声，打通识别、报告与手术分诊

龙哥导读

超声 AI 过去常像一个只会答单选题的助手：给它一张图，它判断有没有某种异常。科罗拉多大学安舒茨医学中心等机构这项工作把问题推进了一大步——让系统读取一整段右上腹多帧检查，先识别 16 类发现，再写放射报告，最后把报告和临床信息送进胆囊切除分诊。它真正有价值的地方，不是某一个分数冲得多高，而是把“看见—说清—辅助下一步决策”连成了可评估的完整链条。

急诊里的右上腹超声有一个很现实的矛盾：它便宜、快速、没有电离辐射，是胆囊和胆道疾病的重要入口；但它又高度依赖扫描者和阅片者经验。同一位患者的一次检查可能包含几十到上百帧，里面混着噪声、伪影、不同切面和不完整显示。真正的临床任务从来不是“看一张漂亮截图猜疾病”，而是从一段动态检查中提取证据、形成报告，再判断患者是否需要更紧急的处理。

这篇论文最抓人的进展就在这里：系统不是做一个孤立分类器，而是用三类任务框架覆盖异常识别、报告生成和手术决策支持。训练和测试共覆盖 11001 例检查、超过 68 万张图像，并在三家机构的数据上验证。对医学 AI 来说，这种“工作流完整性”往往比单榜单多零点几个百分点更接近真实价值。

图1｜论文 Figure 1，也是全文最重要的方法总览。上方展示真实临床流程：患者评估、超声采集、影像判读、报告形成，再到手术决策。中间把训练机构与两家外部测试机构分开，强调外部数据不参与调参。下方三项任务依次是 16 类异常分类、结构化报告生成、胆囊切除发生预测；最右侧的盲评用于判断 AI 报告是否逼真、是否经过医生修订后更接近临床可接受文本。该图证明的是任务链被完整建模，不代表系统已经完成前瞻性临床部署。来源：Nature Communications 原论文，CC BY-NC-ND 4.0。

01 为什么“多帧”比单张图难得多

普通图像分类通常假设一张图已经把关键目标放在画面里。右上腹超声却不是这样：探头移动时，肝脏、胆囊、胆管、胰腺、右肾和胸腔积液可能在不同切面出现；某一帧看不到，并不等于患者没有异常。操作者还会调整角度、深度和增益，导致同一结构的外观持续变化。

论文中的原始视频长度从不足 20 帧到超过 200 帧。研究先把每段检查标准化为 32 帧：长视频均匀采样，短视频循环填充。随后去掉文字覆盖和显示标记，保留扇形超声成像区域，再统一缩放到 224×224。这个步骤看起来朴素，却决定了模型究竟是在学习解剖与病变，还是在偷看设备文字、测量标记和医院模板。

多帧任务的核心不是“图片更多”，而是要把跨时间、跨切面的不完整证据聚合成患者级判断。如果只挑一张关键帧，模型可能错过短暂出现的结石声影、胆囊壁变化或少量积液；如果把所有帧无差别平均，又会被大量重复和低质量画面稀释。

02 数据规模很大，但更重要的是三院分工

主数据来自一所大型学术医学中心，共 9189 例、594099 张图像；其中 8269 例用于训练，917 例用于内部测试。外部验证一来自科罗拉多大学，包含 1704 例、90616 张图像；外部验证二来自斯坦福大学，包含 108 例、3240 张图像。合计正好是 11001 例检查。

三院分工比“总共六十多万张图”更值得关注。医学影像模型最容易在同一医院里学会设备、扫描习惯、报告模板和人群构成，内部测试很好看，一换院就掉。论文把内部确定的高特异性阈值原样应用到两家外部机构，没有在外部数据上重新寻找更好阈值，这让跨院结果更接近真正的迁移考试。

当然，数据结构并不完美。斯坦福外部集只有 108 例，统计不确定性会更大；研究也是回顾性的，不能模拟医生实时接收系统建议后会怎样改变诊疗。这是一份强度不错的多中心技术验证，但还不是临床结局试验。

03 第一级：从32帧里找出16类临床发现

第一级分类器使用超声基础模型 USFM 作为视觉骨干。每一帧经过 ViT-B/16 编码，得到 768 维表示；注意力聚合器再为不同帧学习权重，压成一个患者级 768 维向量；最后的多标签分类头同时输出 16 类发现的概率。这里不是互斥单选，因为一个患者可以同时出现胆结石、胆囊壁增厚、胆囊周围积液和胆总管扩张。

16 类标签覆盖腹水、胆泥、胆囊炎、胆石症、肝实质回声粗糙、胆总管扩张、胆囊扩张、胆囊壁增厚、脂肪肝、肝大、肝回声增强、肾回声增强、胰腺显示不佳、胆囊周围积液、肾囊肿和右侧胸腔积液。它们既有明确病变，也有“显示不佳”这种检查质量与可见性信息，说明系统面对的是报告工作流，而不是只挑容易分类的疾病。

训练中还用了非对称损失、多标签 Mixup、困难样本加权、类别权重和梯度冲突处理。原因很直接：不同发现的阳性率差距很大，若只优化平均交叉熵，模型会倾向于把少见异常统统判成阴性。梯度冲突处理则尝试避免某一标签的更新方向伤害另一标签。

输入：一次右上腹超声检查的可变长度视频
frames = 均匀采样或循环填充为32帧
frames = 扇形成像区裁取、去文字标记、缩放并归一化

对每一帧：
  feature_i = USFM(frame_i)                 # 768维超声特征

patient_feature = AttentionPool(feature_1 ... feature_32)
finding_probs = MultiLabelHead(patient_feature)    # 16类发现
report = VLM(frames)                               # 独立生成结构化报告
decision = LLM(patient_data, ICD, report)           # 已报告的手术预测实验输入

输出：异常概率、报告草稿、手术决策支持

伪代码中，分类与报告生成是面向同一组标准化多帧输入的两个下游任务，不把分类概率虚构成报告模型的必需运行时输入。论文总体架构讨论了图像、疾病、报告与临床特征的协同，但已报告的胆囊切除预测实验明确序列化输入为患者变量、既往 ICD 与人工或 VLM 报告，因此这里按实际实验写法呈现。报告承担了“可读的中间表示”角色，把视觉证据翻译成医生和后续模型都能消费的临床语言。

04 分类结果：总体不错，难点也暴露得很清楚

内部测试的 macro AUROC 为 0.820，micro AUROC 为 0.865。macro 是先算每类再平均，因此不容易被高频类别“带飞”；micro 把所有标签判断汇总，较受常见类别影响。三种最强类别是右侧胸腔积液 0.926、腹水 0.904、脂肪肝 0.904。胆石症也达到 0.895。

表现最弱的是“胰腺显示不佳”，内部 AUROC 只有 0.670，科罗拉多外部集进一步降到 0.575。这其实很有启发：病变存在与否通常有相对明确的视觉模式，而“显示不佳”混合了患者体型、肠气、扫描角度、设备和操作者选择。它不只是一个解剖标签，也是检查过程标签，天然更难跨院迁移。

图2｜论文 Figure 2。上部比较超声专用 USFM 与通用 ImageNet ResNet-50，在多类发现上 USFM 整体更强，但并非每一类都同幅度提升。中部把三家机构的患病率柱状图与 AUROC 曲线放在一起，可见不同医院阳性率差异明显。下部相关性分析没有发现患病率与 AUROC 的显著关联。它支持“结果不是简单由高频标签造成”的判断，但不能排除设备、流程、样本量和病例复杂度等其他域偏移因素。来源：Nature Communications 原论文，CC BY-NC-ND 4.0。

外部 macro AUROC 在科罗拉多为 0.794，在斯坦福为 0.775，都低于内部 0.820，但没有崩掉。若只看总体数值，下降似乎不大；按类别看却有明显分化。例如科罗拉多集腹水 0.937、右侧胸腔积液 0.940，很强；胆泥却从内部 0.818 降到 0.606。跨院部署不能只问“平均 AUROC 多少”，还要问本院最关心的具体病种是否稳定。

论文还在内部集按每类确定 90% 和 95% 特异性的阈值，再直接迁移到外部集。内部 90% 特异性时，右侧胸腔积液敏感度 0.814、脂肪肝 0.772、胆石症 0.752、腹水 0.740。这些数字更像“低误报条件下能捞回多少患者”的分诊视角，比单独报 AUROC 更接近使用现场。但作者也明确提醒，这些仍是回顾性工作点，不是可直接上线的临床阈值。

05 第二级：不是写得像，而是临床信息要对

报告生成比较了三条路线：基于 M3D 视觉编码器并连接 8B 语言模型的 UltrasoundLlama、连接 3.8B 小模型的 UltrasoundPhi，以及 7B 的 UltrasoundQwen。训练不仅给完整报告，还加入 13 个常见标签的 Yes/No 视觉问答，让模型在学习文风之外，持续被迫回答关键发现是否存在。

传统 BLEU、ROUGE、METEOR 衡量词语和句式重合，却可能奖励“写得像”。医学报告最怕的是句子流畅但事实错位，所以论文又加入两类临床指标。FORTE 把报告拆成程度、解剖位置、影像特征和最终印象四个维度；DocLens 则抽取报告中的临床主张，再检查这些主张是否被参考报告支持。

内部集上 UltrasoundQwen 的 FORTE 平均 F1 为 0.6539，DocLens 为 0.6094；科罗拉多外部集 DocLens 为 0.5904、FORTE 为 0.5337；斯坦福 DocLens 为 0.5470。绝对值并没有接近满分，这一点必须诚实面对。论文真正的进步是把评估从“像不像报告”推进到“报告里的临床主张有多少站得住”。

图3｜论文 Figure 3。每组柱子比较 UltrasoundLlama、UltrasoundPhi、UltrasoundQwen，三大数据区对应内部机构、斯坦福和科罗拉多。左侧 BLEU、ROUGE、METEOR、BERT-F1 更偏文字重合与语义相似；右侧 DocLens 与 FORTE 更偏事实主张和临床信息结构。误差线来自三次独立运行。图中 UltrasoundQwen 多数指标领先，但外部临床指标仍明显低于内部，说明跨院报告生成远没有被解决。来源：Nature Communications 原论文，CC BY-NC-ND 4.0。

06 图像到文字，为什么是决策链的关键中间层

如果最终目标只是预测是否手术，为什么不让一个黑盒模型直接从图像输出 Yes 或 No？原因在于临床决策需要可追溯。报告把结石、炎症、胆囊壁、周围积液、胆管和其他伴随发现组织成医生熟悉的语言，既能被人工复核，也能和病史、ICD 编码、人口学变量组合。

从系统工程角度看，这是一种有意设置的信息瓶颈。图像嵌入维度高、难解释；报告会损失一部分视觉细节，却把重要信息压缩成结构化临床语义。压缩得好，下游模型获得稳定、可读的输入；压缩得不好，错误就会沿链条传播。系统不能只评估最后一个手术预测分数，还要逐级审计分类、报告和决策。

这篇工作的最大方法价值，是把“可读中间表示”放回多模态医疗智能体中心。它提醒做医疗 AI 的团队：端到端并不等于取消所有中间产物；恰恰相反，临床可接受的系统需要在关键位置留下人能检查、能修正、能追责的接口。

07 第三级：生成报告能不能真的支撑胆囊切除分诊

研究从确认胆囊炎的患者中构建 2170 人子集，按 80%/20% 分成训练和测试。决策模型输入可以包含患者变量、诊断前 ICD 编码以及报告文本，并预测是否接受胆囊切除。为了避免明显标签泄漏，直接指向急性胆囊炎或相关炎症诊断的 ICD 编码被排除。

使用人工原始报告时，“变量+ICD+报告”取得准确率 0.843、召回率 0.665；换成 VLM 生成报告后，准确率降到 0.718、召回率 0.602。这个差距很重要：AI 报告确实保留了足以支持下游预测的关键信息，但还没有完整复制人工报告的决策价值。

另一个值得注意的现象是，只看准确率会误导。仅输入患者变量时，生成报告侧准确率可达 0.868，召回率却只有 0.128，说明模型很可能通过偏向“未接受手术”获得表面高分。加入 ICD 和报告后，准确率下降，但召回率显著升到 0.602。这里的标签来自实际胆囊切除程序码，表示患者是否接受胆囊切除，并非专家重新裁定的“医学上必须手术”。

生成报告不是漂亮的附属品：它让召回率从接近不可用的水平提升到有实际研究意义的 0.602。但 0.602 也意味着仍有相当一部分阳性病例可能漏掉，因此系统适合做第二阅读者、提醒器或优先级排序，不适合独立决定手术。

08 图灵测试的反转：人工修订后更难被识别

论文邀请 12 名放射科医生进行盲评。面对未经修改的 AI 报告，医生识别其为 AI 的平均准确率为 0.85，说明原始输出通常还有明显痕迹。另一组报告先由医生修订，平均每份修改耗时 68.4±21.0 秒；识别准确率随后降到 0.46。

0.46 低于随机猜测附近，看起来很惊艳，但不能写成“AI 报告超过医生”。实验问的是哪份文字更像人工，不是哪个诊断更安全。后编辑本身已经引入医生专业判断，真正被验证的是“AI 草稿+医生修订”的协作形态，而不是无人监督自动报告。

图4｜论文 Figure 4。三组箱线图分别展示准确率、召回率和 F1；蓝色对应直接比较 AI 与人工报告，粉色对应医生先修订 AI 草稿后的协作模式。每个点是一位独立放射科医生。粉色组更难被识别，说明少量专业修订显著提高文本逼真度。它不能证明修订后的每条事实都正确，也没有直接测量从零写报告所需时间，因此不能据此计算真实节省工时。来源：Nature Communications 原论文，CC BY-NC-ND 4.0。

提供图像后，整体识别人工报告的准确率从 0.61 升到 0.69，但差异没有统计显著。专家读者在有图时从 0.56 升到 0.69，受训读者则从 0.68 变为 0.64。样本和读者数量有限，不能过度解释；至少可以看出，临床经验仍决定一个人能否用图像证据纠正文稿。

更现实的产品形态不是“AI 冒充医生”，而是 AI 先写一份可检查的草稿，医生把时间集中在纠错和最终签署。论文没有测量从零撰写人工报告的对照耗时，所以“节省多少分钟”仍是待验证问题。

09 和两篇相似工作相比，它到底多走了哪几步

第一篇直接相关工作是 2025 年的《Adaptation of convolutional neural networks for real-time abdominal ultrasound interpretation》。它在超过 6 万张腹部超声图像上使用帧池化 CNN，处理骨盆和右上腹 FAST 检查中的游离液体分类。这条路线已经抓住“不能只看单帧”的问题，并面向实时创伤分诊。

它与本论文的区别不只是模型从 CNN 换成 VLM。前者核心输出是更窄的二分类创伤信号；本论文则分别完成 16 类发现分类与多帧报告生成，再由报告和临床变量预测患者是否接受胆囊切除。换句话说，前者解决“多帧里有没有液体”，本论文尝试解决“多帧里看到了什么、怎样写进报告、下一步如何分诊”。

第二篇是 2023 年的成人 FAST 检查腹腔积血深度学习工作。它用 YOLOv3 在 94 名成人的右上腹 FAST 图像中检测积血是否存在及位于何处，报告敏感度 95%、特异度 94%、准确率 95%。数字很高，但任务边界更窄、样本量更小，且关注单一创伤发现的位置检测。

三项工作连起来看，路线演进很清楚：从单病种检测，走向多帧患者级分类，再走向“分类—语言—决策”的可审计链条。当前论文并非在所有单项指标上都比窄任务更高，而是扩大了任务宽度和临床流程覆盖。代价也随之增加：标签更复杂、错误传播更明显、验证成本更高。

10 这项工作最值得肯定的三个设计

第一，把外部验证放在核心位置。三家机构在设备、患病率、扫描习惯和人群上存在差异，模型没有靠外部重调阈值把结果修漂亮。外部 macro AUROC 下降被如实呈现，胆泥和胰腺显示不佳等困难类别也没有隐藏。

第二，报告评估不只看文字相似度。FORTE 和 DocLens 分别从临床结构与事实主张检查生成文本，虽然它们也不是最终安全标准，但比 BLEU、ROUGE 更能暴露“写得顺却写错了”的问题。

第三，让生成报告接受下游任务检验。一份报告是否有用，不只看读起来像不像，还看它能否保留支持临床决策的信息。用生成报告替换人工报告后，胆囊切除召回率仍达到 0.602，说明文本中确实承载了部分可操作信号。

11 不能绕开的六个边界

第一，回顾性数据不等于真实上线。系统没有在急诊现场前瞻性介入，也没有测量它是否改善诊断正确率、报告周转时间、患者等待时间或最终结局。

第二，训练标签含弱监督。原始报告没有天然的结构化标签，研究用本地大模型抽取 40 类信息，再选择患病率超过 5% 的 16 类训练分类器。100 份人工核验中标签级 micro accuracy 达 99.60%，报告级严格准确率为 83%，说明总体可靠，但细粒度错误仍会进入训练链。

第三，任务覆盖仍不完整。系统优先处理急性肝胆问题，没有覆盖肝脏肿块、胆囊息肉等重要肿瘤发现，不能被当作完整腹部超声筛查工具。

第四，外部样本不均衡。科罗拉多集较大，斯坦福只有 108 例；少样本机构上的总体分数需要更宽的置信区间和更多前瞻性病例支撑。

第五，数据不能公开下载。临床影像受隐私和机构数据协议约束，研究者可申请去标识数据，但要经过伦理审查和数据使用协议。代码公开并不等于外部团队能完整复现实验。

第六，“难以区分”绝不等于“事实无误”。医生后编辑后文本更像人工，只说明语言与格式更可信；安全部署仍需要逐项异常检出、关键遗漏、错误定位、置信度校准和真实临床结局评估。

12 真正落地时，系统应该放在哪个位置

最稳妥的位置不是替代放射科医生，而是进入报告前的辅助层。系统先检查 16 类常见发现，标出可能遗漏项，生成结构化草稿；医生同时查看完整多帧检查、模型提示和报告文本，决定接受、修改或删除。最终签署权和责任仍在人。

第二个位置是急诊队列排序。对高特异性阈值下仍呈阳性的胆石症、腹水、胸腔积液等病例，系统可以把检查提前送入医生工作列表。但排序规则必须按机构重新验证，不能把论文内部阈值原封不动写进生产系统。

第三个位置是质量控制。像“胰腺显示不佳”这样的标签虽然当前性能较弱，却提示了另一种价值：模型可以识别检查可见性不足，提醒补扫某个切面。未来若把扫描引导、报告草拟和诊断决策连起来，超声 AI 才会从阅片算法变成检查流程助手。

落地优先级应该是“提醒与草拟”高于“自主诊断”，又高于“自主治疗决策”。越靠后，错误代价越大，对校准、审计、责任和前瞻性试验的要求也越高。

13 龙哥点评：医疗智能体的门槛，是闭环而不是聊天

龙哥觉得，这篇论文最值得行业借鉴的，不是把 Qwen、Llama 或某个基础模型接进医院，而是把每一级产物都变成可检查对象：分类有分病种指标，报告有临床事实指标，决策有准确率和召回率，人机协作还有盲评。它没有把“模型能生成一段像样文字”直接包装成临床智能。

很多多模态产品的问题，是把输入和输出连起来就叫端到端，却没有审计中间信息到底丢了什么。这篇论文反而保留报告作为可读中间层，让医生能在错误传播到手术建议前介入。在高风险行业，可解释不一定要解释神经网络每个权重，但必须提供人能发现错误、阻断错误和修正错误的流程接口。

同时也要克制。外部性能下降、肿瘤任务缺失、数据不公开、手术召回率只有 0.602，都说明它距离自主系统很远。真正昂贵的下一步不是再换一个更大的语言模型，而是跨设备前瞻性验证、精细错误标注、工作流随机对照、时间与成本测量，以及医院之间的持续校准。

对创业团队而言，这项工作还给出一个现实提醒：医疗 AI 的壁垒不只在模型，还在合法数据、临床流程、责任边界和长期验证。开源代码可以复制框架，无法复制三家机构的数据治理和医生协作。技术突破打开门，行业闭环决定能不能走进去。

14 龙迷三问

第一问：如果报告必须医生修改，AI 还有价值吗？有，但价值要靠对照试验量化。若 AI 能减少从零书写时间、降低遗漏并保持错误可控，它就是有效工具；若医生需要逐字重查，节省可能被校对成本抵消。论文证明“修订后更像人工”，尚未证明净效率提升。

第二问：为什么不直接训练一个更大的端到端模型？更大模型可能提高部分指标，却不会自动解决跨院域偏移、责任审计和错误阻断。分类—报告—决策的分级结构便于定位问题，也让医院能只启用风险较低的模块。

第三问：普通技术团队能从中学什么？不要只优化最终输出。对长链条系统，应给每一级定义可验证中间产物、外部测试和失败退出机制。尤其在医疗、金融和工业控制里，“能在错误发生后解释”不够，还要“能在错误扩散前拦住”。

结语

这篇 Nature Communications 论文没有宣布超声医生即将被替代。它做了一件更扎实的事：把动态多帧超声从单点识别推进到完整的诊断信息链，并用三院数据、临床报告指标、下游手术预测和医生盲评逐段检查。

如果未来前瞻性研究能证明它减少漏诊、缩短报告时间、稳定跨设备表现，同时让医生保留清晰的复核和否决权，那么这类系统会真正成为超声工作流的“副驾驶”。现阶段最准确的评价是：它已经把医疗视觉语言模型从会回答问题，推向了会参与流程；但离独立接管流程，还有一整套临床验证要走。