GPT-5.4也翻车？港科大（广州）新基准：长文档重建关系数据库，F1仅75

龙哥推荐理由：
当业界还在用单表抽取评测文档理解时，港科大（广州）团队直接抬高了门槛——Doc2DB-Bench要求从长文档里重建完整的关系数据库，边从表格到数据库：为什么文档理解需要新范式 先看一个真实场景：一份几十页的金融报告，里面写了好几家公司的现金流数据、股权关系、投资链路。传统做法是让大模型把里面的公司名称、金额、年份挨个抠出来，填进一张大表里完事。

首次系统性地提出Doc2DB评测任务，用受控反向合成替代人工标注构建多表数据库基准，双支柱能力分类法也填补了该方向的空白。

实验合理度：★★★★☆

基线覆盖了开源模型、专有模型和专门的抽取系统，对比较全面。但缺少对失败个案的深入剖析。

学术研究价值：★★★★☆

开辟了文档理解评测的新方向，数据库级评估的提出让评测与实际应用的距离更近，对后续研究有引导意义。

稳定性：★★★☆☆

双重验证机制保证了合成文档与ground truth的一致性，但文档生成质量仍依赖LLM，噪声控制需要调试成本。

适应性以及泛化能力：★★★☆☆

覆盖了7个领域，但文档以合成数据为主，在真实世界复杂文档上的泛化情况有待进一步验证。

硬件需求及成本：★★★☆☆

合成和评测都依赖Gemini-2.5-Pro等强模型，API成本不低。对普通研究者有一定的门槛。

复现难度：★★★★☆

代码和数据已在GitHub开源，管道设计清晰，步骤拆解明确，复现条件良好。

产品化成熟度：★★★☆☆

作为基准测试集，其成熟度较高，可以有效地评估文档抽取系统的能力。作为实际产品工具仍然需要更多场景扩展。

可能的问题：

合成文档虽然通过了真实性和提取一致性验证，但分布与真实世界文档仍有差距，部分结论可能过于乐观。建议后续补充真实文档上的小规模验证集。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

这篇工作的边界或风险在哪里？优点：（1）提出Doc2DB问题定义，将文档理解从平面表格提取提升到关系数据库构建层面，具有重要实际意义；（2）设计可控的DB2Doc反向合成流水线，有效解决人工标注瓶颈；（3）提出双支柱能力分类体系，支持细粒度诊断；（4）构建了大规模多领域基准，并通过真实性验证。缺点：（1）合成文档与真实文档仍存在差距，虽然通过了真实性验证但可能缺乏真实世界的噪声和复杂性；（2）依赖LLM生成文档，可能存在系统性偏差；（3）评估指标主要基于单元格匹配，对语义等价但结构不同的预测可能不够鲁棒；（4）未充分探讨不同提示策略对提取性能的影响。

这篇工作最值得看的点是什么？GPT-5.4取得最佳总体F1（75.25）和LLM评分（69.02），Claude-opus-4-6取得最高实体级F1（84.95），GPT-5.4在关系级F1（72.33）上领先。开源模型与专有模型差距显著，关系级提取是主要瓶颈。

这篇论文到底在解决什么问题？港科大（广州）推出Doc2DB-Bench基准，一改传统单表抽取套路，要求大模型从长文档直接重建完整关系数据库。203个实例、7,341行数据、41,935个单元格，GPT-5.4整体F1仅75.25，关系级推理与完整性约束成最大

下面是龙哥对于大家可能的一些问题的解答：

龙迷三问

可能的问题：定义，将文档理解从平面表格提取提升到关系数据库构建层面，具有重要实际意义；（2）设计可控的DB2Doc反向合成流水线，有效解决人工标注瓶颈；（3）提出双支柱能力分类体系，支持细粒度诊断；（4）构建了大规模多领域基准，并通过真实性验证。

产品化成熟度：★★★☆☆

论文验证以研究实验为主，真实部署中的时延、成本、维护和异常场景仍需补充验证。

复现难度：★★★☆☆

https://github.com/SetonLiang/Doc2DB-Bench

硬件需求及成本：★★★☆☆

现有材料缺少完整训练资源、参数量、显存和推理时延信息，成本暂按中性评价。

适应性以及泛化能力：★★★☆☆

现有材料未完整展示跨数据集、跨场景或分布外实验，泛化能力仍需进一步验证。

稳定性：★★★☆☆

现有材料未提供充分的极端条件、重复运行或扰动测试，稳定性暂按中性评价。

学术研究价值：★★★★☆

提出可控的DB2Doc反向合成流水线，从真实关系数据库实例出发，通过能力标注、证据分解、序列化、迭代生成和双重验证，合成高质量的长文档Doc2DB基准，用于评估LLM从文档构建关系数据库的能力；更关键的是问题定义是否可复用到同类任务。

实验合理度：★★★★☆

Cell-level Precision/Recall/F1，Semantic Quality（LLM评分），Entity Coverage，Relation Coverage，Reference Integrity Rate

论文创新性分数：★★★★☆

提出可控的DB2Doc反向合成流水线，从真实关系数据库实例出发，通过能力标注、证据分解、序列化、迭代生成和双重验证，合成高质量的长文档Doc2DB基准，用于评估LLM从文档构建关系数据库的能力。

龙哥点评

主要参考文献

[1] Zhuowen Liang, Zhengxuan Zhang, Jiayang Wang, Jiazhuo Chen, Nan Tang. Beyond Tables: Doc2DB-Bench for Relationally Faithful Document-to-Database Construction. arXiv preprint arXiv:2608.08459, 2026.

[2] Doc2DB-Bench 开源项目: https://github.com/SetonLiang/Doc2DB-Bench

[3] BIRD: A Big Bench for Large-scale Database Grounded Text-to-SQLs. 论文中的合成管道以BIRD和Spider数据库为基础构建。

[4] Spider: Large-Scale Human-Labeled Dataset for Complex and Cross-Domain Semantic Parsing and Text-to-SQL Task. 数据来源之一。

*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～ 想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！       

文档变数据库，关系推理整不会？别慌，进群跟龙哥一起拆解Schema玄机，聊聊GPT-5.4的75分到底咋拿的。
欢迎加入龙哥读论文粉丝群，扫描下方二维码或者添加龙哥助手微信号加群：kangjinlonghelper。一定要备注：研究方向+地点+学校/公司+昵称（如 数据库构建+广州+港科广+龙哥），根据格式备注，可更快被通过且邀请进群。
『龙哥读论文』微信群目前包含：图像处理、大模型及智能体、自动驾驶及机器人、AI医疗及AI金融5个群