← 返回 PaperDaily 大模型与智能体

多目标决策新范式：不用预设预算也能找齐所有最优解

当药物分子库动辄上亿候选物时，那个经典的“找最佳分子”问题瞬间变成了在浩瀚星辰中寻宝。不仅要考虑多个属性，还得在“探索”和“利用”间平衡。这篇论文提出了TTPFTS，第一个真正意义上的“随时”贝叶斯算法，无需预设预算，就能边采样边给出越来越准的帕累托最优解集。更绝的是，在9400万分子的库中，它只用了0.05%的探索量就几乎锁定了全部真实最优解，还自带一个“

龙哥读论文 阅读 3 查看原文
#人工智能 #强化学习 #AI应用
多目标决策新范式：不用预设预算也能找齐所有最优解
🐉 龙哥读论文知识星球来了！
公众号每日8篇拆解不够看？星球无上限更AI领域论文、资讯、招聘、招博、开源代码，一站式干货，每日2分钟刷完即赚！ 👇扫码加入「龙哥读论文」知识星球，前沿干货、实用资源一站式拿捏～ xingqiu_header

龙哥推荐理由：
当药物分子库动辄上亿候选物时，那个经典的“找最佳分子”问题瞬间变成了在浩瀚星辰中寻宝。不仅要考虑多个属性，还得在“探索”和“利用”间平衡。这篇论文提出了TTPFTS，第一个真正意义上的“随时”贝叶斯算法，无需预设预算，就能边采样边给出越来越准的帕累托最优解集。更绝的是，在9400万分子的库中，它只用了0.05%的探索量就几乎锁定了全部真实最优解，还自带一个“信心仪表盘”，让你实时知道算法的靠谱程度。


原论文信息如下：
论文标题:
Bayesian Anytime Pareto Set Identification for Multi-Objective Multi-Armed Bandits
发表日期:
2026年06月

发表单位:
Vrije Universiteit Brussel (布鲁塞尔自由大学) 与 imec

原文链接:
https://arxiv.org/pdf/2606.18785v1.pdf

开源代码链接:
https://github.com/LennertSaerens/TTPFTS (或文中提及的GitHub仓库)

多目标决策的难题与随时算法的机遇

假设你是一位药物研发科学家，手头有一个包含9400万个候选分子的巨型化学库。你需要从中找到在“结构相似性”和“脂溶性（LogP）”两个关键属性上都表现优异的分子——但这两个目标往往是冲突的：结构相似性高的分子可能脂溶性差，反之亦然。你想要的是所有“折中”最优解的集合，即帕累托最优集（Pareto Set）。最粗暴的方法是把9400万个分子全部虚拟筛选一遍，但这在计算上简直是一场噩梦，成本高到没人愿意做。
这时候，多臂赌博机（Multi-Armed Bandit, MAB）框架就派上了用场。传统的MAB主要处理单目标优化，要么是最大化累积奖励（遗憾最小化），要么是找出平均奖励最高的那一个臂（最佳臂识别）。但真实世界哪有那么简单？多个互相冲突的目标同时存在，你需要的不是单个“最好的”臂，而是一组“帕累托最优”的臂——这套框架叫做多目标多臂赌博机（Multi-Objective Multi-Armed Bandit, MOMAB），由Drugan和Nowé在2013年首次提出。
不过，现有的大多数MOMAB研究聚焦于固定预算（fixed-budget）或固定置信度（fixed-confidence）设置——也就是提前告诉你总实验次数或者要求的置信水平。但在很多实际场景中，比如我们上面说的分子筛选，决策者希望算法能随时（anytime）给出当前对帕累托集的最佳估计，并且可以在任何时间点停止采样。这个“随时”的设定在MOMAB的帕累托集识别（Pareto Set Identification, PSI）问题里一直是个空白。
直到今天这篇论文横空出世——来自比利时布鲁塞尔自由大学和imec的研究团队提出了Top-Two Pareto Front Thompson Sampling (TTPFTS)，这是第一个专门为MOMAB的PSI问题设计的贝叶斯随时算法。它不仅能在采样过程中不断更新对帕累托集的估计，还自带一个“不确定性仪表盘”，让你实时知道当前结论有多靠谱。更让人惊艳的是，在9400万分子的真实库中，TTPFTS只采样了0.05%的分子，就几乎锁定了全部的真实帕累托最优解！
封面
图6：单次实验中，Random Search、TTPFTS和MolPAL识别出的最优分子与穷举虚拟筛选的帕累托最优集对比。注意，TTPFTS几乎完美重合！

TTPFTS：从Top-Two思想到帕累托前沿追踪

要理解TTPFTS，得先说说它的单目标前辈——Top-Two Thompson Sampling (TTTS)。TTTS是由Russo在2016年提出的，专门用于单目标最佳臂识别。它的思路很巧妙：每次采样时，先选一个“候选最佳臂”，然后反复重新采样找一个不同的“挑战者臂”，把采样资源集中在这两个臂上，快速推高判别置信度。
TTPFTS把这个思想从“单个臂”推广到了“整个帕累托前沿”。在多目标环境下，没有单一的“最佳臂”，只有一组帕累托最优臂构成的第一前沿（First Pareto Front），以及紧挨着它的第二前沿（Second Pareto Front）。TTPFTS在每一轮以概率ρ从第一前沿中随机选一个臂采样，以概率1-ρ从第二前沿中随机选一个臂采样。这样就把探索和利用的平衡聚焦在了“最优与非最优的边界”上——这正是最难区分的位置。
具体流程如下（算法1）： 初始时，为每个臂设定一个先验分布。每轮开始，从每个臂的后验分布中采样一个均值向量（即当前对多目标奖励的估计）。然后根据这些采样值，计算出当前第一前沿（所有不被其他臂支配的臂）和第二前沿（排除第一前沿后，剩余臂中的帕累托最优集）。接着以概率ρ从第一前沿中随机选取一个臂，以概率1-ρ从第二前沿中随机选取一个臂。拉取该臂，获得奖励，更新后验。这个过程重复进行，每一轮都能输出当前对帕累托集的估计。
这个策略与Libin等人2019年提出的边界聚焦Thompson采样（Boundary Focused Thompson Sampling）异曲同工——后者解决的是单目标Top-m问题，采样集中在第m名和第m+1名之间的决策边界。TTPFTS把这条边界变成了“第一前沿与第二前沿之间的分界线”。
图1：双目标最大化设定下TTPFTS策略可视化。点表示从后验采样得到的均值。以概率ρ从第一前沿中随机选臂(a)，以概率1-ρ从第二前沿中随机选臂(b)。
图1生动展示了这个机制：在双目标最大化问题中，圆圈代表臂的真实均值，彩色点是后验采样值。图(a)展示了概率ρ的情况——从第一前沿（红色臂）中随机选一个；图(b)展示了概率1-ρ的情况——去掉第一前沿后，从剩余臂的第二前沿（蓝色臂）中选一个。这种设计保证了算法持续在最有信息量的区域采样：第一前沿需要验证自己是否真的是最优，第二前沿则需要检验是否被低估。
公式
帕累托集的定义如上：包含所有不被任何其他臂支配的臂。所谓支配，简单说就是一个臂在所有目标上都不低于另一个臂，且至少在一个目标上严格高于它。这个“帕累托支配”的概念是理解整个问题的基石。
值得一提的是，TTPFTS并不需要人为设定任何偏好权重或目标优先级——它平等地对待所有目标，旨在恢复整个帕累托前沿。这在许多实际应用中非常关键，因为决策者往往在筛选初期并不知道哪个目标更重要。

贝叶斯视角下的不确定性量化与动态停止

在真实决策中，我们永远不知道真实的帕累托集是什么——不然还找它干嘛？所以，一个能实时告诉你“当前结论有多靠谱”的不确定性度量，就成了从黑箱算法到可信决策支持系统的关键。
TTPFTS利用其贝叶斯天性，提出了一个基于 Bhattacharyya系数 (Bhattacharyya coefficient)的不确定性度量U_β。这个系数量化了第一前沿和第二前沿之间臂对的后验分布重叠程度。重叠越大，说明算法越难区分最优与次优，不确定性越高；重叠越小，说明边界清晰，算法很有把握。
具体计算公式如下：
公式
其中β(a_i, a_j)是臂i和臂j的后验分布之间的Bhattacharyya系数，取值范围0到1，1代表完全重叠。通过计算所有第一前沿臂与第二前沿臂对之间的系数均值，得到一个全局的不确定性度量。这个度量不依赖任何真实值，完全基于算法内部的后验信息。
图3直观展示了这一概念：随着采样进行，后验分布不断收缩，两个前沿之间的重叠区域从(a)的大片阴影逐渐缩小到(b)的一小片。不确定性度量也随之下降。图4展示了在8个合成环境下U_β随采样步数的变化——几乎都呈指数衰减趋势，与环境难度高度一致。一个例外是EgeExp8，由于最优臂唯一且间隙几何级衰减，衰减呈线性，这也对应了其缓慢的性能提升。
图3：双目标最大化中基于Bhattacharyya系数的不确定性量化可视化。从(a)高不确定性到(b)低不确定性，重叠区域逐渐缩小。
为了验证这个不确定性度量是否能真实反映识别性能，作者计算了它与实际Jaccard指标之间的Pearson相关系数。结果（图5）显示，在大多数环境中两者具有强的负相关性——不确定性下降对应着Jaccard指标上升。只有EgeExp8因为环境本身的结构困难导致相关性接近零。这证实了U_β是一个有效的、不依赖真实值的代理指标。
图5：Jaccard指标与不确定性度量之间的Pearson相关系数分布。强负相关表明不确定性度量是有效的实时代理。
这个不确定性度量与TTPFTS的“随时”特性形成了强大协同。固定预算算法必须在实验前设定预算，而TTPFTS允许决策者实时监控不确定性，当不确定性降至可接受水平时即可停止。这就像给算法装上了一个“刹车踏板”，既节省计算资源，又能保证决策时机恰到好处。

合成环境与真实分子筛选中的全面性能验证

实验部分堪称扎实。论文首先在8个精心设计的合成MOMAB环境（来自Kone等人2023年工作）上对TTPFTS进行了评估。这些环境涵盖了不同的帕累托前沿几何形状、最优间隙分布和目标维度。对比的基线包括：固定预算算法EGE-SR（Successive Rejects）和EGE-SH（Successive Halving），以及均匀采样基线。每个环境运行100次独立轨迹，每次轨迹包含5000次臂拉取。使用Jaccard指标评价帕累托集的重合度。
图2：8个合成环境下各算法的Jaccard指标对比。阴影部分为95%置信区间。
结果（图2）令人印象深刻：TTPFTS在所有环境中一致优于均匀采样和EGE-SH，并且与EGE-SR（专门为固定预算优化的）不相上下。更值得注意的是，在EgeExp3这种具有大量臂的环境里，TTPFTS明显超越了两种EGE变体。这说明TTPFTS的后验驱动分配在大规模问题中特别有效，而EGE那种基于间隙的刚性淘汰策略可能过于草率。
接下来是硬核的实际应用：针对一个包含9400万个分子的合成后即售分子库，进行双目标优化（结构相似性与LogP）。穷举虚拟筛选需要评估所有分子，而TTPFTS只用了50000次评估（0.05%）。结果如图6所示：TTPFTS几乎完美地找到了全部52个真实帕累托最优分子，而随机搜索一个都没找到，MoLPAL（目前最先进的主动学习方法）只找到了部分。
图7更进一步展示了100次重复实验的平均表现（Jaccard指标和不确定性度量）。TTPFTS在约30000步后Jaccard稳定在0.8以上，而随机搜索始终为0，MoLPAL最高只有0.28且在后期因利用偏置而下降。同时，不确定性度量U_β与之形成漂亮的镜像下降趋势，再次证明了其实时有效性。
图7：TTPFTS、Random Search和MoLPAL的Jaccard指标演化，以及TTPFTS的不确定性度量。阴影为95%置信区间。

渐近正确性证明与局限性分析

论文还提供了TTPFTS的渐近正确性理论证明。主要定理表明，在标准假设（后验一致性、严格帕累托间隙、无限探索）下，估计的帕累托集以概率1收敛到真实帕累托集。
公式
证明思路是：后验一致性保证了每个臂的估计均值几乎必然收敛到真实均值；TTPFTS的采样机制保证了每个臂被无限次采样（因为每次以正概率选择任何臂，通过Borel-Cantelli引理）。因此，任何次优臂最终都会被某个支配臂强支配，从而被排除；任何最优臂都不会被任何臂强支配，从而被保留。通过对有限个臂进行联合界，分类误差的概率收敛到零。
不过，理论保证是渐近的，实际有限样本表现需要靠实验支撑。论文的实验也确实覆盖了有限步数下的表现。另外，算法基于高斯似然假设，虽然对分子筛选中的连续性质有效，但若奖励分布严重偏离高斯（如二值、长尾），可能需要修改似然模型。此外，算法需要设定超参数ρ（前两前沿的选择平衡），论文中固定为0.5，但其敏感性需要进一步研究。

未来展望与思考

TTPFTS代表了MOMAB领域一个重要方向的开拓——随时贝叶斯帕累托集识别。结合不确定性量化，它直接服务于需要动态决策的场景，比如药物早期发现、材料筛选、临床试验自适应设计等。未来可能的发展方向包括：1）将算法扩展到结构化臂（如GP模型）以处理连续臂空间；2）引入决策者偏好（如参考点、期望目标）来引导搜索；3）将该框架与其他多目标优化方法（如进化算法）结合；4）在更大的分子库（几十亿级别）中验证可扩展性。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

这篇论文解决什么问题？在多个互相冲突的目标下，如何高效地识别出所有帕累托最优解的集合？现有的MOMAB PSI算法要么需要预设预算，要么需要预设置信度，缺乏一种能随时提供估计并允许动态停止的方法。TTPFTS填补了这个空白，并且用贝叶斯后验信息实现了无需真实值的实时监控。

“随时”算法（anytime）与“固定预算”算法有什么区别？固定预算算法必须在实验开始前设定好总采样次数B，算法在B次采样后给出最终结果，中间过程不对外输出可靠估计。而随时算法每次采样后都可以给出当前的最佳估计，决策者可以随时查看并获得有效输出。TTPFTS是随时算法，因此可以在任意时间点停止，灵活性远高于固定预算算法。但这也意味着它必须持续平衡探索与利用，不能像固定预算算法那样在末期才集中利用。

Jaccard指标是什么，为什么要用它？Jaccard指标是用来衡量两个集合重叠程度的指标，公式为交集大小除以并集大小。在帕累托集识别中，它同时考虑了召回率和精确度：你找对了多少真实帕累托最优臂，以及你找的答案中有多少是错的。取值为0到1，1表示完全正确。相比简单的正确率或精确率，Jaccard更严格，因为错误多报和少报都会影响分母。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★☆

实验合理度：★★★★☆

学术研究价值：★★★★★

稳定性：★★★★☆

适应性以及泛化能力：★★★★☆

硬件需求及成本：★★★★★

复现难度：★★★★☆

产品化成熟度：★★★☆☆

可能的问题：在评分中，稳定性和产品化成熟度扣分主要是由于：1) 算法假设奖励服从高斯分布，对离散或长尾分布需调整；2) 超参数ρ固定为0.5，没有测试最优值；3) 分子筛选实验仅针对一个特定的合成库和一个双目标设置，泛化性有待进一步验证；4) 理论保证是渐近的，有限样本下的收敛速率没有给出。


主要参考文献

[1] Saerens, L., et al. "Bayesian Anytime Pareto Set Identification for Multi-Objective Multi-Armed Bandits." arXiv preprint arXiv:2606.18785, 2026.
[2] Russo, D. "Simple Bayesian algorithms for best-arm identification." Operations Research, 2016.
[3] Kone, C., et al. "Fixed-budget Pareto set identification with multi-objective bandits." NeurIPS, 2023.
[4] Klarich, K., et al. "Bandit-based virtual screening for ultra-large libraries." Nature Computational Science, 2024.
[5] Fromer, Z., et al. "Model-based active learning for multi-objective molecular optimization." Journal of Chemical Information and Modeling, 2024.


*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～ 想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！       

end
🎯 帕累托前沿探索还在纠结预算？TTPFTS告诉你：无界勘探也能精准定位最优解！
想了解更多强化学习、贝叶斯优化、分子筛选的前沿算法？
欢迎加入龙哥读论文粉丝群，扫描下方二维码或者添加龙哥助手微信号加群：kangjinlonghelper。一定要备注：研究方向+地点+学校/公司+昵称（如 RL+Palo Alto+Stanford+龙哥），根据格式备注，可更快被通过且邀请进群。
『龙哥读论文』微信群目前包含：图像处理、大模型及智能体、自动驾驶及机器人、AI医疗及AI金融5个群
wechat_helper dianzan
转发文章 微博 X LinkedIn Facebook
龙哥读论文 · PaperDaily

本文基于龙哥读论文 PaperDaily 数据库整理，结合论文原文与工程视角进行解读。