← 返回 PaperDaily
视觉与图像
KakaoBank新基准：财报电话会“言不由衷”AI听不出，语音回避检测F1最高仅58.5
当CEO在财报电话会上闪烁其词，AI能听出他声音里的“虚”吗？KakaoBank等机构构建的双标签基准DualEvasion揭示：大模型在文本回避检测上接近人类，但语音自信度检测最高F1仅58.5，距离人类表现差距巨大。
龙哥读论文
发布于 2026-09-12 16:53:31
阅读 1
查看原文
原论文信息如下：
在金融世界里，有一句话叫“听其言，观其行”。但对于上市公司的高管们，投资者和分析师更想做的，是“听其言，品其声”。当一位CEO在财报电话会议上被问及公司未来增长点时，他的话语或许滴水不漏、逻辑严密，但如果你仔细听，那声音里细微的颤抖、加长的停顿、或是不经意间的叹息，都可能暴露了他内心的不笃定。这种“话里有话”甚至“话不对心”的瞬间，恰恰是市场最敏感神经的端点，也是AI目前最难捕捉的信号。
一直以来，学术界和业界在分析财报电话会议时，都习惯性地将焦点放在文字转录稿上，用自然语言处理技术去分析高管是否在“回避问题”。这种思路显然是不够的。你可以训练一个模型去精准识别“顾左右而言他”的措辞，但当一位CEO用最自信的语气说出最模糊的未来展望时，仅靠文本分析就会完全失效。这正是这篇来自KakaoBank金融科技实验室和延世大学的论文想要解决的核心问题。
这篇题为《A Shaky Voice Is Not Always a Dodge》的论文，提出了一个名为DualEvasion的全新基准。它首次在财报电话会议问答场景中，为同一段回答同时标注了“文本回避”与“语音自信度”两个独立维度。这个基准的构建本身就充满挑战，而实验结果更是揭示了一个令人惊讶的事实：即使是目前最先进的多模态大模型，在理解人类语音中微妙的不自信信号时，表现也远不如人类，甚至可以说，它们只是在“听音量”，而不是在“听人心”。
这不仅仅是一个学术上的“差生”警示，更是一个关乎真金白银的洞察。论文的探索性分析表明，语音层面的不自信信号，竟然携带了文本之外、与市场波动相关的独特信息。想象一下，如果AI能真正听懂这些“弦外之音”，那么自动化的财报分析、投资者关系管理，乃至更广泛的金融风险预警，都将获得一个全新的维度。今天，龙哥就带大家深入拆解这篇论文，看看AI在“察言观色”这条路上，到底还有多长的路要走。
财报电话会议中的“弦外之音”：为什么文本分析不够？ 财报电话会议（Earnings Call）是上市公司与资本市场沟通的核心场合。通常，公司高管会先进行一段精心准备的开场陈述，随后进入问答环节，回答分析师们的犀利提问。相比照着稿子念的开场白，问答环节更即兴、更具博弈色彩，也更可能暴露管理层的真实想法。之前已有大量研究利用这些会议的数据去预测股价波动和收益方向，其中，高管在回答中的“回避行为”尤其受到关注。
过去的模型，包括早期的机器学习方法和如今的大语言模型，几乎都以“文本”作为唯一的信息源。它们分析高管说了什么，词汇是否模糊，逻辑是否跳跃，并据此判断回答是“直接”还是“回避”。这种单维度的分析方式，在遇到一个口才极佳、心理素质过硬的“老江湖”时，就会显得力不从心。
如图1所示，一个CEO可能会给你一个逻辑圆润、滴水不漏的文本回答，看似“直接”地回应了问题。但如果你只听音频，能清楚感受到他的犹豫和底气不足。反过来，另一位CEO可能会用简短的“无可奉告”来果断回避，但他的语气却异常坚定和自信。这两种情况，都说明文本和语音两个通道传递的信息是相互独立甚至互补的。这篇论文的核心出发点，就是要用数据证明这一直觉。
为了验证“文本独木难支”的观点，论文对比了现有的一些数据集。下面的表格清晰地展示了DualEvasion的独特定位：它不仅包含音频数据，更是在稀缺的“人工专家标注”基础上，为每段回答同时提供了文本和语音两个标签。
*表格超出部分左右可以滑动
Table 1: Comparison with earnings call Q&A datasets (Pardawala et al., 2024; Nuaimi et al., 2025; Ma et al., 2026). Existing datasets label evasion from text only; ours additionally captures vocal cues annotated by finance professionals. △ = partial.
表1：与财报电话会议问答数据集的比较（Pardawala等，2024；Nuaimi等，2025；Ma等，2026）。现有数据集仅从文本标注回避；本数据集额外捕获了由金融专业人士标注的语音线索。△ = 部分。
DualEvasion基准：双标签设计揭示32.1%的跨模态分歧 构建这样一个基准并非易事。研究团队从EarningsCall API获取了2023年至2025年间覆盖300个股票代码的财报电话会议录音，并使用Finance-DataReader确保样本在交易所、市值和行业上的多样性。为了将长音频切分为问答对并标记说话人，他们使用了WhisperX进行语音识别和时间戳对齐，再结合DefeatBeta提供的带有说话人身份元数据的转录稿。经过严格的筛选，最终保留了60场会议，共计505个问答对。
这个基准的精妙之处在于其“双标签”设计。两位金融领域专家首先独立地对每段回答进行文本层面的“直接/回避”标注。随后，在另一个独立环节中，他们仅通过听音频，对回答的语音自信度进行“自信/不自信”的标注。值得注意的是，为避免混淆，语音标注是完全脱离文本内容的。为了确保标注质量，专家们在听目标回答前，会先听该高管在同一次会议中的其他回答，以建立其个人的语音基线。
那么，这两个维度的标签到底有多大关联？答案是：关联很弱。如下图所示，有32.1%的回答出现了“跨模态分歧”——要么文本直接但语音不自信，要么文本回避但语音自信。这直接证明了，如果你想当然地认为“回答得含糊其辞的人，声音也一定虚”，那你就错了。近三分之一的回答中，文本和语音在“撒谎”这件事上，态度并不一致。
*表格超出部分左右可以滑动
Table 2: Zero-shot performance on textual evasion and vocal confidence detection. Results for commercial audio models are averaged over three runs, while all other results are from a single run. Bold indicates best, underline indicates second best per column within each section.
表3：文本回避与语音自信度标签的联合分布。灰色行表示跨模态分歧。
为了确保标签的可靠性，研究团队进行了严谨的信度检验。文本回避标注的Cohen's κ系数高达0.866，语音自信度标注也达到了0.774，均属于高度一致水平。他们甚至邀请了五位金融专家进行交叉验证，Fleiss' κ依然有0.713，显示了一致性好于偶然。这为后续的模型评估提供了扎实的“标准答案”。
前沿模型为何“听不出”不自信？声学特征分析揭示根本原因 基准建好了，就该“考一考”当前最先进的大模型了。研究团队评测了包括GPT系列、Gemini系列在内的多个顶尖商业模型，以及一些开源模型。结果非常直观：在文本回避检测任务上，GPT-5和Gemini-3-Flash的表现已经相当出色，宏观F1分数分别达到了87.4和84.7，与人类水平非常接近。然而，在语音自信度检测任务上，所有模型的表现都急转直下。
表现最好的GPT-Audio模型，其宏观F1分数也仅有58.5。这个分数意味着什么呢？作为对比，如果将所有回答都猜为“自信”，模型的宏观F1也能达到44.0。这意味着模型虽然在努力，但距离真正理解语音中的不自信信号，还差着十万八千里。尤其值得注意的是，模型对“不自信”这一类别的识别能力极其薄弱，F1分数普遍在30到39之间徘徊，而人类可以轻松做到85以上。
*表格超出部分左右可以滑动
Table 3: Joint distribution of textual evasion and vocal confidence labels. Shaded rows indicate cross-modal disagreement.
表2：文本回避与语音自信度检测的零样本性能（部分）。商业音频模型的结果为三次运行的平均值，其他结果为单次运行。
为什么模型会“偏科”如此严重？论文通过精妙的声学分析揭示了背后的“元凶”。研究人员定义了几个关键的声学特征，比如“静音占比”、“长停顿比例”、“响度变化率”和“浊音占比”，并计算了这些特征与“不自信”标签之间的相关性。
结果发现，模型（特别是Gemini-2.5-Flash）在预测“不自信”时，与声学特征的“绝对值”高度相关。例如，如果一段音频整体音调偏低、停顿偏长，模型就倾向于判断为“不自信”。但这忽略了一个关键问题：有些CEO天生说话就慢条财报电话会议中的“弦外之音”：为什么文本分析不够？ 要理解DualEvasion这个基准的价值，得先把时间线拉长一点。对“回避行为”的研究其实比大多数人想象的要早。1990年，Bavelas等人出版了《模棱两可沟通》一书，首次系统建立了回避行为的分类学框架；1998年，Bull将回避进一步细化为遗漏、模糊和议程转移等具体策略；2010年，Rasiah又提出了直接、中间、完全回避的三分法，并将其应用到议会辩论分析中。这些理论脉络为后续的自动检测研究打下了坚实基础，Gow等人（2021）和Nuaimi等人（2025）都先后尝试在财报电话会议场景中把回避检测转化为具体的分类任务。但一个贯穿始终的问题是：这些工作使用的特征几乎全部来自文本转录稿。
这种纯文本视角的局限在于，它把人类沟通中最富信息量的一个通道——声音——给彻底丢弃了。语音科学领域的研究很早就发现，说话人的不确定性和自信度是可以被听者稳定感知的。Smith和Clark（1993）通过实验证明，填充停顿和回答延迟会让听者产生“缺乏底气”的印象；Swerts等人（2003）和Goupil等人（2021）进一步确认，韵律特征（如音高变化、语速、停顿模式）携带着丰富的确定性信息，而且这些信息独立于文本内容存在。换言之，哪怕一个CEO的措辞再滴水不漏，他声音里的犹豫、紧张或故作镇定，都可能泄露与文字完全不同的信息。
正是受这些研究启发，DualEvasion将“语音自信度”引入了财报会议问答分析。这里的自信度并不是一个模糊的主观感受，而是通过可听的韵律线索来操作化定义、可以被标注者可靠判断的二分标签。它的价值不在于用“自信/不自信”两个词穷尽所有语音信号，而在于第一次用数据揭示出：文本回避与语音自信度这两个维度，到底存在多大程度的重合与背离。
DualEvasion基准：双标签设计揭示32.1%的跨模态分歧 DualEvasion的构建工程从数据抓起。研究团队从EarningsCall API取得2023至2025年间的会议录音，通过WhisperX进行语音识别与时间戳对齐，再用带说话人元数据的转录稿完成问答对切分。经过严格筛选后，保留了60场会议、505个问答对。表7展示了数据集的整体构成：覆盖11个行业、49个股票代码，市值从5600万美元到1890亿美元，横跨NYSE、NASDAQ和S&P 500三大市场组。这种多样性对语音分析至关重要——不同体量公司的管理层在压力测试下的声音表现，可能有着系统性的差异。
再看回答本身的统计（表8）：回答时长中位数67秒，最短仅0.2秒，最长近5分钟。跨度如此之大，意味着一个合格的语音模型既要能处理“是”“不是”这样的一词回复，也要能理解长达数分钟、信息密度极高的长篇回答。这本身就是个不小的工程挑战。
标注协议是这套基准的灵魂。文本回避标注指南（表11）对“直接”的判定标准是“实质性回应分析师的提问核心”，而“回避”则涵盖避而不答、转移焦点和部分回应等情形。语音自信度标注指南（表12）则明确要求标注者仅凭音频判断，依据包括填充停顿、犹疑、语调变化等韵律线索；并且标注前必须听完该高管在同场会议中的其他回答，以建立个人语音基线。这种“先建基线再下结论”的设计，正是整个基准最容易被忽视却最关键的方法论创新。
图4展示了语音自信度标注的专用界面。界面上只有当前回答的音频、两个选项和一个可选的备注栏。这个“极简”设计是有意为之——杜绝任何文本信息泄漏，确保两个标注维度的绝对独立。两位标注者在整个过程中无法看到对方的标签，也看不到任何文字转录内容。整个标注流程的严谨程度，在同类数据集中并不多见。
严谨的信度检验报告了让人安心的数字。文本回避的双标注者Cohen's κ=0.866，原始一致率94.7%；语音自信度κ=0.774，一致率87.5%。这个差距也符合直觉：判断“一个人说话是否在回避”比判断“一个人声音是否自信”要更容易达成共识。在52条验证子集上，五位金融专家的两两一致性（表9）大多在0.65到0.92之间，总体Fleiss' κ为0.713——都属于统计上“高度一致”的水平。
标注一致性公式：Cohen's κ = 0.866，94.7%一致率。
表9：验证子集上语音自信度标签的两两Cohen's κ（N=52）。
作为对照，表10给出了三个最强音频模型之间的两两一致性：只有0.31到0.48。模型与模型之间的“共识”远低于人与人之间，这个对比本身就预告了后续实验的结论——语音自信度检测，对当前模型来说确实是块难啃的骨头。
表10：语音自信度标签的模型间一致性，以成对Cohen's κ衡量（N=52）。Gem-2.5指Gemini-2.5-Flash，Gem-3.0指Gemini-3-Flash，GPT-Aud指GPT-Audio。
最后，回到那个核心数字：32.1%的跨模态分歧。表3展示了四个联合标签的分布。302个（59.8%）回答是“文本直接、语音自信”——言行一致；67个（13.3%）“文本直接、语音不自信”——嘴巴硬，声音虚；95个（18.8%）“文本回避、语音自信”——嘴上圆滑，声音却硬气；41个（8.1%）“文本回避、语音不自信”——全面溃败。近三分之一的回答，话与声各说各话。这正是纯文本分析永远无法看到的一层信息。
表3：文本回避与语音自信度标签的联合分布。灰色行表示跨模态分歧。
前沿模型为何“听不出”不自信？声学特征分析揭示根本原因 带着这个“双标”基准去考验前沿模型，结果在表2中一览无余。在文本回避任务上，GPT-5的宏观F1达到87.4，Gemini-3-Flash为84.7，这个水平已经相当接近人类标注者。然而到了语音自信度任务，情况急转直下：最好的GPT-Audio也只拿到58.5的宏观F1，与文本任务相差近30分。更扎心的是，这些模型对“不自信”类别的F1普遍在30到39之间——如果纯靠“全部猜自信”的基线策略，宏观F1还有44.0呢。只能说模型确实学到了一点点信号，但离“听懂人心”还差得远。
表2：文本回避与语音自信度检测的零样本性能。商业音频模型结果为三次运行的平均值，其他结果为单次运行。
人机一致性对比更是冰冷。表4显示，GPT-5在文本任务上与人类的一致性κ为0.813，已经非常接近人类内部的0.866；而Gemini-3-Flash在语音任务上与人类的κ只有0.225——0.2出头是什么概念？统计上通常被视为“微弱一致”，几乎等于随机水平。换句话说，大模型在“听懂文字里的回避”这件事上已经出师了，但在“听出声音里的不自信”这件事上，还在原地打转。
表4：与人类标注者的Cohen's κ一致性（两位标注者平均）以及人类-人类一致性。
模型究竟卡在哪里？论文的声学特征分析给了一个很有说服力的解释。表5统计了静音占比、长停顿比例、响度变化率、浊音占比这四个声学特征与“不自信”标签之间的点二列相关。关键对比在于：使用特征的“原始值”时，三个最强模型的平均相关性在0.14到0.20之间；而一旦进行“说话人去中心化”——即用每个回答的特征值减去该说话人在整场会议中的平均值——相关性骤然掉到0.03到0.05。反观人类标注者，去中心化之后相关性不仅没跌，反而还略有上升。
表5：声学特征与不自信标签的平均绝对点二列相关，在说话人去中心化之前与之后。
这个结果很能说明问题：模型判断“不自信”时依赖的是声学特征的绝对值，而非相对值。一个天生语速慢、音调低的CEO，会被模型系统性误判为“紧张”；一个语速极快、音量高的CEO，则可能被误判为“自信”。人类则天然懂得“跟这个人的平时状态比”的道理，这正是说话人感知能力的内核。
为了排除其他可能的干扰，论文还做了两组补充实验。表13的阈值扫描显示，即使将决策阈值调整到最优，不自信类别的F1也仅从36.2微升到36.7——排除阈值设定问题。表14的监督微调实验更加耐人寻味：对三个开源语音模型进行五折微调后，Qwen2-Audio的宏观F1从28.0提升到48.6（+20.6），但它提升的几乎全部是自信类别的识别能力，不自信类别的F1反而从36.2降到了32.4。这说明微调并没有教会模型“听出不自信”，只是让它更擅长识别“自信”这个多数类。
表13：两个可暴露logits的开源模型的阈值扫描。上标M表示最大化宏观F1的阈值，上标U表示最大化不自信F1的阈值。
表14：五折交叉验证的监督微调。括号中数值表示与零样本性能的差异。
这组实验结果清清楚楚地指向一个结构性缺陷：当前语音模型的表征空间以“内容识别”为主，对韵律中不确定性信号的编码能力严重不足。这正是DualEvasion这个基准揭示出的核心问题。
说话人校准：一个方向正确但远未解决的挑战 既然问题出在“不看人”，那把“人”加进输入里总该有用吧？论文沿着这个思路做了两步实验。
第一步是少样本同说话人参考。在主实验里，模型只看目标回答的音频；在补充实验里，额外喂入同一位高管的历史回答音频做少样本示例。结果如何？表15显示，效果并不稳定，个别模型甚至出现了下降。这说明“给例子”并不等于“教方法”——模型看到参考音频，却未必知道该参考什么。
表15：少样本同说话人参考音频对语音自信度检测的影响。
第二步实验更显功力。论文设计了一个专门的“说话人标准化”提示模板：模型需要先听同一说话人的三条参考回答，主动推断其习惯性语音基线——包括音高、语速、韵律模式——然后再判断目标回答是否显著偏离该基线。模板的具体内容见图19。
表19：带显式说话人基线推断的说话人标准化语音自信度分类提示。
从表6来看，这个方向确实奏效了：Gemini-2.5-Flash的不自信F1提升4.7，Gemini-3-Flash提升2.9，GPT-Audio提升1.0。但提升的幅度不算大，最好的结果也只有43.2的不自信F1，与人类85以上的水平相比，仍有一道鸿沟。
为什么有效果但仍不够？一个可能的解释是：模型在面对目标音频时，依然会优先使用这段音频本身的绝对声学特征进行判断；“先推断基线”的指令最多是叠加了一层后处理式的校正，而没有真正改变内部表征过程。更深层的原因在于，当前语音模型（尤其是以自动语音识别为目标训练的模型）对韵律特征的编码能力本身就有限。解决这个问题，恐怕要从模型架构和训练目标层面着手，而不是靠提示工程。
语音信号的市场价值：超越文本的预测能力 作为一套面向金融场景的基准，DualEvasion的标签有没有市场价值？这是论文抛出的又一个有意思的问题。研究团队设计了一个简洁的回归框架：用会议级别的“回答回避比例”（文本维度）和“不自信回答比例”（语音维度）作为自变量，去预测财报发布后3天、7天和30天窗口内的股票波动率。
波动率的构造方法并不复杂。先定义股票日收益率r_t为相邻两日收盘价的相对变化：
日收益率定义公式：r_t = (P_t - P_{t-1}) / P_{t-1}，其中P_t为第t日收盘价。
在此基础上，将k天窗口内的收益率取对数标准差，得到波动率v_k：
波动率定义公式：v_k = log(√(Σᵢ₌₁ᵏ(rᵢ - r̄)² / k))，其中r̄为k天内的平均收益率。
龙迷三问
这篇论文到底在解决什么问题？ 本文介绍了KakaoBank等机构提出的DualEvasion基准，首个同时标注文本与语音回避信息的财报电话会议问答数据集。研究发现，前沿多模态模型在语音自信度检测上远逊于人类，主要因依赖绝对声学线索而非说话人基线。这篇工作最值得看的点是什么？ 文本回避检测上GPT-5和Gemini-3-Flash分别达到87.4和84.7的Macro F1，接近人类水平；语音自信度检测最佳模型仅58.5 Macro F1，与人类表现差距显著。说话人校准仅带来小幅提升（+4.7 F1），无法弥合差距。这篇工作的边界或风险在哪里？ 优点：(1) 首次提出双标签（文本回避+语音自信度）的回避检测基准，填补了现有研究仅关注文本的空白；(2) 揭示了32.1%的跨模态不一致样本，证明语音维度携带独立信息；(3) 通过声学特征分析定位模型缺陷——依赖绝对特征而非说话人相对基准；(4) 验证了语音自信度标签具有市场相关性。缺点：(1) 数据集规模有限（505个问答对、60场电话会议）；(2) 语音维度仅通过自信度单一操作化，未覆盖全部语音线索；(3) 市场相关性分析样本量小，仅作为探索性结果。如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~ 龙哥点评
论文创新性分数： ★★★★☆
构建首个同时标注文本回避与语音自信度的双标签基准数据集DualEvasion，系统评估前沿多模态模型在财报电话会议问答场景中的回避检测能力，并揭示模型在语音自信度感知上的关键缺陷——依赖绝对声学特征而非说话人相对基准。实验合理度： ★★★★☆
Macro F1, Precision, Recall, Accuracy, Cohen's κ, Fleiss' κ, 点二列相关系数, R²学术研究价值： ★★★★☆
构建首个同时标注文本回避与语音自信度的双标签基准数据集DualEvasion，系统评估前沿多模态模型在财报电话会议问答场景中的回避检测能力，并揭示模型在语音自信度感知上的关键缺陷——依赖绝对声学特征而。稳定性： ★★★☆☆
现有材料未提供充分的极端条件、重复运行或扰动测试，稳定性暂按中性评价。适应性以及泛化能力： ★★★☆☆
现有材料未完整展示跨数据集、跨场景或分布外实验，泛化能力仍需进一步验证。硬件需求及成本： ★★★☆☆
现有材料缺少完整训练资源、参数量、显存和推理时延信息，成本暂按中性评价。复现难度： ★★★☆☆
现有材料未确认完整代码、配置、数据处理脚本和权重是否齐备，复现难度暂按中性评价。产品化成熟度： ★★★☆☆
论文验证以研究实验为主，真实部署中的时延、成本、维护和异常场景仍需补充验证。可能的问题： (1) 数据集规模有限（505个问答对、60场电话会议）；
*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～ 想了解更多原文细节的小伙伴，可以点击 "阅读原文"， 查看更多原论文细节哦！
