← 返回 PaperDaily 视觉与图像

A100上跑历史翻译？DPO在这篇论文里赢了

这篇论文最有意思的地方，不是“翻译”本身，而是把古手稿识别、现代越南语生成和偏好对齐揉成一个端到端问题。PPO、DPO、KTO三种RLHF路线同台对决，结果也很诚实：DPO在多数翻译质量指标上最稳，PPO更偏覆盖，KTO则保留了自己的性价比。

龙哥读论文发布于 2026-08-17 00:20:04 阅读 3 查看原文

#多模态 #大语言模型 #强化学习 #AI应用 #模型训练 #图像恢复

🐉 龙哥读论文知识星球来了！
公众号每日8篇拆解不够看？星球无上限更AI领域论文、资讯、招聘、招博、开源代码，一站式干货，每日2分钟刷完即赚！
👇扫码加入「龙哥读论文」知识星球，前沿干货、实用资源一站式拿捏～ xingqiu_header

龙哥推荐理由：
这篇论文最有意思的地方，不是“翻译”本身，而是把古手稿识别、现代越南语生成和偏好对齐揉成一个端到端问题。PPO、DPO、KTO三种RLHF路线同台对决，结果也很诚实：DPO在多数翻译质量指标上最稳，PPO更偏覆盖，KTO则保留了自己的性价比。

原论文信息如下：

论文标题:
DIRECT IMAGE-TO-MODERN VIETNAMESE TRANSLATION OF HAN-NOM MANUSCRIPTS VIA MULTIMODAL RLHF PREFERENCE ALIGNMENT

发表日期:
2026年07月发表单位:
University of Information Technology, Ho Chi Minh City, Vietnam; Vietnam National University, Ho Chi Minh City, Vietnam 原文链接:
https://arxiv.org/pdf/2607.11434v1.pdf

从手稿图像到现代越南语：一个多模态偏好对齐的翻译新框架

这篇论文最“狠”的地方，不是把古文字翻成现代越南语，而是把一件看起来就很难的事，拆成了更难但更完整的一件事：直接从手稿图像生成现代越南语，中间不再依赖一个单独的 OCR 结果去接力。对历史文献来说，这个思路很现实：页面会糊、字会怪、排版会乱，单靠“先识别再翻译”的老办法，经常像拿着放大镜找针，还得顺手把针缝成衣服。

图1：多模态偏好对齐框架总览。论文把手稿图像、Hán–Nôm 转写、越南语表示和 T5 生成器放进同一条链路里，再用 PPO、DPO、KTO 做偏好对齐。

先把背景说人话：Hán–Nôm 是越南历史文献里常见的一套古典文字系统，很多手稿保存着文学、制度和地方知识，但年代久远，纸张、墨迹、书写风格都不稳定。要把这类材料翻成现代越南语，难点不只是“看清字”，还要“看懂上下文”，最后再“说得像人话”。论文的关键判断是：历史翻译不是单纯的文本任务，而是图像、古文字和现代语言的联合建模问题。

这类任务最怕的不是“模型不会翻”，而是“模型翻得像那么回事，实际上把意思翻歪了”。所以论文没有只盯着单一参考答案，而是引入偏好对齐，让模型学会在多个候选里选更靠谱的那个。

四个特征流融合：视觉、古文字、现代语与生成模型

论文的方法主线并不花哨，核心就是四路信息一起上：图像视觉特征、Hán–Nôm 文本表示、现代越南语表示和T5 生成器状态。别看名字多，思路其实很朴素：图像负责“看见”，古文字负责“读懂源文”，现代语表示负责“对齐目标语言风格”，T5 负责最后把话说出来。

其中视觉侧用的是 CLIP ViT-L/14@336，它是 OpenAI 提出的视觉编码器配置，英文全称可理解为 Contrastive Language-Image Pre-training Vision Transformer Large, patch size 14, input resolution 336，中文可译为“对比式语言-图像预训练的 ViT 大模型，14 像素块，336 分辨率”。古文字侧用了 bert-base-chinese，现代越南语侧用了 vinai/phobert-base，生成侧则是 T5-small。这些模块并不是堆料，而是分别承担不同语义角色。

图2：多模态特征融合与生成流程。四路输入先各自投影到统一空间，再拼接压缩成共享表示，最后送入 LoRA 适配的 T5 解码器生成现代越南语。

论文里最值得单独拎出来说的，是这个融合过程并不粗暴。四路特征先各自经过线性投影，统一压到 512 维，再拼接成 2,048 维表示，随后通过线性层、ReLU 和 dropout 压回共享空间。说白了，就是先让不同模态“说各自母语”，再安排一个翻译官把它们压成同一个频道。这样做的好处是，图像里的笔画细节、Hán–Nôm 的符号信息、现代语的词法倾向，能在同一个表示里碰头，而不是各说各话。

生成器部分用的是 T5-small，并且只对 query 和 value 投影做了 LoRA 适配。LoRA 的英文全称是 Low-Rank Adaptation，中文一般叫“低秩适配”。论文设置里，LoRA 的秩 r=16，缩放系数 α=16，dropout 为 0.1。这个选择很典型：不去全量微调大模型，而是只在关键投影上做轻量改造，成本更低，也更适合小数据场景。

数据上，论文使用了 2,953 页 Hán–Nôm 手稿，最终划分为 2,362 条训练样本和 591 条验证样本。每条样本都包含手稿图像、Hán–Nôm 转写和人工校验的现代越南语译文。训练时的逻辑也很清楚：先做监督微调（SFT，Supervised Fine-Tuning，中文是“监督微调”），再做偏好对齐。这里的“偏好”不是玄学，而是把正确译文当作 chosen，把通过同义改写、局部重排、删减或弱化风格生成的版本当作 rejected，让模型学会更偏向更好的表达。

PPO、DPO、KTO三家对决：谁更擅长历史文本翻译？

论文真正有意思的地方来了：同样一套多模态骨架，同样从 SFT 出发，作者把三条 RLHF 路线放在一起比——PPO、DPO、KTO。这三个缩写，很多人看着像一串密码，其实各自代表一套偏好优化思路。

表1：三种偏好优化目标的差异。PPO 依赖奖励模型和 critic；DPO 直接做 chosen-rejected 对比；KTO 则把反馈抽象成 desirable / undesirable 的效用优化。

先说 PPO，英文全称是 Proximal Policy Optimization，中文叫“近端策略优化”。它的经典做法是用奖励模型打分，再配一个 critic 估计回报，像个比较谨慎的裁判：别一下子改太猛，先试探着往更好的方向挪。优点是通常覆盖面更广，缺点是训练链路更长，组件更多，稍微有点“全家桶”味道。

再看 DPO，英文全称是 Direct Preference Optimization，中文是“直接偏好优化”。它的气质就完全不一样了：不再单独训练奖励模型，也不需要 critic，直接拿 chosen 和 rejected 的对数概率差来优化。简单理解，就是不请裁判、不设陪审团，直接让模型在两份答案里自己分出高下。对于这种低资源历史翻译任务，DPO 的优点很明显：结构更干净，训练更稳，和 reference policy 的约束也更直接。

最后是 KTO，英文全称是 Kahneman–Tversky Optimization，中文可译为“卡尼曼–特沃斯基优化”。它借用了行为经济学里的前景理论思想，把样本分成 desirable 和 undesirable，适合那些负样本不够干净、标注不够完整的情况。换句话说，KTO 不要求每个坏例子都坏得特别标准，只要能告诉模型“这个方向不太对”，就能学。

表2：同一评测协议下的主结果。这里能直接看到，三个偏好对齐方法都比 SFT 基线更好，但侧重点不同：DPO 更强在翻译质量，PPO 更强在覆盖型指标，KTO 则保持了不错的折中表现。

论文还特别强调了一点：这些方法不是各跑各的，而是共享同一套多模态骨干、同一个 SFT 初始化、同一份评测样本。这点很重要，因为很多对比实验最大的问题不是方法本身，而是训练条件不公平。这里作者尽量把变量锁死，只让优化目标说话，算是比较老实的实验设计。

实验结果说话：DPO精度领先，PPO覆盖更全

先看最核心的结论：所有偏好对齐策略都优于 SFT。这说明单纯的监督学习还不够，尤其在历史文本这种“参考答案不止一种合理说法”的场景里，偏好学习确实能补上一个口子。更直白一点，SFT 像是让模型学会“照着抄”，而偏好优化则是在问“哪种抄法更像人、也更像历史文献的译法”。

从指标上看，DPO 在 BLEU-4、ROUGE-L、BERTScore、语义相似度、CER、WER 和 token accuracy 上都拿到最好成绩。这个结果其实很符合它的方法论：DPO 直接拉大 chosen 和 rejected 的概率差，最擅长做细粒度的偏好分离，因此在词面、结构和语义上都更容易抠出优势。对翻译任务来说，这种“抠细节”的能力很值钱，因为历史文本里一个词、一个短语、一个语序变化，可能就是意思偏了半截。

PPO 则在 precision、recall 和 F1 上最好。这个现象也不奇怪，因为 PPO 的奖励模型和 critic 更像是从“整体覆盖”角度看输出，倾向于把参考内容尽量捞回来。它未必在每个局部词面上都最漂亮，但整体内容召回往往更稳。对于长句、古典表达或者有些信息密度高的段落，这种策略会显得更“保守但不漏事”。

KTO 的表现也不差，通常接近 DPO，但整体略弱一点。它的价值不在于“碾压”，而在于面对不那么干净的负样本时还能保持可用。对真实历史数据来说，这点很实用，因为 rejected 样本往往不是严格意义上的坏答案，而是“还行，但不如这个版本”。KTO 对这种模糊反馈更友好。

表3：与外部基线的上下文对照。这里更适合看“方法类型差异”而不是简单排名，因为很多外部系统输入、任务方向和评测方式都不同，不能硬拉到同一张榜上比。

论文还解释了一个常见疑问：为什么 ROUGE-L、BERTScore 和语义相似度往往会比 BLEU-4 更“好看”？答案很简单，因为这些指标更能容忍同义替换、局部重排和语义等价表达。而 BLEU-4 特别吃四元组精确匹配，哪怕只换一个词，邻近多个 n-gram 都会受影响。对于历史翻译这种“意思对了、措辞未必一模一样”的任务，单看 BLEU 很容易误伤好答案。

更有意思的是，论文还给出一个定性例子来说明偏好数据怎么构造。chosen 是人工校验的现代越南语译文，rejected 则通过同义替换、局部重排、删减或风格弱化得到。这样做不是为了“造假”，而是为了把模型训练成一个会分辨“哪个版本更像好译文”的裁判。对于文学或历史文本，这种训练方式比随机负样本更接近真实难点，因为坏答案不是乱码，而是“差一点点就对了”。

图3：偏好样本构造与定性示例。论文用人类校验译文作为 chosen，再构造多个“看起来还能读、但质量略差”的 rejected 版本，让偏好学习真正学会区分细微优劣。

挑战与展望：低资源历史翻译的未来之路

这篇工作最大的优点，是把“历史文献翻译”从一个松散的流水线任务，收拢成了一个统一的多模态对齐问题；最大的限制，也同样明显：数据仍然很少，而且高度依赖高质量对齐样本。论文自己也承认，当前实验主要基于 NomNaOCR 相关样本，面对更开放、更脏、更碎的真实档案时，泛化能力还需要继续验证。

另一个现实问题是算力成本。论文里单个版本训练一轮就需要较长时间，而且是在一张 NVIDIA A100 上完成的。对于学术研究来说，这不算离谱；但如果想往实际项目里推，就得考虑更轻量的视觉编码器、更高效的对齐策略，甚至先做页面区域切分、再做局部翻译，降低整体推理负担。历史文献项目最怕的不是精度低，而是“能跑但跑不起”。

从方法角度看，未来很值得继续做两件事。第一，是把偏好数据做得更像真实专家判断，而不是只靠规则构造的“伪负样本”；第二，是把图像理解和文本生成之间的对齐做得更细，尤其是对版面、注释、残缺字和异体字的处理。只要这两步往前走，历史文献的数字化门槛就会继续下降。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

这篇论文到底解决什么问题？它解决的是“历史手稿怎么从图像直接翻成现代越南语”的问题，而且不是单独靠 OCR，而是把图像、古文字、现代语和生成模型一起对齐，目标是让翻译既忠实又更像自然语言。

PPO、DPO、KTO 分别是什么意思？PPO 是近端策略优化，靠奖励模型和 critic 训练；DPO 是直接偏好优化，直接比 chosen 和 rejected；KTO 是卡尼曼–特沃斯基优化，适合利用更弱、更噪的偏好反馈。三者共享同一骨干，只是优化目标不同。

为什么 DPO 的翻译指标最好，但 PPO 的 precision/recall/F1 更高？因为 DPO 更擅长把细粒度的偏好差距拉开，所以在词面、结构和语义贴合上更占优；PPO 的奖励模型更偏整体回报，常常更重视内容覆盖，因此在 precision、recall、F1 这类“捞全信息”的指标上更强。

如果还有想继续拆的细节，欢迎在评论区继续追问~

龙哥点评

论文创新性分数：★★★★☆ 不是在发明新 RLHF 算法，而是在一个很具体、很难落地的历史翻译场景里，把多模态输入和偏好对齐真正接起来了。创新点不玄，但很实。

实验合理度：★★★★☆ 同骨干、同初始化、同评测样本的控制做得不错，PPO/DPO/KTO 的对比也算公平。唯一要留意的是样本规模不大，结论更适合说“有效”而不是“终局”。

学术研究价值：★★★★☆ 对低资源历史文献翻译很有启发，尤其说明了偏好优化不只适合聊天模型，也能服务文化遗产数字化。

稳定性：★★★☆☆ 论文结果不错，但依赖高质量对齐数据和较重的多模态组件，离“随便拿来就跑”还有距离。

适应性以及泛化能力：★★★☆☆ 在同类历史手稿、同类语言对上有潜力，但换到更脏、更碎、更缺标注的档案，泛化还要继续打磨。

硬件需求及成本：★★★☆☆ 训练成本不低，单卡 A100、较长训练时间、还要多模态融合，工程上不算轻。

复现难度：★★★☆☆ 方法链路不算复杂，但数据准备、偏好构造和多模态对齐都需要细活，复现门槛中等。

产品化成熟度：★★★☆☆ 适合文化遗产数字化、档案辅助翻译等限定场景，离通用历史文献自动翻译产品还有一段路。

可能的问题：数据规模偏小，偏好样本偏人工构造，外部泛化和真实档案鲁棒性仍需更大规模验证。

主要参考文献

[1] H.-Q. Dang, D.-A. Nguyen, P.-P. Pham et al., “NomNaOCR: The first dataset for optical character recognition on Han–Nom script,” in Proc. RIVF, 2022, pp. 476–481.

[12] J. Schulman, F. Wolski, P. Dhariwal, A. Radford, and O. Klimov, “Proximal policy optimization algorithms,” arXiv:1707.06347, 2017.

[13] R. Rafailov, A. Sharma, E. Mitchell et al., “Direct preference optimization: Your language model is secretly a reward model,” arXiv:2305.18290, 2024.

[14] K. Ethayarajh, W. Xu, N. Muennighoff et al., “KTO: Model alignment as prospect theoretic optimization,” arXiv:2402.01306, 2024.

*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！

欢迎加入龙哥读论文粉丝群，扫描下方二维码或者添加龙哥助手微信号加群：kangjinlonghelper。一定要备注：研究方向+地点+学校/公司+昵称（如图像处理+上海+清华+龙哥），根据格式备注，可更快被通过且邀请进群。
古文字、偏好对齐、低资源翻译、RLHF 都能聊，想看硬核拆解、找同路人，直接来群里开卷。
wechat_helper