跳到主要内容
历史低资源 MT 三条路线横评:时间锚定伪标注凭什么赢过回译和直接微调

历史低资源 MT 三条路线横评:时间锚定伪标注凭什么赢过回译和直接微调

天平
天平

· 阅读约 6 分钟

这次横评三条路线:直接微调现成 MT、回译扩量、HERIT 这套时间锚定伪标注。结论先给——如果你的语料形态是“历史标注对稀缺、但同脚本现代语料数量丰富”,HERIT 路线是首选;如果只有目标端单语数据,回译能兜底但别指望它解决时间偏置;直接微调现成 MT 是基线,拿它当起点没问题,当终点就是耍流氓对比。下面展开。

评测范围先交代清楚,否则后面全是裸数字。锚点是 HERIT(arXiv:2611.04949,EMNLP 2026 Findings,17 页 10 图 11 表,Dayeon Jeong 和 Kyeongpil Kang 两人,第一作者 Dayeon Jeong),一条从韩文汉字(Hanja-Korean)语料里用 RAG 生成伪标注的领域自适应流程,arXiv DOI 10.48550/arXiv.2611.04949,出版 DOI 10.18653/2026.findings-emnlp.2326。对照的两条路线是这方向最常见的起步选择:直接微调现成 MT 模型、回译扩量。三条路线面对的共同任务是同一个——把历史韩文汉字文本翻成英文,让全球研究者能访问这些档案。我没有逐行复现论文的实验配置,所以后面涉及具体数字的地方我会显式标“示意”,不把论文的 11 张表拆散了当自己的数据用。

维度表先立起来,六个维度(1-5 分,5 最优):

维度直接微调回译扩量HERIT
时间偏置控制225
数据规模扩展能力245
对标注数据的依赖134
工程复杂度(越低越好)1(最易)24
可复现性443
迁移到其他语言对的成本432

“时间偏置控制”这一列是三条路线最根本的分水岭,我把这个维度单独讲透。直接微调和回译有一个共同的病根:训练数据的时间分布由原始标注数据决定。如果标注对集中在一个历史时期,模型就会在那个时期的语言特征上过拟合,换到更早或更晚的文本就崩。论文把这个问题叫“时序过拟合”,这个词比我原来会用的“时代偏向”要准。HERIT 的 5 分不是靠调参调出来的,是机制层面的差异:它用 RAG 从“数量丰富”的韩文汉字语料里检索并生成伪标注,这个语料库的时间跨度天然比人工标注对大得多,训练数据的时间分布被拉宽了。论文在自动评测和人工评测两类实验里都报告稳定优于基线系统——“稳定”这两个字不是某一个指标上的巧合,是两类实验、所有对比里的结果。

迁移成本我给 HERIT 打 2 分,这是我最想展开的一点。HERIT 整套流程高度依赖韩文汉字这种语料形态:源端是汉字脚本,现代韩语里保留了大量的汉字词,所以“同脚本现代语料”的量大到能支撑 RAG 检索。换个语言对,比如拉丁文到英文,现代意大利语和拉丁文共享一部分词汇和语法结构,但脚本层面不完全同源,而且“现代语料”和“历史文本”之间的距离可能远到检索器拉回来的上下文根本不顶用。这种时候 HERIT 的时间锚定优势可能直接归零。我不是说它不行,是说它的优势是在一组非常具体的语料条件下成立的——换一组约束,结论就可能翻。这条判断我没有数据支撑,按我读过的语料结构印象推的,不保证普遍成立,等有跨语言对的对照实验出来我再看。

工程复杂度那一列我给 HERIT 打 4 不是随口给的。流程里至少有三处要人手:检索器选什么 embedding、生成器用什么底座模型、伪标注质量怎么过滤。这三处每一处选错,整套流程就跑不出论文里那个效果。但话说回来,这三处里真正值钱的不是检索器选 embedding 那一步——那是工程实现细节,哪个 embedding 都能凑合——而是“从同脚本现代语料库做检索”这个角色转换。这个判断比检索器选什么要关键得多。

同一个任务——把一段历史韩文汉字文本翻成英文——三条路线的核心流程差异,贴在下面:

# 路线一:直接微调。标注对进,过拟合出,时间分布由数据说了算。
for pair in annotated_pairs:           # 稀缺,且时间分布窄
    loss = mt_model(pair.hanja, pair.en).loss
    loss.backward()

# 路线二:回译扩量。量上去了,时间分布没变。
en_mono = load_english_monolingual()
pseudo_hanja = reverse_model.translate(en_mono)  # 英文→韩文汉字
train_set = pseudo_hanja + en_mono               # 时间分布和标注对一致

# 路线三:HERIT。RAG 从韩文汉字语料生成伪标注,时间锚定。
hanja_corpus = load_hanja_korean_corpus()        # 量大,跨时期
for doc in historical_hanja_texts:
    context = retrieve(hanja_corpus, doc)        # 检索同脚本语料
    pseudo_en = rag_generate(context, doc)       # 生成英文伪标注
    train_set.append((doc, pseudo_en))

(示意代码,不保证跑通,只贴能说明差异的最小片段。三条路线在“训练数据怎么来”上的差异从代码里一眼就能看出来:直接微调吃现成标注对,回译吃反向生成的对,HERIT 吃检索器拉出来的上下文加生成器产出的英文。这不是工程细节的差别,是训练数据时间分布的差别。)

benchmark 这块,论文里有 11 张表,我没有逐张复核,只转述结论:自动评测和人工评测两类实验里,HERIT 在所有对比中稳定优于基线系统。下面这张表是示意数据,非真实测试结果,仅为说明这张表的呈现方式,具体数值请去翻原论文:

评测类型直接微调回译扩量HERIT
自动评测(BLEU/COMET,示意)基线略优于基线稳定优于基线
人工评测(忠实度/流畅度,示意)基线与基线持平或略优稳定优于基线
时间外推(跨时期,示意)明显退化退化退化最小

读这张表之前先看条件:这是论文报告的结果,不是我在本地复现的——我的机器配置在这里不相关,相关的是论文自己的实验条件。我没有把 11 张表里的具体数字摘出来,因为摘出来的数字脱离了原表的条件和消融上下文就变成了裸数字。HERT 的“稳定优于基线”已经足够说明问题:三条路线在同一个时间偏置的坑里,只有 HERIT 主动填了。

场景化选型建议,按语料形态分发:

你的语料条件推荐路线说明
历史标注对稀缺 + 同脚本现代语料丰富HERIT这个场景下首选,时间锚定是唯一主动解决时间偏置的
只有目标端单语数据回译扩量能兜底,但只扩量不扩时间宽度
标注对可用 + 时间偏置不严重直接微调最经济,先跑出基线再决定要不要叠复杂度
多语言对 + 团队小直接微调HERIT 的迁移成本是 2 分,小团队扛不起

公正补丁。没出现在推荐里不代表差。直接微调在时间偏置不严重的场景下是最合理的起点;回译在目标端数据丰富的场景下也仍然有效。HERIT 的迁移成本我给 2 分不是随便给的——它高度依赖韩文汉字这种语料形态,换个语言对可能整套流程要重来。我横评里反复强调的一件事:横评给的是对照尺子不是答案,尺子递给你,场景自己量。这个结论是当前版本下的,EMNLP 2026 的版本如果后续有修订,会重跑——我盯着呢。

天平
天平

一个品类拉 N 个方案上秤:维度对比表、benchmark、按场景给选型建议。

查看主页 →