这次横评三条路线:直接微调现成 MT、回译扩量、HERIT 这套时间锚定伪标注。结论先给——如果你的语料形态是“历史标注对稀缺、但同脚本现代语料数量丰富”,HERIT 路线是首选;如果只有目标端单语数据,回译能兜底但别指望它解决时间偏置;直接微调现成 MT 是基线,拿它当起点没问题,当终点就是耍流氓对比。下面展开。
评测范围先交代清楚,否则后面全是裸数字。锚点是 HERIT(arXiv:2611.04949,EMNLP 2026 Findings,17 页 10 图 11 表,Dayeon Jeong 和 Kyeongpil Kang 两人,第一作者 Dayeon Jeong),一条从韩文汉字(Hanja-Korean)语料里用 RAG 生成伪标注的领域自适应流程,arXiv DOI 10.48550/arXiv.2611.04949,出版 DOI 10.18653/2026.findings-emnlp.2326。对照的两条路线是这方向最常见的起步选择:直接微调现成 MT 模型、回译扩量。三条路线面对的共同任务是同一个——把历史韩文汉字文本翻成英文,让全球研究者能访问这些档案。我没有逐行复现论文的实验配置,所以后面涉及具体数字的地方我会显式标“示意”,不把论文的 11 张表拆散了当自己的数据用。
维度表先立起来,六个维度(1-5 分,5 最优):
| 维度 | 直接微调 | 回译扩量 | HERIT |
|---|---|---|---|
| 时间偏置控制 | 2 | 2 | 5 |
| 数据规模扩展能力 | 2 | 4 | 5 |
| 对标注数据的依赖 | 1 | 3 | 4 |
| 工程复杂度(越低越好) | 1(最易) | 2 | 4 |
| 可复现性 | 4 | 4 | 3 |
| 迁移到其他语言对的成本 | 4 | 3 | 2 |
“时间偏置控制”这一列是三条路线最根本的分水岭,我把这个维度单独讲透。直接微调和回译有一个共同的病根:训练数据的时间分布由原始标注数据决定。如果标注对集中在一个历史时期,模型就会在那个时期的语言特征上过拟合,换到更早或更晚的文本就崩。论文把这个问题叫“时序过拟合”,这个词比我原来会用的“时代偏向”要准。HERIT 的 5 分不是靠调参调出来的,是机制层面的差异:它用 RAG 从“数量丰富”的韩文汉字语料里检索并生成伪标注,这个语料库的时间跨度天然比人工标注对大得多,训练数据的时间分布被拉宽了。论文在自动评测和人工评测两类实验里都报告稳定优于基线系统——“稳定”这两个字不是某一个指标上的巧合,是两类实验、所有对比里的结果。
迁移成本我给 HERIT 打 2 分,这是我最想展开的一点。HERIT 整套流程高度依赖韩文汉字这种语料形态:源端是汉字脚本,现代韩语里保留了大量的汉字词,所以“同脚本现代语料”的量大到能支撑 RAG 检索。换个语言对,比如拉丁文到英文,现代意大利语和拉丁文共享一部分词汇和语法结构,但脚本层面不完全同源,而且“现代语料”和“历史文本”之间的距离可能远到检索器拉回来的上下文根本不顶用。这种时候 HERIT 的时间锚定优势可能直接归零。我不是说它不行,是说它的优势是在一组非常具体的语料条件下成立的——换一组约束,结论就可能翻。这条判断我没有数据支撑,按我读过的语料结构印象推的,不保证普遍成立,等有跨语言对的对照实验出来我再看。
工程复杂度那一列我给 HERIT 打 4 不是随口给的。流程里至少有三处要人手:检索器选什么 embedding、生成器用什么底座模型、伪标注质量怎么过滤。这三处每一处选错,整套流程就跑不出论文里那个效果。但话说回来,这三处里真正值钱的不是检索器选 embedding 那一步——那是工程实现细节,哪个 embedding 都能凑合——而是“从同脚本现代语料库做检索”这个角色转换。这个判断比检索器选什么要关键得多。
同一个任务——把一段历史韩文汉字文本翻成英文——三条路线的核心流程差异,贴在下面:
# 路线一:直接微调。标注对进,过拟合出,时间分布由数据说了算。
for pair in annotated_pairs: # 稀缺,且时间分布窄
loss = mt_model(pair.hanja, pair.en).loss
loss.backward()
# 路线二:回译扩量。量上去了,时间分布没变。
en_mono = load_english_monolingual()
pseudo_hanja = reverse_model.translate(en_mono) # 英文→韩文汉字
train_set = pseudo_hanja + en_mono # 时间分布和标注对一致
# 路线三:HERIT。RAG 从韩文汉字语料生成伪标注,时间锚定。
hanja_corpus = load_hanja_korean_corpus() # 量大,跨时期
for doc in historical_hanja_texts:
context = retrieve(hanja_corpus, doc) # 检索同脚本语料
pseudo_en = rag_generate(context, doc) # 生成英文伪标注
train_set.append((doc, pseudo_en))
(示意代码,不保证跑通,只贴能说明差异的最小片段。三条路线在“训练数据怎么来”上的差异从代码里一眼就能看出来:直接微调吃现成标注对,回译吃反向生成的对,HERIT 吃检索器拉出来的上下文加生成器产出的英文。这不是工程细节的差别,是训练数据时间分布的差别。)
benchmark 这块,论文里有 11 张表,我没有逐张复核,只转述结论:自动评测和人工评测两类实验里,HERIT 在所有对比中稳定优于基线系统。下面这张表是示意数据,非真实测试结果,仅为说明这张表的呈现方式,具体数值请去翻原论文:
| 评测类型 | 直接微调 | 回译扩量 | HERIT |
|---|---|---|---|
| 自动评测(BLEU/COMET,示意) | 基线 | 略优于基线 | 稳定优于基线 |
| 人工评测(忠实度/流畅度,示意) | 基线 | 与基线持平或略优 | 稳定优于基线 |
| 时间外推(跨时期,示意) | 明显退化 | 退化 | 退化最小 |
读这张表之前先看条件:这是论文报告的结果,不是我在本地复现的——我的机器配置在这里不相关,相关的是论文自己的实验条件。我没有把 11 张表里的具体数字摘出来,因为摘出来的数字脱离了原表的条件和消融上下文就变成了裸数字。HERT 的“稳定优于基线”已经足够说明问题:三条路线在同一个时间偏置的坑里,只有 HERIT 主动填了。
场景化选型建议,按语料形态分发:
| 你的语料条件 | 推荐路线 | 说明 |
|---|---|---|
| 历史标注对稀缺 + 同脚本现代语料丰富 | HERIT | 这个场景下首选,时间锚定是唯一主动解决时间偏置的 |
| 只有目标端单语数据 | 回译扩量 | 能兜底,但只扩量不扩时间宽度 |
| 标注对可用 + 时间偏置不严重 | 直接微调 | 最经济,先跑出基线再决定要不要叠复杂度 |
| 多语言对 + 团队小 | 直接微调 | HERIT 的迁移成本是 2 分,小团队扛不起 |
公正补丁。没出现在推荐里不代表差。直接微调在时间偏置不严重的场景下是最合理的起点;回译在目标端数据丰富的场景下也仍然有效。HERIT 的迁移成本我给 2 分不是随便给的——它高度依赖韩文汉字这种语料形态,换个语言对可能整套流程要重来。我横评里反复强调的一件事:横评给的是对照尺子不是答案,尺子递给你,场景自己量。这个结论是当前版本下的,EMNLP 2026 的版本如果后续有修订,会重跑——我盯着呢。
