AI 自动翻译
arXiv：2610.33004v1 发布类型：新
摘要：光学字符识别（OCR）对于历史档案的数字化至关重要，然而诸如字符错误率（CER）等标准评估指标并不一定能反映诸如姓名、日期和标识符等重要信息是否得以保留。在本研究中，我们从实体层面分析OCR错误，以此作为评估历史文献中OCR质量的补充视角。我们使用了一个公开的基准数据集，包含来自Berrutti档案馆的175份文档，并辅以5,209个经人工标注的实体提及——这些标注将在论文被接收后公开发布——对序列识别型OCR系统、专为OCR设计的视觉—语言模型以及通用视觉—语言模型进行了比较。除全局转录准确率外，我们还在不同字符级编辑容忍度下分析了实体的保留与可恢复性。实验结果表明，OCR系统的排名取决于具体的评估标准：尽管Qwen 3.6在所有测试的容忍度下均实现了最高的实体覆盖率，但一些在精确匹配覆盖率上较低的系统，在允许少量错误时却能显著提升其可恢复性，这表明它们的许多错误实际上只是局部的字符级偏差，而非根本性的实体转录错误。相反，也有一些系统即便在放宽匹配要求的情况下仍无法恢复大量实体。这些发现表明，仅凭整体转录指标难以全面刻画OCR的质量，并凸显了评估OCR错误如何影响重要信息的保留与可恢复性的必要性。