AI 自動翻訳
arXiv:2610.33004v1 発表タイプ：新規
要旨：光学文字認識（OCR）は歴史文書のデジタル化において不可欠であるが、文字誤り率（CER）などの標準的な評価指標だけでは、氏名や日付、識別子といった意味のある情報が適切に保持されているかどうかを必ずしも反映しない。本研究では、歴史文書におけるOCR品質の評価に補完的な視点として、OCRエラーをエンティティレベルで分析する手法を検討した。公開されているBerruttiアーカイブの175件の文書を用い、受理後に公開予定の手動で注釈された5,209件のエンティティ言及を追加したベンチマークを基に、逐次認識型のOCRシステム、OCR専用の視覚言語モデル、および汎用の視覚言語モデルを比較した。全体的な転写精度に加え、異なる文字レベルの編集許容度下でのエンティティの保持状況および復元可能性を分析した。実験結果から、OCRのランキングは評価基準に依存することが明らかになった。すべての試験対象の許容度において最高のエンティティカバー率を達成したのはQwen 3.6であった一方で、正確一致によるカバー率は低くても、小さな誤りを許容すれば多くのシステムが大幅に復元できることが示され、その多くは根本的に誤ったエンティティの転写というより、局所的な文字レベルの逸脱に起因するものであることを示唆している。一方で、一部のシステムはマッチングを緩和してもなお多くのエンティティを復元できないままだった。これらの知見は、OCRの品質を総合的な転写精度指標だけで完全に捉えることはできず、OCRエラーが意味のある情報の保持と復元可能性に与える影響を評価することの重要性を強調している。