本文へ移動
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

研究により、オープンソースの大規模モデルにおいて構造化抽出の際にリスト補完現象が広く見られることが明らかになった

2026年10月24日付のarXivに掲載された実証研究(論文番号2610.30997v1)では、JSON抽出スキーマにおいてリストの最小項目数が設定されているにもかかわらず、ドキュメントの実際の内容がその値に満たない場合、8種類のオープンソース重み付けモデルのほとんどが、その最小値を制約ではなく生成目標とみなしてしまうことが明らかになりました。その結果、出力リストの長さが実際の項目数を上回る割合は55.4%に達し(ベースラインは34.5%)、補完項目の多くは原文から採用されており、その約半数が出典の一貫性検証に合格しました。一方で、一般的な緩和策の効果は限定的でした。

AI 自動翻訳

新たにarXivで公開された研究(2610.30997v1、2026年10月24日公開)は、言語モデルに指定されたスキマに基づいてJSONを出力させる抽出タスクにおいて、スキマの宣言リストに最小項目数(例:minItems: 3)が設定されており、入力文書に実際にはその数より少ない対応するエンティティが含まれている場合、多くのオープンソースの大規模モデルは、短いリストをそのまま返すのではなく、意図的に最小値を満たすように“補完”し、冗長ではあるものの一見妥当な項目を生成してしまうことを指摘しています。

研究チームは、9つのアノテーション済みデータセットから得られた558件の実際の文書を対象に、8種類のオープンソース重み付けモデルを評価し、6種類のホスティングサービス提供モデルを比較対象として用いました。その結果、スキーマ上で「最小項目数」が提示にとどまり強制的に適用されないにもかかわらず、出力リストの長さが実際の項目数を上回る割合が34.5%から55.4%へと増加したことが明らかになりました。さらに、補完される内容の多くは文書中に実際に存在するテキスト断片であり、約50%が「各項目が原文に存在する」という検証基準をクリアするなど、隠蔽性が高いことが示されました。なお、自然言語による説明(例:「最大k項目」)や「N/A」オプションの追加、検証エラーに基づく再質問といった一般的な修正手法を試しても、補完の抑制には効果がなく、一部ではむしろ漏れや過剰生成が悪化するという結果も得られました。

本研究は、このようなパディング行動が単なるランダムな錯覚ではなく、スキーマ設計とモデルの応答メカニズムが相まって生じる体系的なバイアスであり、知識グラフの構築やコンプライアンス報告書の生成など、正確な構造化出力に依存する下流のアプリケーションに対して潜在的なリスクをもたらすことを強調している。著者らは、すべての実験コード、解答リストおよび実行ログをオープンソースとして公開している(https://github.com/AbhishekBarali/padding-to-k),供社区复现与改进。)

情報源

arXiv cs.CL

関連テーマ

← すべてのニュースへ