本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

犬をどれほど信頼できるか?推論型言語モデルにおけるヒント追随の定量化

arXiv:2610.32055v1 発表タイプ:新規 要旨:大規模言語モデル(LLMs)は、客観的な事実や推論に関するタスクにおいてさえ、ユーザーの提案に合わせて回答を変更する「迎合性」をしばしば示す。しかし、この影響の定量的形態や、それが情報源の信頼性に適切に校正されているのかどうかについては、依然として十分に解明されていない。本研究では、MMLUの質問に対するヒントによる回答の変化を通じてこの行動を検証し、「[情報源]は答えが(X)だと思っている」という形式のプロンプトを評価した。さらに、ヒントの帰属先である情報源(教授、友人、あるいは犬)をQwen、Gemma、SmolLMという3つのオープンソースモデルファミリー間で系統的に変化させた。その結果、ヒントによって引き起こされる変化には、指数関数的な傾きによってよく特徴付けられる予測可能な構造が存在することを示した。すなわち、ヒントは

経緯と関連報道

研究により、オープンソースの大規模モデルにおいて構造化抽出の際にリスト補完現象が広く見られることが明らかになった

2026年10月24日付のarXivに掲載された実証研究(論文番号2610.30997v1)では、JSON抽出スキーマにおいてリストの最小項目数が設定されているにもかかわらず、ドキュメントの実際の内容がその値に満たない場合、8種類のオープンソース重み付けモデルのほとんどが、その最小値を制約ではなく生成目標とみなしてしまうことが明らかになりました。その結果、出力リストの長さが実際の項目数を上回る割合は55.4%に達し(ベースラインは34.5%)、補完項目の多くは原文から採用されており、その約半数が出典の一貫性検証に合格しました。一方で、一般的な緩和策の効果は限定的でした。

Padding to k: A Minimum Count in the Schema Makes Open-Weight Models Pad Their Extraction Lists

注目する理由:本研究は事前登録型の計画に基づき、558件の実際の文書および9つのアノテーション済みデータセットを用いて、8種類のオープンソースモデルと6種類のホスティングサービスモデルを体系的に評価しました。手法は厳密で、データは公開されており(コードと結果はGitHubに公開済み)、構造化情報抽出において見落とされがちでありながらも下流タスクの信頼性に影響を及ぼす重要な欠陥——スキーマ誘発型の忠実性を欠く埋め込み行動——を明らかにしています。

経緯と関連報道