見出し・要約・本文から、情報のつながりを探します。
arXiv:2610.37788v1 発表タイプ：新規 要旨：言語モデルアシスタントは、ユーザーが誤った回答を示唆すると、正しい回答を変更してしまうことがある。この現象は「諂媚（せんばい）」と呼ばれ、通常は好みに基づく事後訓練に起因するとされるが、初期の測定では事前学習済みモデルにも見られた。そこで、我々は訓練のあらゆる可能な段階でこれを測定することで、その発生源を追求した。具体的には、ベースモデルから監督下での微調整、好みに基づく最適化を経てリリースに至るまでの、5つの系統に属する13の公開チェックポイントを対象とした。さらに、注入された主張がモデルの回答をどの程度ずらすかと、回答がどれほど堅固に保持されていたかを区別し、主張を行う主体やその信頼性、および主張の強さを変化させながら検証を行った。その結果、異なる起源を持つ二種類の諂媚行動が浮かび上がり、いずれも複数のデータセットで再現された。主張への迎合 i
arXiv:2610.32101v1 発表タイプ：新規 要旨：大規模言語モデル（LLM）は、出力分布が既知の意味的なモードに集中する「モード崩壊」を示す。多様性が失われると、繰り返しサンプリングは発見ではなく意味的な反復となり、稀ではあるがより強力な解が表面化しにくくなるため、自己進化や継続的学習の維持が困難になる。ほとんどの対策は推論時のみに介入し、サンプルを調整するだけで、多様性をモデルの能力として組み込むことはできない。そこで私たちは、訓練時に多様性をモデル内部に内蔵するフレームワークであるPRISMを提案する。PRISMは、(i) 各プロンプトに対し、多様でありながら正解でもある複数の教師モデルによる解答を対応付けるサブモジュラー型キュレーションと、(ii) 特殊トークンの摂動を実行可能な形に変換する確率的埋め込み変調を組み合わせている。
arXiv:2610.33006v1 発表タイプ：新規 要旨：Transformerベースの大型言語モデル（LLMs）は、コンテキストサイズが増加するにつれて計算負荷とメモリ消費が大幅に増大するため、推論前にコンテキストをより短い表現に圧縮する手法が求められています。既存のソフトプロンプト圧縮手法は、通常、対象モデルと同じTransformerバックボーンを用いており、圧縮表現の生成には大きなレイテンシオーバーヘッドが生じます。このため、これらの手法は、コンテキストを一度圧縮して多数のクエリで再利用するオフライン環境に限定されています。私たちは、Mamba状態空間モデル（SSM）に基づくプラグアンドプレイ型のオンラインコンテキスト圧縮器「Boa Compressor」を提案します。これは任意長のコンテキストを単一の線形時間のパスで符号化し、その結果得られた表現を基に…
arXiv:2610.31966v1 発表タイプ：新規 要旨：文脈内学習におけるデモンストレーションは、しばしば意味的類似性によって取得されるが、これは構造化予測における関連性を十分に反映しない場合がある。本研究では、POSシグネチャーに基づくポリシーを用いて、Universal Dependenciesの構文解析におけるデモンストレーション選択を検討した。このポリシーは文を重み付けされた品詞統計で表現し、ラベル付き訓練分割から長さが一致するゴールド解析済みの例を3つ取得する。我々は、微調整を行わないオープンウェイト言語モデル2種をUD English Web Treebankテストセットの全2,077文に対して評価し、ショット数やフォーマットが一致する固定および意味的3ショットベースライン、さらにゼロショット、チェーンオブソート、クリティック・リファインメントシステムと比較した。POSシグネチャーによる検索は、最も高いラベル付きアタ
arXiv:2610.32109v1 発表タイプ：新規 要旨：言語モデルは、与えられた文書や自身のパラメトリックな知識に基づいて質問に答えることができる。では、後になってその回答の出所を問われた際、どのような基準で出所を報告するのか？本研究では、回答生成後かつ出所に関する質問が提示される前に、モデルのキーバリュー（KV）キャッシュに介入することでこの問題を検討した。4つのモデル（7B～32B）を用いた制御された事実確認タスクにおいて、文書のキャッシュを変更または削除しても、出所の報告内容には一切影響が見られなかった。一方で、同一の質問と回答トークンを用いた複数回の実行間で質問と回答のキャッシュを移植すると、その報告内容は受け渡され、寄贈元の出所報告に従う一方で、受領側の文書内容は変化しなかった。さらに、比較的小規模な2つのモデルでは、出所に関する質問が提示される前に適合させた方向へQ&A値を操作することで、出所の報告内容を意図的に制御することも可能であった。
2026年10月24日付のarXivに掲載された実証研究（論文番号2610.31135v1）では、長文コンテキストにおける質問応答タスクにおいて、Transformer、状態空間モデル（state-space）、およびハイブリッドMambaアーキテクチャの位置バイアス現象を比較し、Transformerモデルは一般的に開始位置の証拠を活用する優位性を示す一方で、状態空間モデルにはその特性が欠如していることを明らかにしました。一方で、両モデルとも終端位置の証拠を好む傾向が見られました。
注目する理由：本研究は、制御された実験設計に基づき（干渉文書を9件固定し、ゴールド文書を1件ずつスライドさせる）、統一的な評価フレームワークの下で3種類の主流な序列モデリングアーキテクチャの位置感度を初めて横断的に比較しました。その結果、モデルの性能とアーキテクチャの種類、プロンプト工学、タスクの性質との間に強い相関関係が存在することを明らかにし、長文コンテキストを扱うAIシステムの設計および調整において直接的な参考価値を示しています。
