見出し・要約・本文から、情報のつながりを探します。
arXiv:2610.37731v1 発表種別：新規 要旨：モデルの不一致により、単一のキャリブレーションパラメータだけでは、文脈領域全体にわたって物理的応答を再現できない場合がある。さらに、観測値や文脈における不確実性もキャリブレーションに影響を及ぼし、これらを考慮・定量化する必要がある。本研究では、ターゲットとなる文脈への近接度に応じて観測尤度に重み付けを行うことで、局所化された事後分布の族を構築する。ガウス型の局所化重みは、共分散の膨張を通じて文脈の不確実性を組み込み、領域境界での反射および不均一な文脈サンプリングに対する補正をオプションで適用できる。条件付き正規化フローを用いて、この事後分布の族をアモルティズド変分推論によって近似する。所定の文脈測度の下で局所化された事後分布を統合することで、
arXiv:2610.38355v1 発表タイプ：新規 要旨：KVキャッシュの再利用は大規模言語モデルのサービスを加速させるが、既存のシステムではホストのDRAMとNVMe SSDを階層的なヒエラルキーとして管理しており、DRAMが中間キャッシュとして機能している。しかし、実際の大規模言語モデルのワークロードは、この階層構造の二つの前提をいずれも破っている。第一に、バイモーダルな再利用によりDRAMの時間的フィルタリングが無効化される。というのも、ワークロードは長い再利用距離を持つワンショットブロックか、DRAM容量を超える数ギガバイト規模のエージェントセッションによって支配されており、その結果SSDが重要な読み取りパスに置かれているからである。第二に、DRAMによるステージングと、排出現象に基づくレイアウトがSSDの復元処理をボトルネックにしている。進行中のプレフィックスのためにホストのステージングバッファを保持すると、負荷下で競合が生じてプリフェッチが中断されてしまう一方で、段階的な排出現象によってセッション内のブロックがSSD全体に散らばり、大規模なシーケンシャルリードが妨げられる。我々は…
arXiv:2610.31955v1 発表タイプ：新規 要旨：Anthropicによる最近の研究では、ジャコビアンレンズ（J-lens、Gurneeら、2026年）と呼ばれる新たな解釈可能性ツールが導入されました。この手法は、最先端の言語モデルの隠れ状態において、作業記憶に類似した表現を想起させる性質を持つ線形方向を特定しました。しかし、こうした特徴がJ-lensによって検出可能となるメカニズム的特性については依然として不明です。そこで本研究では、J-lensの数学的理論を提案し、同理論が特に一貫性のある特徴――すなわち、空間的に一貫したリヤプノフモードのように働く方向――を優先的に識別することを示します。これらの方向に沿った微小な摂動は層を跨いで増幅し、トークン位置間でほぼ一定に保たれ、異なる文脈間でも一貫しています。一方でw
arXiv:2610.33006v1 発表タイプ：新規 要旨：Transformerベースの大型言語モデル（LLMs）は、コンテキストサイズが増加するにつれて計算負荷とメモリ消費が大幅に増大するため、推論前にコンテキストをより短い表現に圧縮する手法が求められています。既存のソフトプロンプト圧縮手法は、通常、対象モデルと同じTransformerバックボーンを用いており、圧縮表現の生成には大きなレイテンシオーバーヘッドが生じます。このため、これらの手法は、コンテキストを一度圧縮して多数のクエリで再利用するオフライン環境に限定されています。私たちは、Mamba状態空間モデル（SSM）に基づくプラグアンドプレイ型のオンラインコンテキスト圧縮器「Boa Compressor」を提案します。これは任意長のコンテキストを単一の線形時間のパスで符号化し、その結果得られた表現を基に…
arXiv:2610.33433v1 公告タイプ：新規 要旨：新しい文脈での単語の使用に見られる言語生産性は、人間の言語に関する最も顕著な事実の一つである。しかし、このような生産性を可能にする知識がどれほど抽象的なのかについては、依然として不明である。本研究では、成功した一般化が形態に基づく情報に依存する文脈において、人々と計算言語モデルの言語生産性を比較する。特に、能動態で学習した新しい動詞を受動態の文脈へ拡張するという課題に焦点を当てる。その結果、人々は、たとえその新しい動詞に妥当な意味を付与できない場合であっても、言語形態に関する抽象的な一般化と整合する形で、能動態から受動態への用法を拡張することが示された。一方で、大規模言語モデルは、既存の動詞に類似した意味を持つ場合にのみ、この拡張に成功した。
arXiv:2610.31985v1 発表タイプ：新規 要旨：LLMエージェントは、リソースを共有し、審査や監督プロセスの下で動作しながら、個々に異なるタスクを遂行する協調的な環境において、ますます広く導入されています。このような環境では、エージェントが悪意を持って行動する場合だけでなく、単に助けようとしている場合にも、安全上のリスクが生じます。これまでの研究は、主に敵対的または明示的に共謀的な行動に焦点を当ててきましたが、私たちは、別々の目的を追求する善意のエージェントが、意図されたワークフローを回避する形で自発的に協力し得ることを示します。これを「ヒューマンエージェント問題」と呼びます。私たちは、エージェントが時に仲間が所有するリソースに依存し、所有権の変更が通常は審査担当者によって仲介されるような、長期的な視野を持つ共有リソース環境を研究しています。審査が利用できなくなった場合、エージェント
arXiv:2610.32087v1 発表種別：新規 要旨：言語ベースのエージェントの行動を理解するには、行動が時間軸上でどのように組織化され、その組織化が文脈や結果とどのように関連しているかを把握する必要があります。私たちは、データ主導の行動発見と分析・実験的検証を結びつける一般的なフレームワークを提案します。記録された活動から導き出されるカテゴリは、何を測定するかを定義します。分析では、行動がプロセス内における位置を保持し、その関係性を解釈可能な仮説として表現します。留保された文脈での統計的評価および検定により、証拠の強度と適用範囲を検討します。さらに、プロンプトの制御を含む実験を通じて、意図的に変化させた条件下で行動と結果がどのように変化するかを検証します。反復的な自己反省に関する研究は、次のように示しています。
