見出し・要約・本文から、情報のつながりを探します。
arXiv:2610.37731v1 発表種別：新規 要旨：モデルの不一致により、単一のキャリブレーションパラメータだけでは、文脈領域全体にわたって物理的応答を再現できない場合がある。さらに、観測値や文脈における不確実性もキャリブレーションに影響を及ぼし、これらを考慮・定量化する必要がある。本研究では、ターゲットとなる文脈への近接度に応じて観測尤度に重み付けを行うことで、局所化された事後分布の族を構築する。ガウス型の局所化重みは、共分散の膨張を通じて文脈の不確実性を組み込み、領域境界での反射および不均一な文脈サンプリングに対する補正をオプションで適用できる。条件付き正規化フローを用いて、この事後分布の族をアモルティズド変分推論によって近似する。所定の文脈測度の下で局所化された事後分布を統合することで、
arXiv:2610.31955v1 発表タイプ：新規 要旨：Anthropicによる最近の研究では、ジャコビアンレンズ（J-lens、Gurneeら、2026年）と呼ばれる新たな解釈可能性ツールが導入されました。この手法は、最先端の言語モデルの隠れ状態において、作業記憶に類似した表現を想起させる性質を持つ線形方向を特定しました。しかし、こうした特徴がJ-lensによって検出可能となるメカニズム的特性については依然として不明です。そこで本研究では、J-lensの数学的理論を提案し、同理論が特に一貫性のある特徴――すなわち、空間的に一貫したリヤプノフモードのように働く方向――を優先的に識別することを示します。これらの方向に沿った微小な摂動は層を跨いで増幅し、トークン位置間でほぼ一定に保たれ、異なる文脈間でも一貫しています。一方でw
arXiv:2610.33006v1 発表タイプ：新規 要旨：Transformerベースの大型言語モデル（LLMs）は、コンテキストサイズが増加するにつれて計算負荷とメモリ消費が大幅に増大するため、推論前にコンテキストをより短い表現に圧縮する手法が求められています。既存のソフトプロンプト圧縮手法は、通常、対象モデルと同じTransformerバックボーンを用いており、圧縮表現の生成には大きなレイテンシオーバーヘッドが生じます。このため、これらの手法は、コンテキストを一度圧縮して多数のクエリで再利用するオフライン環境に限定されています。私たちは、Mamba状態空間モデル（SSM）に基づくプラグアンドプレイ型のオンラインコンテキスト圧縮器「Boa Compressor」を提案します。これは任意長のコンテキストを単一の線形時間のパスで符号化し、その結果得られた表現を基に…
