本文へ移動
AI NEWS.ccAI正在发生 未来正在更新
ニュースのブックマーク
THE JOURNAL
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

arXiv cs.DC

FlatCake：大規模言語モデルのサービス向けフラットなKVキャッシュストレージアーキテクチャ

arXiv:2610.38355v1 発表タイプ：新規 要旨：KVキャッシュの再利用は大規模言語モデルのサービスを加速させるが、既存のシステムではホストのDRAMとNVMe SSDを階層的なヒエラルキーとして管理しており、DRAMが中間キャッシュとして機能している。しかし、実際の大規模言語モデルのワークロードは、この階層構造の二つの前提をいずれも破っている。第一に、バイモーダルな再利用によりDRAMの時間的フィルタリングが無効化される。というのも、ワークロードは長い再利用距離を持つワンショットブロックか、DRAM容量を超える数ギガバイト規模のエージェントセッションによって支配されており、その結果SSDが重要な読み取りパスに置かれているからである。第二に、DRAMによるステージングと、排出現象に基づくレイアウトがSSDの復元処理をボトルネックにしている。進行中のプレフィックスのためにホストのステージングバッファを保持すると、負荷下で競合が生じてプリフェッチが中断されてしまう一方で、段階的な排出現象によってセッション内のブロックがSSD全体に散らばり、大規模なシーケンシャルリードが妨げられる。我々は…

経緯と関連報道

arXiv cs.CL

低ランク多線形分解によるLLMのハルシネーション検出

arXiv:2610.36191v1 公告タイプ：新規 要旨：大規模言語モデル（LLMs）は、流暢でありながら事実と一致しない応答を頻繁に生成し、その信頼性に対する懸念が高まっています。近年のハルシネーション検出手法は、内部表現を活用する傾向が強まっていますが、高次元の隠れ状態から有用な信号を抽出することは依然として困難です。既存のアプローチでは、選択された活性化値やプーリングベースの圧縮に依存することが多く、Transformer層、特徴モード、トークン全体に分散する識別力のある情報を見落としてしまう可能性があります。私たちは、LOTUS（Low-rank Order-statistic TUcker-based Subspace learning）を提案します。これは、ハルシネーション検出のための多線形低ランク分解フレームワークであり、LLMの隠れ状態からコンパクトな表現を抽出しつつ、ラベルへの依存度を低減します。

経緯と関連報道
arXiv cs.CL

トランスフォーマーにおける証拠効果の因果的局所化

arXiv:2610.36524v1 公告タイプ：新規 要旨：制御された記号入力は、自然言語による証拠から言語モデルの意思決定に影響を与える注意ヘッドを明らかにすることができるのか？我々は、制御された証拠集約（CEA）を提案する。これは、他の部分が固定されたプロンプトにおいて、二つの記号の出現回数と順序を変化させ、凍結されたトランスフォーマーが二つの回答トークンの間で示す選好の変化を測定する手法である。選好は両者のロジット差によって測定され、プロンプト自体には正解が指定されていない。バランスド・ユーティリティ・カウサル・セレクション（BUC）は、各ヘッドの出力を除去した際にカウント効果がどの程度消失するか、またカウント条件間で平均出力を補間することで両方向に効果がどの程度回復するかを同時に評価することにより、コンパクトなヘッド集合を特定する。さらに、ヘッドの帰属と介入との間に結びつく条件付き上限を導出する。

経緯と関連報道
arXiv cs.CL

フロンティアの大型言語モデルにおけるアッシュの同調性に関する定量的アプローチ

arXiv:2610.36668v1 公告タイプ：新規 要旨：アッシュの同調実験は、近年、大型言語モデル（LLMs）における同調性を測定する手法として大きな注目を集めています。これまでの研究では、主に大型言語モデルにおける同調性の実証に焦点が当てられてきましたが、本研究ではこのアプローチにさらに定量的な視点を加えています。具体的には、フロンティアの大型言語モデルに対して一連の質問を提示してサンプリングを行うのではなく、単一の質問を繰り返しサンプリングし、大型言語モデルの確率的特性を活用して回答の分布を生成します。これにより、モデルに人工的に作られたコンセンサスを提示する前後の回答分布を比較することが可能となります。実験の結果、フロンティアの大型言語モデルが実際に同調性を示すことを確認し、先行研究を裏付けるとともに、分布間の比較を通じて新たな知見を提供しています。

経緯と関連報道

arXiv cs.AI

LeafSkill：再帰的LLMエージェント向けの効率的な葉レベルのアクション接地

arXiv:2610.32412v1 発表タイプ：新規 要旨：再帰型の大規模言語モデル（LLM）エージェントは、分解・実行・環境からのフィードバックを通じて長期的なタスクを解決する。しかし、原子的なサブタスクを生成した後、しばしば同じ大規模モデルを再度呼び出して、馴染みのある指示を実行可能なアクションに変換している。我々は、高レベルの計画はタスク固有である一方で、葉レベルのアクションの具現化はタスク間で繰り返され、環境が許容するアクションと照合可能であることを観察した。そこで、セマンティックに関連する具現化の経験を取得し、アクションテンプレートを現在のオブジェクトおよび許容されるアクションに結びつけ、軽量な17億パラメータの選択器によって結び付けられたアクションを選択するか、あるいは変更のないサブタスクを元のエージェントに委ねる外部再利用層であるLeafSkillを提案する。スキルは外部に留まり…

経緯と関連報道
arXiv cs.DC

プレフィックスのキーと値は後から重要になる：ループ型言語モデルにおける自己推測デコード向けRIPEキャッシュ

arXiv:2610.34436v1 発表タイプ：新規 要旨：ループ型言語モデルは、各トークンに対して層のブロックを$R$回実行するため、そのキーバリューキャッシュ（KVキャッシュ）には各再帰層ごとに$R$個の平面が格納され、自己予測的デコーディング（一部のループで予備的に推論し、残りの$R$すべてで検証する手法）ではそれらすべてが読み込まれる。我々は、プレフィックスのキーとバリューが影響を及ぼすのは後半に集中していることを発見した。同程度の摂動サイズにおいて、ループ25〜32はループ2〜9に比べてそれぞれ$e^{15.0}$倍（Huginn-0125）および$e^{12.8}$倍（Raven-Llama）も敏感であり、各ループごとの平面数は0.88および0.81という比率で最終的な平面へと幾何級数的に近づいていく。そして、最も深い平面単独で十分かどうかは、後半の平面がどれほど成熟しているかに依存する。Ravenでは、それを保存するだけでbf16からfp32への変更と区別できない一方、Huginnでは、全体の誤差の74%をわずか1%の位置が占めている。これをRIPEに展開すると、最も深い…

経緯と関連報道

サイモン・ウィリソン

battledrones v14：コンパスローズ、4人用マップ

リリース：battledrones v14：コンパスローズ、4人用マップ 私はBattledronesに4人対戦モードを追加しました。従来のマップは2人限定でした。以下は私が最初に使用したプロンプトです：4人対戦用の新マップを追加する—4方向の回転対称性を持ち、最大4人のAIプレイヤーに対応し、WebSocketによる非音声ベースのマルチプレイヤーモードと連携しているため、最大4人の人間プレイヤーが参加可能（空きスロットはAIで補充）です。Claude Opus 4.5では「コンパスローズ」という新マップを追加し、そのマップで最大4人までプレイできるようWebSocketのマルチプレイヤーネットワークコードを修正しました。参加者は共有リンクやQRコードを通じて接続できます。新しいチームは紫と緑をテーマとしたロボットを使用し、既存の青と赤のデザインに加わります。これらのカラーは更新されたモデルブラウザでプレビューできます。タグ：ゲームデザイン、プロジェクト、Claude

個人
経緯と関連報道

サイモン・ウィリソン

バトルドローンズ - オーディオベースのマルチプレイヤー搭載、ビブ・コーデッドRTS

私の最新のビブ・コーデッドゲーム実験は、『バトルドローンズ』というコマンド＆コンカー風のRTS（リアルタイムストラテジー）ゲームです（こちらでプレイできます）。これまでの実験とは異なり、今回は実際に遊んでいて楽しい作品に仕上がりました。正直なところ、Claudeに「もっとずっと楽しくして」と頼んだ結果、こうなったことを告白するのは少し恥ずかしいですが…。さらに、近くのデバイス同士でオーディオを用いてゲーム状態を同期させるマルチプレイヤー機能も搭載しています！ ここでは、これまでに作ってきた内容と、その過程で学んだことの一部をご紹介します。 バトルドローンズ 私がどのようにこれを構築したか v1：初期プロトタイプ v2：フルスプライト v3：変化に富む地形 v4：楽しさアップデート v5：バトルドローンズが3D化 v8：アルシペラゴ v10：ゴリアテとエージェントバトル エージェントバトル v11：ランダムマップ v12：音によるマルチプレイヤー いくつかの考察 アップデート：オンラインマルチプレイヤー対応 バトルドローンズ 私の当初の目標は、構

個人
経緯と関連報道