見出し・要約・本文から、情報のつながりを探します。
arXiv:2610.38069v1 公開タイプ：新規 要旨：短時間フーリエ変換（STFT）は、長時間信号の短い時間窓に対するフーリエ変換を計算し、周波数が時間とともにどのように変化するかを特徴づける手法である。フーリエ変換アルゴリズム、特に高速フーリエ変換（FFT）アルゴリズムは、並列計算を活用するために十分に発展しているが、短時間フーリエ変換の並列アルゴリズムの性能に関する研究はまだ限られている。本研究では、FFTベースのアルゴリズムと準並列型のフィードフォワードアルゴリズムという二つの並列短時間フーリエ変換アルゴリズムを実装し、相互に比較・分析した。その結果、並行度が低い環境下では準並列型アルゴリズムの方が実行時間が短いものの、…
arXiv:2610.38355v1 発表タイプ：新規 要旨：KVキャッシュの再利用は大規模言語モデルのサービスを加速させるが、既存のシステムではホストのDRAMとNVMe SSDを階層的なヒエラルキーとして管理しており、DRAMが中間キャッシュとして機能している。しかし、実際の大規模言語モデルのワークロードは、この階層構造の二つの前提をいずれも破っている。第一に、バイモーダルな再利用によりDRAMの時間的フィルタリングが無効化される。というのも、ワークロードは長い再利用距離を持つワンショットブロックか、DRAM容量を超える数ギガバイト規模のエージェントセッションによって支配されており、その結果SSDが重要な読み取りパスに置かれているからである。第二に、DRAMによるステージングと、排出現象に基づくレイアウトがSSDの復元処理をボトルネックにしている。進行中のプレフィックスのためにホストのステージングバッファを保持すると、負荷下で競合が生じてプリフェッチが中断されてしまう一方で、段階的な排出現象によってセッション内のブロックがSSD全体に散らばり、大規模なシーケンシャルリードが妨げられる。我々は…
arXiv:2610.37676v1 公表タイプ：新規 要旨：自動解釈可能性は、スパースオートエンコーダー（SAE）の特徴について、評価例に対してその特徴がどの位置で活性化するかをトークンごとに予測させたり、マークされたトークンがその特徴に適合しているかどうかを判定させたりすることで、解説を評価します。我々は、評価データの標準的な処理パイプラインのみを用いても、解説を読まないままスコアリングが可能であることを示しました。Neuronpediaに保存されているGPT-2 smallモデルのランダムな500個の特徴に対するファジング実行において、活性化した例の91.3％が中心トークン上でピークを持つように切り取られており、さらに中心トークンがマークされていれば「はい」と判定するルールは、パイプラインのコードから再構築されたマークに基づいて計算した結果、保存済みのLLMスコアラーの0.838に対し、バランスのとれた精度0.979を達成しています。一方、マーク数のみを参照するルールでは0.969を記録しました。T
arXiv:2610.36709v1 発表タイプ：新規 要旨：推論型言語モデルは、長い思考の連鎖を書き出すことで数学問題に解答し、問題ごとに多数の連鎖をサンプリングして多数決を取ることで、生成テキスト量が大幅に増えるというコストを伴いながら精度を向上させている。このコストを削減する一般的な手法として、モデルが各トークンを生成する際の信頼度に基づいて各連鎖をスコアリングする方法がある。ここでトークンとは、単語または単語の一部を指す。この手法では、2048トークンの移動平均を計算し、その平均値が最も低い連鎖を保持または停止する。私たちは、トークンごとに記録された信頼度を、音声やラジオにおける信号と同様の意味で捉え、スペクトル解析や急激な変化を検出する統計検定などの標準的な信号処理手法を用いてこの手法を評価した。私たちは、以下のデータセットから500問の各問題について16本の連鎖をサンプリングした。
arXiv:2610.34436v1 発表タイプ：新規 要旨：ループ型言語モデルは、各トークンに対して層のブロックを$R$回実行するため、そのキーバリューキャッシュ（KVキャッシュ）には各再帰層ごとに$R$個の平面が格納され、自己予測的デコーディング（一部のループで予備的に推論し、残りの$R$すべてで検証する手法）ではそれらすべてが読み込まれる。我々は、プレフィックスのキーとバリューが影響を及ぼすのは後半に集中していることを発見した。同程度の摂動サイズにおいて、ループ25〜32はループ2〜9に比べてそれぞれ$e^{15.0}$倍（Huginn-0125）および$e^{12.8}$倍（Raven-Llama）も敏感であり、各ループごとの平面数は0.88および0.81という比率で最終的な平面へと幾何級数的に近づいていく。そして、最も深い平面単独で十分かどうかは、後半の平面がどれほど成熟しているかに依存する。Ravenでは、それを保存するだけでbf16からfp32への変更と区別できない一方、Huginnでは、全体の誤差の74%をわずか1%の位置が占めている。これをRIPEに展開すると、最も深い…
arXiv:2610.32720v1 発表タイプ：新規 要旨：低軌道（LEO）衛星メガコンステレーションは、遅延が極めて重要な地球中心型アプリケーション向けに軌道上のエッジコンピューティングを実現するが、衛星の運動により視線通信の窓はわずか数分間にまで圧縮される。論理的な地理的近接性を維持するため、仮想的静止性（VS）と呼ばれるパラダイムでは、アプリケーションはコンステレーション内を通過する衛星間を継続的に移動しなければならない。従来のライブ移行メカニズムは、個別に開始されたリロケーションや複製を最適化するものだが、軌道運動によって必要とされる連続的なホスト間の引き継ぎには対応していない。我々は、ライブ移行を定常状態の実行モデルとして再定式化し、新たな仮想的静止性ランタイムパラダイムを提案する。さらに、連続的な移行の実現可能性を形式的に定式化し…
