保存済みツールを推薦
FOXAI SEARCH

サイト内検索

ニュース記事 464

ケビン・ルースはAGIに取り憑かれている。あなたはどうしてそうならないのだろうか?

今日は、AI業界の最近の劇的な変革を詳述した新刊『The AGI Chronicles』の著者でジャーナリストのケビン・ルースとお話しします。ケビンは長年ニューヨーク・タイムズの記者を務め、人気ポッドキャスト「Hard Fork」のホストでもありました。しかし彼と、同番組の友人であるケイシー・ニュートンは、先日[…]を去りました。

ザ・バージ・AI

HyScale: Scaling Long-Context Training for Learned Sparse Attention

arXiv:2610.32057v1 Announce Type: new Abstract: We present HyScale, a long-context training system for learned sparse attention. Learned sparse attention is a promising architecture for million-token contexts, widely adopted in production since DeepSeek-V3.2. Selection, however, grows into the training bottleneck. For each query, it scores every previous token whereas sparse attention reads only $k$; worse, current systems materialize a full score table and repeat selection during recomputation. Our key insight is that the output of selection is not an activation, but rather a set of indices. Building on it, HyScale introduces HyTopK and selection replay. HyTopK finds each query's exact top-$k$ on the fly without a score table, while selection replay reuses forward-pass selection in recomp

翻訳サービスが停止中のため原文を表示しています。
arXiv cs.AI

Speculative Diffusion is a Tale of Two Tradeoffs

arXiv:2610.31819v1 Announce Type: new Abstract: Speculative decoding is a technique that accelerates the inference speed of autoregressive large language models (LLMs) by sampling from a faster, lower quality draft model. Traditionally, a fundamental characteristic of speculative decoding is that it is lossless with respect to the verifier distribution, guaranteeing speed without sacrificing quality. This differs from recently developed diffusion LLMs (dLLMs), which are notably able to achieve substantial speedups by degrading the quality of their outputs with less diffusion effort. Because diffusion models are able to sample faster than autoregressive models by generating tokens in parallel, they are considered strong candidates for draft models in speculative diffusion. While it is widel

翻訳サービスが停止中のため原文を表示しています。
arXiv cs.LG

b11895

metal : stop overflow from happening in large matrix output offsets (#30072) * Metal : stop overflow from happening in large matrix output offsets Assisted-by: Codex * metal : widen batch offsets and MUL_MAT_ID token indices Assisted-by: Codex --------- Co-authored-by: feni6 <270037094+feni6@users.noreply.github.com> **Website:** - **Attestations:** - **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11895/llama-b11895-bin-macos-arm64.tar.gz) - macOS Apple Silicon (arm64, KleidiAI enabled) [DISABLED](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel (x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11895/llama-b11895-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/dow

翻訳サービスが停止中のため原文を表示しています。
llama.cpp のリリース

大規模言語モデルの分布整合性とその一般化特性

arXiv:2610.31687v1 公告タイプ:新規 要旨:大規模言語モデルは、アンケート調査などにおいて、人間の行動をシミュレートし、分析するための手段としてますます広く利用されています。これらの用途において重要な特性は、出力が分布整合性を満たすことであり、すなわち、出力の分布をある参照(ここでは人間の)分布に一致させることです。分布整合性を実現する際の障壁の一つは、少量の学習データから一般化することです。本研究では、(1) 大規模言語モデルをどのように分布整合させるか、および (2) いったん整合された大規模言語モデルが、未見のサンプルや関連しないトピック・タスクに対してもどのように一般化できるかを検討しています。二つの大規模ベンチマークを用いて、大規模言語モデルは確かに分布整合性を達成でき、同一ドメイン内の未見の質問に対しても一般化可能であることを示しました。一方で、トピック間の一般化は、各トピック間の関係性に依存します(例えば、

arXiv cs.CL

PaperFormalizer:研究論文のLeanによる自動形式化——著者主導型プロセス

arXiv:2610.31810v1 発表タイプ:新規 要旨:入念に校正された論文であっても、証明や明示された仮定に小さな抜けが残ることがあります。私たちはPaperFormalizerを提案します。これはLeanベースのエージェント型パイプラインで、著者が自らの論文におけるこうした隙間を見つけ出し、埋めることを支援し、各論文をLeanで検証済みのバージョンへと変換します。LaTeXソースから出発し、PaperFormalizerは論文を命題の依存関係グラフへと変換し、各命題について自然言語でその忠実性・曖昧さ・正確性を審査した後、Mathlibや任意の分野固有ライブラリ、さらには著者の個人的なツールキットと照らし合わせて、Lean上で形式化および証明を行います。ある命題が何を意図しているのか、また結果における形式化上のギャップをどのように修正するのが最適かを知るのは、あくまで著者だけです。そのため、このパイプラインは一時停止し、著者に問いかけるのです。

arXiv cs.AI

LazyFlash:長文コンテキストの高速微調整のための前方は密集、後方は疎なアテンション

arXiv:2610.31911v1 発表タイプ:新規 要旨:大規模言語モデル(LLMs)がますます長いシーケンスを処理するにつれ、アテンションは主要な計算上のボトルネックとなっています。疎なアテンション手法は主に推論段階での利用を対象としていますが、多くの手法は依然として密集型で学習を行ったり、疎な学習に対応できなかったりします。さらに、その追加の複雑さにより、疎さを実際の実行時間の短縮へと結びつけることが難しく、結果として実用的には密集型アテンションが広く用いられています。本論文では、アテンションの学習は後方パスが支配的であるという観察に基づき、前方パスを完全に密集型に保ちつつ、後方パスを疎にするLazyFlashという手法を提案します。LazyFlashは前方パスを厳密に密集型に維持するため、学習済みモデルは従来の密集型モデルのままであり、vLLMなどの既存システムでも一切変更なしにサービス可能です。一方、後方パスについては、LazyFlashは勾配を…

arXiv cs.CL