arXiv:2610.31911v1 発表タイプ：新規 要旨：大規模言語モデル（LLMs）がますます長いシーケンスを処理するにつれ、アテンションは主要な計算上のボトルネックとなっています。疎なアテンション手法は主に推論段階での利用を対象としていますが、多くの手法は依然として密集型で学習を行ったり、疎な学習に対応できなかったりします。さらに、その追加の複雑さにより、疎さを実際の実行時間の短縮へと結びつけることが難しく、結果として実用的には密集型アテンションが広く用いられています。本論文では、アテンションの学習は後方パスが支配的であるという観察に基づき、前方パスを完全に密集型に保ちつつ、後方パスを疎にするLazyFlashという手法を提案します。LazyFlashは前方パスを厳密に密集型に維持するため、学習済みモデルは従来の密集型モデルのままであり、vLLMなどの既存システムでも一切変更なしにサービス可能です。一方、後方パスについては、LazyFlashは勾配を…
arXiv:2610.32215v1 発表タイプ：新規 要旨：現代のGPUデータセンターにおける計算能力の向上により、一部の産業大手企業が膨大なデータを用いて大規模言語モデル（LLM）を訓練し、展開できるようになりました。しかし、これらのモデルとその学習データの圧倒的な規模は、集中型の開発をますます維持困難にすると同時に、関連するプライベートデータを保有しながら同等のインフラを持たない小規模機関を排除しています。本論文では、分散型LLMトレーニングに関する我々の立場を、事前学習および微調整のパラダイムを中心に整理し、フェデレーテッド学習、スプリット学習、そして分散型アプローチを取り上げ、それらが地理的に分散した環境下で、多様なハードウェアや信頼性の低い接続状況においてどの程度実用可能かを評価します。さらに、我々は「統一された」システムを提案します。
マイクロソフトは、米国、英国、カナダ、インドの各地で最大6万人の従業員に対し、希望退職制度を提供しています。社員向けのメッセージで、マイクロソフトの最高人事責任者であるエイミー・コールマン氏は、同社が新たな[...]なしに人員削減を進めるなか、この制度により従業員には「経済的支援とキャリア設計に関するリソースとともに、マイクロソフトを離れる機会」が与えられると述べています。
Long-running agents degrade as context piles up. Learn how offloading, summarization, skills, subagents, and memory keep your agent's context window focused.
人工知能の巨大企業であるAnthropic PBCは本日、米国証券取引委員会に新規株式公開（IPO）のための書類を提出し、先進的なAIに関する警戒が高まる中、今後登場するAI開発企業としてはおそらく最大規模となる株式市場への上場に向けて軌道に乗った。同社は提出書類の中で、[…]に上場する予定であると述べた。記事「Anthropic、大型AI IPO向けのS-1申請書類を提出」は、SiliconANGLEに最初に掲載された。
common, grammar: add recursive depth limit, make it a requirement (#31153) * common, grammar: add recursive depth limit, make it a requirement * catch more recursive functions * common : tidy up peg parser changes * grammar : reject candidates in a loop, without a depth limit The depth limit in llama_grammar_reject_candidates_for_stack counted the code points of a vocab token, so any token of 256 chars or more was always rejected under a grammar, such as the 512-space token of GLM-4.7-Flash or the long space tokens of Laguna-S-2.1. The rejection now walks the code points with its own stack of levels instead of recursing: there is no limit and no stack risk, whatever the length of a token from the GGUF, and the masks match master. * grammar : track rejected candidates as indices into the in
本記事では、Underdogが公開したSaluki 27Bモデル——7.9 GBの2ビット量子化を採用したQwen3.8-27Bの変種——について紹介します。同モデルはISTA-DASLabのGSQ-RCO手法を用いて構築されており、120タスクにおけるBFCL v4ツール呼び出しベンチマークにおいて、元の54 GBのフル精度モデルを上回るとされています。ただし、すべての性能に関する結論は開発者による声明に基づくものであり、独立した検証は行われていません。
arXiv:2610.30355v1 発表タイプ：新規 要旨：幻影引用は、科学的主張の背後にある証拠を追跡し、その信憑性を検証することを困難にします。これらの引用を検出するのは、書誌情報が不完全であったり、ソースの種類や出版物のバージョンによって異なるため、非常に難しいです。妥当な一致だけでは、その引用が正当化されるわけでも、その背後にあるソースが特定できるわけでもありません。私たちは、ソースの復元可能性について注釈付きで構築された、実世界の幻影引用423件からなるベンチマークであるCiteResolveを提案します。さらに、ソースごとに検索とフィールドレベルの検証を適応させ、引用の妥当性および固有のソースが復元可能かどうかを個別に判定する、ソース意識型グラウンディングフレームワークであるCiteAnchorを提案します。既存の検出ベンチマークにおいて、CiteAnchorはGPT-5.6を用いてF1スコア0.841を達成しました。
SageMakerのリアルタイムAIエンドポイントがApplication Auto Scalingに登録されている場合、AWS CDKやCloudFormationでインスタンスタイプやインスタンス数などの設定を直接更新すると失敗します。本稿では、カスタムリソースに基づくCDK構築手法を提案し、厳密な依存関係によるオーケストレーションを通じて、エンドポイントの設定とスケーリングポリシーをアトミックかつ手動による更新不要で実現します。
同論文は2026年10月24日、arXivに掲載され（番号2610.30900v1）、大規模言語モデル（LLM）が生成する合成調査回答者について、完全な回答プロファイル空間における実際の人類回答者のカバー度を測定する新たな評価指標「回答者カバレッジギャップ」（RCG）を提案している。
