NVIDIA DGX SparkにおけるMoE推論を強化する3つの方法
トークンの生成をより高速化するには、まず推論性能を制限している要因を特定することから始まります。NVIDIA上でInclusion AIが実施したLing-3.0-flashのバッチサイズ1による評価では…
見出し・要約・本文から、情報のつながりを探します。
トークンの生成をより高速化するには、まず推論性能を制限している要因を特定することから始まります。NVIDIA上でInclusion AIが実施したLing-3.0-flashのバッチサイズ1による評価では…
ロヒト・パテル氏は、AI評価と強化学習に8年間従事した後、Metaを退職するとのことです。TechCrunchが独占入手した情報によれば、彼のスタートアップ企業Ndocは、Microsoft Officeスイートに対抗することを目指しています。
AIエージェントのスケーリングには、規制対象の役割を担う従業員と同様に扱い、文書化されたルール、明確に定義された責任、そしてそのパフォーマンスに責任を負う名指しの人的管理者を配置することが必要です。ゲスト著者のリック・フォルグマン氏(Get Covered社COO)は、企業に対し、まず既存のルールで管理されているタスクから着手し、各ワークフローのリスクに応じて自律性を調整したうえで、エージェントの権限を拡大する前に定期的に成果をレビューすべきだと述べています。
Baiduは、MITライセンスの3B規模のOCRモデルであるUnlimited OCR 2をリリースし、1回のリクエストで数百ページに及ぶ文書を解析できます。同モデルのSR-SWAアテンションにより、各ステップのデコーディングコストはほぼ一定に保たれ、MarathonDocBenchでは77.1点を獲得しています。この記事「Baidu、数百ページの文書解析向けUnlimited OCR 2をオープンソース化」は、MarkTechPostに最初に掲載されました。
エンタープライズAIガバナンスは、自動化システムが何を実行できるかを規定するデータ、ワークフロー、制御の領域へと進展しています。エージェントが金融、監査、コンプライアンス、サステナビリティといった分野で重要な業務を担うようになる中、組織には、ビジネス文脈に根ざし、その出所を追跡可能で、明確な説明責任に基づいて管理された結果が求められます。TheCUBEによるWorkivaのAmplifyイベントのプレビューでは、[…]が強調されました。この記事「TheCUBEのWorkiva Amplifyイベント報道から見落としがちな3つの洞察」は、最初にSiliconANGLEに掲載されました。
長年にわたる数学の未解決問題の解法を含む数百件の原稿を一斉に公開してからわずか1か月も経たないうちに、OpenAIは数学、計算機科学、物理学におけるさらに3つの「重要な」発見を発表しました。今回異なっているのは、結果を指導するため、OpenAIが「羊飼い」と表現する外部の専門家を起用した点です[…]
Data Cultureは、AI分析の導入における精度を0%から94.7%に向上させた3段階の評価フレームワークを構築しました。
本日は、ワークステーション向けのASRock製ハイエンドRadeon AI推論カード「Creator Radeon AI Pro R9700」をご紹介します。32GBのメモリを搭載し、価格は1,700ドルというこのカードは、ローカルでのAI推論を実行するワークステーションを手頃なコストで構築するうえで非常に優れた選択肢です。記事「ASRock Creator Radeon AI Pro R9700レビュー:AMD流ワークステーション向け推論」は、ServeTheHomeに初出しました。
Veriskは、メインフレームからdbtへと、数十年にわたる保険データを近代化し、AI対応の体制を整えました。
ベン・スタンシルは、Hugging Faceのハックを用いて、最も有用なアイデアがなぜ最も奇妙なつながりから生まれるのかを説明しています。
今日は、AI業界の最近の劇的な変革を詳述した新刊『The AGI Chronicles』の著者でジャーナリストのケビン・ルースとお話しします。ケビンは長年ニューヨーク・タイムズの記者を務め、人気ポッドキャスト「Hard Fork」のホストでもありました。しかし彼と、同番組の友人であるケイシー・ニュートンは、先日[…]を去りました。
機械にとって「夜」とは何でしょうか?
IBM Researchは、オープンソースのGranite Timeseries Ensemble(v1)を公開し、PatchTST-FM-r1/r2、FlowState、Tiny Time Mixersの4種類の事前学習アーキテクチャを統合して、ゼロ・ファインチューニングによる確率的アンサンブル予測をサポートしています。デフォルトでは等重みの確率的アンサンブル(Probabilistic Ensemble)を採用しており、四分位範囲に基づく適応的重み付け(IQR Ensemble)も提供されています。GIFT-Evalベンチマーク(2026年10月20日時点のスナップショット)において、点予測誤差(MASE=0.683)は最良の単一モデルをわずかに上回り、全体的なロバスト性が顕著に向上しています。
i14は、30.28億パラメータを備えるLaplace 3Bモデルを発表しました。このモデルでは、Softmaxアテンションの代わりにゲート制御線形アテンション(GLA)を採用しており、推論時の各シーケンスあたりの再帰状態は常に29.5 MBで、コンテキスト長に依存しません。同モデルは、AWS trn2.48xlarge(Trainium2チップ16基搭載)1台でトレーニングおよびサービス検証を実施し、トレーニングスループットは12万トークン/秒、サービススループットは11,544出力トークン/秒(1,280同時実行シーケンス)に達しました。すべての性能データは、i14とAWS GenAIICチームによる社内実測結果です。
Terminal XのEvalエージェントは、54項目からなる評価基準に基づいて出力を評価し、GPT-6.1 Solを用いることで、ファンドの運用方針からの逸脱を25%多く検出します。
リリース:llm-echo 0.5 新しいLLMのリリースに向けて作業を進めており、プルリクエストのテストを行う過程でllm-echoデバッグプラグインを改めて確認しました。このプラグインは、実際にはLLMを一切使用せず、単に与えられたプロンプトをそのまま返すだけの「モデル」を提供します。今回の新バージョンでは、ツールコールやシステムプロンプト、推論用トークンも考慮したシミュレートされたトークン使用量のカウントが更新されます。 使用例:uvx --with llm-echo llm -m echo 'hi there' -o thinking 1 --usage 出力結果:まずプロンプトを検討し、次に何を言うかを決定します。 { "prompt": "hi there", "system": "", "attachments": [], "stream": true, "previous": [] } トークン使用量:入力2、出力24 タグ:llm
GPT-6.1 Sol: Astraの標準的なAPI入力および出力トークン価格の1つのフィフスでコーディング、コンピュータ使用および専門の仕事のための近いAstraの知能.