NVIDIA DGX SparkにおけるMoE推論を強化する3つの方法
トークンの生成をより高速化するには、まず推論性能を制限している要因を特定することから始まります。NVIDIA上でInclusion AIが実施したLing-3.0-flashのバッチサイズ1による評価では…
AI NEWS JOURNAL
AI の全ニュース
出典・テーマ・日時から、気になるニュースを見つけられます。
Mirendilが、1,000万トークンのコンテキストを備えた初のモデルであるFern 0.1をリリース
Mirendilは、1,000万トークンのコンテキストウィンドウでゼロから事前学習された初のモデルであるFern 0.1をリリースしました。同モデルはエージェント型AIの研究開発を対象としており、1,000万トークン規模でのRULERシングルニードルテストでは100%のスコアを獲得していますが、エージェント型コーディングにおいては最先端モデルには及ばない結果となっています。この記事「Mirendil、1,000万トークンのコンテキストを持つ初のモデルFern 0.1を公開」は、MarkTechPostに最初に掲載されました。
「高スコアを取る」ことと「納品できる」ことは別である：AIランキングは信用の再評価の局面を迎えている
旧ランキングのスコアは満点に迫るも、新ランキングの実戦評価では軒並み不合格。大規模モデルの評価自体がビジネス化するなか、企業の選定基準はランキングを見る時代から、コスト計算へと移りつつある。
百度が、数百ページに及ぶ文書の解析向けのUnlimited OCR 2をオープンソース化
Baiduは、MITライセンスの3B規模のOCRモデルであるUnlimited OCR 2をリリースし、1回のリクエストで数百ページに及ぶ文書を解析できます。同モデルのSR-SWAアテンションにより、各ステップのデコーディングコストはほぼ一定に保たれ、MarathonDocBenchでは77.1点を獲得しています。この記事「Baidu、数百ページの文書解析向けUnlimited OCR 2をオープンソース化」は、MarkTechPostに最初に掲載されました。
ソーシャルワールドモデル評価のギャップ
arXiv:2610.33014v1 発表タイプ：新規 要旨：交渉支援システムは、相手の反応を正確に予測しなくても良好な取引を成立させることができる。そこで、社会的世界モデルに対する評価がその予測を直接検証しているのかという疑問を提起する。1999年から2026年にかけて発表された113件の研究を調査したところ、9件の主要な評価では、システムまたは実験者が選択した行動に対する実際の人の反応が測定されていた。そのうち、明示的な反応予測と実際の反応を比較しているのはわずか2件であり、しかもそれらの予測手法は行動選択時に利用可能な情報を用いており、評価対象の反応は適合過程から除外されていた上、介入手法もランダム化されていた。さらに、言語モデルに関する25件の研究について全文を個別に確認した結果、これらの条件を満たす実験は見当たらなかった。他の評価は、現状推論やタスク成功、あるいは予測機能の評価を行っているにすぎない。
歴史文書の文字起こしにおけるOCRシステムのエンティティ認識対応評価
arXiv:2610.33004v1 発表タイプ：新規 要旨：光学文字認識（OCR）は歴史的アーカイブのデジタル化において不可欠であるが、文字誤り率（CER）などの標準的な評価指標だけでは、氏名や日付、識別子といった有意義な情報が確実に保持されているかどうかを必ずしも反映できない。本研究では、歴史文書におけるOCR品質を評価するための補完的な視点として、OCRエラーのエンティティレベルでの分析を検討する。公開されているBerruttiアーカイブの175件の文書から構成されるベンチマークを用い、受理後に公開予定の手動でアノテーションされた5,209件のエンティティ言及を追加することで、逐次認識型OCRシステム、OCR専用の視覚言語モデル、および汎用の視覚言語モデルを比較する。全体的な転写精度にとどまらず
データカルチャーがゼロトラストから出荷可能なAI分析エージェントへと辿った道のり
Data Cultureは、AI分析の導入における精度を0％から94.7％に向上させた3段階の評価フレームワークを構築しました。
AWSがCDKベースのホステッドBedrock知識ベースによるスマート検索のリファレンス実装を公開
AWSは2026年10月26日、AWS CDKを用いて構築された企業向けのアジェンティック・リトリーブ（agentic retrieval）のリファレンス実装を紹介するブログ記事を公開しました。これはAmazon Bedrockのマネージド・ナレッジベース専用で、ナレッジベース間のセマンティックルーティング、反復検索、引用付きのソース追跡による回答、さらには7層の観測性をサポートしています。
注目する理由：本資料はAWS公式技術ブログ（2026年10月26日公開）に基づき、既に提供されている機能（例：2024年8月にリリースされたManaged KBやAgenticRetrieveStream API）、検証可能なデプロイ構造（四スタックCDKアプリケーション）、明示的な制限事項（リージョンの可用性、Managed KBのみ利用可能）およびオープンソース実装の詳細に焦点を当てています。性能に関する断言や第三者による保証は一切含まれておらず、事実に基づく正確性と時効性の要件を満たしています。
Nace AI、AIエージェント向け検索用Drexをリリース：BrowseComp-Plusで92.05％、12.6回の検索呼び出し
Nace AIは、Drex for Searchをリリースし、同社のDrex意思決定モデルをAIエージェント向けのドキュメント検索に導入しました。Naceによると、BrowseComp-Plusでは12.6回の検索呼び出しで92.05%のスコアを達成しており、OfficeQA Proではエージェントの操作回数がさらに減少しています。この記事「Nace AI、AIエージェント向けDrex for Searchをリリース：BrowseComp-Plusで12.6回の検索呼び出しで92.05%」は、MarkTechPostに最初に掲載されました。
KimiがK3.1 Proを発表、容量増加と価格引き下げでOpus 5.5に挑む
著者｜宇航猿 編集｜靖宇 10月23日午前、Kimi公式はXとビデオ番号で24秒の動画を公開した。映像にはレトロな雰囲気の古いパソコンが映り、画面にはKimi Codeが起動し、端末にはThree.jsのコードが一行ずつ表示され、複雑な3Dシーンが生成されていく様子が映っていた。目ざといネットユーザーはすぐに左上隅のモデル欄で答えを見つけた――「Model: Kimi K3.1」だ。 Kimi公式が公開したK3.1の事前告知動画｜画像出典：X @Kimi_Moonshot 古い時代の機械で、今日最先端の3Dコードを実行する――このギャップこそが、月之暗面が伝えたいメッセージそのものだった。 それから十数時間後、10月24日零時を過ぎた直後、プログラマーの日に合わせてKimi K3.1 Proが正式にリリースされ、同時に速度が2〜3倍速いHighspeed版も同時に登場した。公式は、完全なモデルの重み付けデータを11月4日までに公開すると約束している。 前世代のK3が発表されてから、すでに3か月以上が経過していた。この3か月間、月之暗面が経験したことは、多くの企業が1年で経験する以上のものだった。 01 「量は増やしても価格は変えない」の0.1 まず、K3.1 Proとは何かを明確にしておこう。これはまったく新しいモデルではない。月之暗面は明確に、K3.1 ProはK3の後学習版であり、基盤は変わっていないと述べている――依然として総パラメータ2.8兆、活性化パラメータ1,040億の混合エキスパートアーキテクチャ、文脈ウィンドウは100万トークン、画像および動画入力にもネイティブに対応している。 変わったのは後学習の部分だ。公式によれば、「大幅に増強された後学習用の計算能力」を投入し、数百の下流分野で大規模な共同強化学習を実施したという。そのため、強化学習フレームワーク、サンドボックスインフラ、長文脈推論といった基盤技術を一から再構築したのだ。つまり、同じ脳が、仕事のやり方を改めて“教え直された”ということになる。 その効果はランキングで明らかだ。プログラミングAIを評価するTerminal-Bench 4.0において、K3.1 Proは65.7％を獲得し、GPT-6 Astraの58.2％やClaude Opusの66.4％をわずか1ポイント弱下回る結果となった。前世代のK3は
SAGEベンチマークとGARフレームワークの公開：マルチモーダルな意味的整合性評価の推進
2026年10月26日、arXivは論文arXiv:2610.31838v1を公開し、Sense-Aligned Grounding Evaluation（SAGE）——統一された10候補画像選択基準——を提案するとともに、名詞・動詞・実体中心の多モーダルなグラウンディング評価を実施するための、学習非依存型のGloss-Augmented Reasoning（GAR）フレームワークも併せて提示した。
注目する理由：本研究は、VWSD、VerSe、WikiDiverseの3種類のタスクを用語中心のグラウンドトゥルース評価プロトコルに統一し、混同行動による難負例の導入とコンテキスト交換による診断メカニズムを提案しました。さらに、定義の強化と制約による推論の誘導が協調して作用することでHits@1指標を大幅に向上させること（65.90→71.22）を実証し、マルチモーダルな意味対応の評価においてより細粒度で解釈可能な新たなパラダイムを提供しています。
クエリの抽象度が古典アラビア詩の検索精度を左右する：BM25と稠密エンコーダーの性能は、クエリの抽象度に応じて顕著に分かれる
2026年10月26日付のarXivに掲載された最新の研究（arXiv:2610.31821v1）によれば、古典アラビア詩の検索タスクにおいては、ユーザーの詩句の記憶残存度（例えば半行を覚えているかどうか）が、モデルの性能よりも検索精度を決定する上でより重要な要因であることが示されています。BM25は、「舌尖効果」系のクエリでは、8Bパラメータの最先端モデルを含むすべての稠密符号化器を上回る一方で、抽象的なクエリでは大きく劣後することが明らかになりました。
注目する理由：本研究は、二重コーパス、三重インデックス方式、および二重評価プロトコルによる体系的なベンチマークテストを通じて、クエリの抽象度が異なる検索パラダイム（形態素ベース対稠密ベクトル）に与える支配的な影響を初めて定量的に明らかにし、人間のアノテーターとオープンソースの重み付けモデルによる二重検証を経て、その結論は方法論的普遍性と実証的堅牢性を備えている。
LLM評価において、全体のF1スコアのみで自動採点システムを検証することは誤解を招くリスクがある：新たな研究は、具体的なプロンプト間の差異を考慮した検証の必要性を強調している
arXiv論文（2610.31678v1）は、対話型の大規模言語モデルの評価において、自動スコアラーの全体的な正答率やF1スコアだけに依存すると、プロンプト固有の誤りが隠れてしまい、プロンプト効果の誤った判断につながると指摘している。実証結果では、同一のスコアラーでも異なるプロンプト条件下で偽陽性率に大きな差（2.6%～33.3%）が生じ、表面的には有意と見られる9.3ポイントの効果も、二重のLLMによるレビュー下では2.3ポイントに縮小し、統計的に有意ではなくなった。
注目する理由：本研究は、実際の実験データ（6つのモデル、180個の架空のエンティティに関する質問、6種類のプロンプト条件）に基づき、現在のLLM評価において広く見られる方法論上の欠陥——すなわち、スコアラーの全体的な性能を重要な比較タスクにおける信頼性と同一視する——を明らかにしています。その核心的な主張（各プロンプトを個別に検証し、不確実性を考慮に入れる必要がある）は、明確な実証的根拠と実践的な提言に裏打ちされており、発表日（2026年10月26日）も新鮮で、出典も信頼できるarXivプレプリントプラットフォームです。
新たな研究により、LLMによる数学指導の評価に深刻な測定バイアスが存在することが明らかになった：正確一致型の採点では、効果が実際よりも約40ポイントも過小評価されることが示された
arXivで2026年10月26日に公開された論文「MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring」は、MISCONCEPTDIALOGUEという自動評価フレームワークを提案し、5,000回超の対話に基づいて、数学チューターとしての性能を評価するため、7B～14B規模のオープンソース小パラメータLLM 5種類をテストしました。研究結果によると、主流の正確一致（exact-match）評価手法では救済成功率が42.1%にとどまる一方で、人間による校正を経たLLM審判による同一対話の評価では81.3%に達し、その差は39.2ポイントに上りました。しかもこの偏差は偶然によるものではなく、4種類のLLM審判と200件の人工ラベル付け結果との間で高い一致性が確認され（kappa値は最大0.91）、さらにモデルは診断情報（正しい／誤った概念）に対する応答にほとんど差がないことから、診断入力を有効に活用できないことが示されました。
注目する理由：本研究は、現在のLLM教育応用における評価手法の根本的な欠陥を明確に指摘している。すなわち、単一で硬直的な自動採点に依存することは、実際の能力評価を大きく歪めてしまうおそれがあることである。さらに、大規模なシミュレーション実験の設計、複数の評価者による収束検証、ならびに診断と指導の連携の不備に関する実証を通じて、AI教育評価の標準化に向けて重要な警鐘と再現可能な方法論的基準を提示している。
TRIADが発表：全モーダルな曖昧さ解消に特化した初の多モーダル大規模モデル評価基準
2026年10月24日、研究者はarXivに論文arXiv:2610.30841v1を公開し、テキスト・画像・音声の三モーダルな協調による曖昧さ解消能力を評価するための新たな評価フレームワークであるTRIADベンチマークを正式に発表しました。このベンチマークは、手作業で構築された327件の三モーダルサンプルを含み、86のシナリオグループと18種類の跨モーダルな曖昧さのタイプを網羅しています。
注目する理由：この成果は、現在の多モーダル大規模モデル評価における核心的な盲点を直接突いています。すなわち、既存のベンチマークでは、多焦点かつ確定的な入力条件下での知覚や推論にのみ注目しているのに対し、TRIADは初めて「モーダル補完による曖昧さ解消」を評価目標として体系的に設定しました。厳密に設計された留一モーダル反事実テストを通じて、モデルが特に音声に対して十分に活用されていないことや、シーンレベルでのロバスト性が脆弱であるといった重要な欠陥を明らかにし、次世代の全モーダルモデル評価に向けて再現可能な診断プロトコルと分類法を提供しています。
FusionEvalの公開：大規模言語モデルの統合に向けた新たなベンチマークテスト
2026年10月24日、研究者はarXivに論文arXiv:2610.30162v1を公開し、大規模言語モデルの融合手法の評価に特化した初の統一ベンチマークであるFusionEvalを提案しました。同ベンチマークは、推論チェーンの長さやツール呼び出しといった脆弱な部分を網羅しており、学習型と非学習型の融合手法の比較も可能にしています。
注目する理由：このベンチマークは、既存の評価において長鎖推論とツール利用へのカバーが不十分であった点を補完し、平均性能と最悪時の能力保持を明確に区別するとともに、Qwen3／Llamaに基づく再現可能な専門家プール、GPUメモリや実行時間などの多次元指標、およびオープンソースコードを提供しており、高い実践的指導性を備えています。
研究により、コーディングエージェントのベンチマークにおける「規範–オラクルギャップ」の問題が明らかになった
2026年10月24日にarXivに掲載された論文は、現在主流のコーディング・インテリジェンス・エージェント向けベンチマーク（たとえばSWE-Milestone）には「仕様–オラクルギャップ」が存在すると指摘している。すなわち、タスクの自然言語による記述には、テストに必要な重要な実装細部（例えば定数名、モジュールパス、正確なエラーメッセージなど）が含まれておらず、その結果、評価では上流のコードを再現する能力が測定されているにすぎず、真の理解力や推論能力が評価されていないという問題がある。
注目する理由：本研究は、この種のバイアスを初めて形式的に定義し、5言語をカバーする静的解析ツール（精度89.2％、再現率92.9％）を構築したうえで、SWE-Milestoneにおいて、25のマイルストーンタスクに推論不可能な暗黙的依存関係が存在することを実証的に明らかにしました。これにより、失敗率が大幅に上昇する（80.6％対48.4％）ことが示され、現在のランキングが「名前を真似る」タイプのエージェントを体系的に優遇している可能性が浮き彫りになりました。研究成果として、オープンソースの解析ツールと修正リソースが公開されており、方法論的価値と実践的価値の両面から貢献しています。
arXivの新論文では、コンパクトエンコーダーによる統合スコアリングと選択肢ごとのスコアリングの性能を比較しています
2026年10月24日、arXivは論文arXiv:2610.30970v1を公開し、パラメータ数が1,700万から10億の範囲にあるコンパクトなエンコーダーについて、閉じた集合における意思決定タスク（例：ツール選択）において、すべての選択肢を同時に評価する方式と、個々に独立してスコアリングする方式の設計選択を体系的に評価した。研究結果によると、3,200万のパラメータ規模では、個別選択肢スコアリングの方がスキル指標において統合スコアリングを有意に上回る一方で、計算負荷が高く、遅延のばらつきも大きいことが示された。さらに、複数のSystem1-Arenaベンチマークにおいて、6,800万および1億5,000万のパラメータを持つ統合型エンコーダーが、4億3,500万のパラメータを持つDeBERTa-v3のゼロショット分類器を上回ることが明らかになった。
注目する理由：本論文は、現行の大規模モデルにおける下流の意思決定モジュールの軽量化設計に関する重要な実証比較を提示しており、アーキテクチャの選定、初期化への依存性、遅延と精度のトレードオフ、入力順序に対するロバスト性といった工学上の重要課題を網羅しています。データは3つのランダムシードによる実験および公開・非公開のベンチマークに基づいて検証されており、公開日時（2026年10月24日）は現在のUTC日付（2026年10月25日）と一致しており、最新かつ信頼性の高い研究進展に該当します。
RecursiveがFlintをリリース：AI主導で開発され、ローカルで動作する軽量なプログラミングモデル
AIスタートアップ企業Recursiveは、オープンソースのコーディングモデル「Flint」を発表し、その開発プロセスは主に自社開発のAI研究システム「Eureka Machine」によって行われたと述べています。このモデルはパラメータ数がわずか400億で、実測では25億の活性化を有しており、M4 Pro MacBookなどの一般的なノートPCでもオフラインで動作し、推論速度は131トークン/秒に達します。また、SWE-Benchなどのベンチマークにおいて、同規模の多くのモデルを上回る性能を示しています。
NVIDIAがKumo Relationalを発表：教師あり学習を超える、トレーニング不要の構造化データ向け基礎モデル初号機
NVIDIAは、企業向けリレーショナルデータベース上で離職予測、不正検知、需要予測などの予測タスクを直接実行できる、事前学習済みのリレーショナル基礎モデル「Kumo Relational」を発表しました。タスクの微調整や特徴量エンジニアリング、テーブルの平坦化は不要です。15のデータベースにまたがる41のベンチマークにおいて、XGBoostなどの教師ありモデルを総合的に上回り、SAP SALTの企業向けベンチマークではMRR指標でAutoGluonを8％上回りました。また、最大5,000億行規模のデータベースに対応し、Predictive Query Language（PQL）によりコードゼロで予測呼び出しを実現します。