人工分析v5とベンチマーク作成者のジレンマ
ベンチマーク業界の現状と、そこに欠けているものについての一考察。
見出し・要約・本文から、情報のつながりを探します。
ベンチマーク業界の現状と、そこに欠けているものについての一考察。
トークンの生成をより高速化するには、まず推論性能を制限している要因を特定することから始まります。NVIDIA上でInclusion AIが実施したLing-3.0-flashのバッチサイズ1による評価では…
Mirendilは、1,000万トークンのコンテキストウィンドウでゼロから事前学習された初のモデルであるFern 0.1をリリースしました。同モデルはエージェント型AIの研究開発を対象としており、1,000万トークン規模でのRULERシングルニードルテストでは100%のスコアを獲得していますが、エージェント型コーディングにおいては最先端モデルには及ばない結果となっています。この記事「Mirendil、1,000万トークンのコンテキストを持つ初のモデルFern 0.1を公開」は、MarkTechPostに最初に掲載されました。
Baiduは、MITライセンスの3B規模のOCRモデルであるUnlimited OCR 2をリリースし、1回のリクエストで数百ページに及ぶ文書を解析できます。同モデルのSR-SWAアテンションにより、各ステップのデコーディングコストはほぼ一定に保たれ、MarathonDocBenchでは77.1点を獲得しています。この記事「Baidu、数百ページの文書解析向けUnlimited OCR 2をオープンソース化」は、MarkTechPostに最初に掲載されました。
AWSは2026年10月26日、AWS CDKを用いて構築された企業向けのアジェンティック・リトリーブ(agentic retrieval)のリファレンス実装を紹介するブログ記事を公開しました。これはAmazon Bedrockのマネージド・ナレッジベース専用で、ナレッジベース間のセマンティックルーティング、反復検索、引用付きのソース追跡による回答、さらには7層の観測性をサポートしています。
注目する理由:本資料はAWS公式技術ブログ(2026年10月26日公開)に基づき、既に提供されている機能(例:2024年8月にリリースされたManaged KBやAgenticRetrieveStream API)、検証可能なデプロイ構造(四スタックCDKアプリケーション)、明示的な制限事項(リージョンの可用性、Managed KBのみ利用可能)およびオープンソース実装の詳細に焦点を当てています。性能に関する断言や第三者による保証は一切含まれておらず、事実に基づく正確性と時効性の要件を満たしています。
Nace AIは、Drex for Searchをリリースし、同社のDrex意思決定モデルをAIエージェント向けのドキュメント検索に導入しました。Naceによると、BrowseComp-Plusでは12.6回の検索呼び出しで92.05%のスコアを達成しており、OfficeQA Proではエージェントの操作回数がさらに減少しています。この記事「Nace AI、AIエージェント向けDrex for Searchをリリース:BrowseComp-Plusで12.6回の検索呼び出しで92.05%」は、MarkTechPostに最初に掲載されました。
NVIDIAはCosmosプラットフォームを拡張し、Cosmos Data Factoryのテンプレート、Cosmos Frameworkによるトレーニング最適化ツール、およびCosmos 3 NIMマイクロサービスを新たに提供しました。これらはマルチモーダルデータの生成、GR00TやQWENなどのオープンソース世界モデルへの対応、ならびに低遅延推論をサポートします。ポルシェ、ANYbotics、Ultralytics、ADNOCなどは、すでに実際の活用を開始しています。
FairStressは、大規模言語モデル(LLM)が人口統計学的アイデンティティの置換シナリオにおいて示す意思決定の安定性、解釈の一貫性、および内部表現の対称性に焦点を当てた新たなベンチマークであり、モデルには「反ステレオタイプ的過剰補正」などの系統的な行動バイアスが存在することを明らかにするとともに、主流の評価手法(例:BBQ)がパラダイムの違いにより偏見の方向性を誤って判断するおそれがあることを指摘しています。