AI ニュースを検索

AtariBench：Atariゲームプレイにおけるビジョン・言語モデルの時空間推論の評価

arXiv:2611.08755v1 発表タイプ：新規 要旨：ビジョン・ランゲージモデル（VLM）は、静的な視覚理解ベンチマークにおいて優れた性能を示していますが、動的な環境での行動能力についてはまだ十分に解明されていません。本稿では、Atari 2600のゲーム20種類に対してVLMを評価する制御されたベンチマークであるAtariBenchを提案します。このベンチマークでは、時間分解能の高いゲームプレイストリームから逐次的な意思決定を行うことが求められます。ゲーム内の迅速なダイナミクスと経過時間に基づく推論速度を分離することで、AtariBenchはモデルが視覚的情報の急速な変化を捉え、時空間的ダイナミクスを推論し、現在の観測に基づいて行動を決定できるかに焦点を当てています。実験の結果、最先端のVLMには大きな限界があることが明らかになりました。具体的には、物体の動きや方向を推論できない場合が多く、逐次的な意思決定が脆弱であり、新たに付加された視覚フィードバックにもかかわらず、テキストによる相互作用履歴に過度に依存していることが示されました。さらに、モデルの能力を示す信頼性の高い指標となるゲーム内スコアを特定するための分離可能性分析を導入し、メモリ設計やプロンプト戦略が性能に与える影響を調査しました。全体として、AtariBenchは受動的な視覚認識と能動的な意思決定の間にある持続的なギャップを浮き彫りにし、動的な環境で推論し行動できるVLMの開発のための軽量かつ厳密なテストベッドを提供します。

Seq@K：逐次的フィードバック下での言語モデルの評価

arXiv:2610.37859v1 発表タイプ：新規 要旨：言語モデルエージェントは、文脈における自然言語から学習する能力において、従来の知能システムとは根本的に異なります。この能力により、エージェントはフィードバックに応じて自身の回答を反復的に改善することが可能となり、これは現代のエージェント型ワークフローにおいて広く見られる動作様式です。しかし、コミュニティでは主にPass@1やPass@Kといった指標でモデルを評価しており、それらの指標では、エージェントが過去の試行に対するフィードバックをどのように活用しているかを捉えることはできません。そこで私たちは、Seq@Kという自然な評価プロトコルを提案します。これは、各前の試行が失敗した後にフィードバックを受け取り、K回の逐次的な試行のうちに問題を解決できるかどうかを測定するものです。長期的な計画を検討する多段階のエージェントベンチマークとは異なり、Seq@Kは、フィードバックによる改善という核心的な能力を単独で抽出し、形式化しています。

人工分析v5とベンチマーク作成者のジレンマ

ベンチマーク業界の現状と、そこに欠けているものについての一考察。

「高スコアを取る」ことと「納品できる」ことは別である：AIランキングは信用の再評価の局面を迎えている

旧ランキングのスコアは満点に迫るも、新ランキングの実戦評価では軒並み不合格。大規模モデルの評価自体がビジネス化するなか、企業の選定基準はランキングを見る時代から、コスト計算へと移りつつある。

百度が、数百ページに及ぶ文書の解析向けのUnlimited OCR 2をオープンソース化

Baiduは、MITライセンスの3B規模のOCRモデルであるUnlimited OCR 2をリリースし、1回のリクエストで数百ページに及ぶ文書を解析できます。同モデルのSR-SWAアテンションにより、各ステップのデコーディングコストはほぼ一定に保たれ、MarathonDocBenchでは77.1点を獲得しています。この記事「Baidu、数百ページの文書解析向けUnlimited OCR 2をオープンソース化」は、MarkTechPostに最初に掲載されました。

ソーシャルワールドモデル評価のギャップ

arXiv:2610.33014v1 発表タイプ：新規 要旨：交渉支援システムは、相手の反応を正確に予測しなくても良好な取引を成立させることができる。そこで、社会的世界モデルに対する評価がその予測を直接検証しているのかという疑問を提起する。1999年から2026年にかけて発表された113件の研究を調査したところ、9件の主要な評価では、システムまたは実験者が選択した行動に対する実際の人の反応が測定されていた。そのうち、明示的な反応予測と実際の反応を比較しているのはわずか2件であり、しかもそれらの予測手法は行動選択時に利用可能な情報を用いており、評価対象の反応は適合過程から除外されていた上、介入手法もランダム化されていた。さらに、言語モデルに関する25件の研究について全文を個別に確認した結果、これらの条件を満たす実験は見当たらなかった。他の評価は、現状推論やタスク成功、あるいは予測機能の評価を行っているにすぎない。

バースト性の高いワークロード下におけるサーバレス自動スケーリング戦略の比較評価のための統一されたキューイングベースフレームワーク

arXiv:2610.35564v1 発表タイプ：新規 要旨：サーバレスコンピューティングプラットフォームは、高度にバーストし予測不可能なワークロードに対応しつつ、サービス品質（QoS）を維持しなければなりません。QoS要件やサービスレベルアグリーメント（SLA）を満たしながらワークロードの変動に対処するため、これらのプラットフォームはリソースの自動スケーリングに依存しています。商用の関数即時実行（FaaS）プラットフォームでは、アクティブな関数インスタンスの数や利用可能な処理能力を動的に調整するために、さまざまな自動スケーリング戦略が採用されています。本研究では、代表的な3つの自動スケーリング戦略——リクエストごとのスケーリング（SPR）、同時実行度ベースのスケーリング（CLS）、メトリクスベースのスケーリング（MBS）——をモデル化し、比較しました。独自のプラットフォーム固有の実装に依存しない体系的な評価を可能にするため、我々は…

データカルチャーがゼロトラストから出荷可能なAI分析エージェントへと辿った道のり

Data Cultureは、AI分析の導入における精度を0％から94.7％に向上させた3段階の評価フレームワークを構築しました。

研究により、コーディングエージェントのベンチマークにおける「規範–オラクルギャップ」の問題が明らかになった

2026年10月24日にarXivに掲載された論文は、現在主流のコーディング・インテリジェンス・エージェント向けベンチマーク（たとえばSWE-Milestone）には「仕様–オラクルギャップ」が存在すると指摘している。すなわち、タスクの自然言語による記述には、テストに必要な重要な実装細部（例えば定数名、モジュールパス、正確なエラーメッセージなど）が含まれておらず、その結果、評価では上流のコードを再現する能力が測定されているにすぎず、真の理解力や推論能力が評価されていないという問題がある。

注目する理由：本研究は、この種のバイアスを初めて形式的に定義し、5言語をカバーする静的解析ツール（精度89.2％、再現率92.9％）を構築したうえで、SWE-Milestoneにおいて、25のマイルストーンタスクに推論不可能な暗黙的依存関係が存在することを実証的に明らかにしました。これにより、失敗率が大幅に上昇する（80.6％対48.4％）ことが示され、現在のランキングが「名前を真似る」タイプのエージェントを体系的に優遇している可能性が浮き彫りになりました。研究成果として、オープンソースの解析ツールと修正リソースが公開されており、方法論的価値と実践的価値の両面から貢献しています。

メンタルヘルスベンチのご紹介

MentalHealthBenchは、現実的な精神的な健康会話を横断して、有用で安全なAI応答を評価するための専門家の知名度の高いベンチマークです.

AIの次のフェーズの建築基準

OpenAIは、グローバルなAI基準の共有経路を概説し、評価、報告、ガバナンスの調整を行い、安全性の向上を図っています.