本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

LLMは自身の予測内容を理解できるのか?金融市場における潜在的因果構造推論の評価

arXiv:2611.23533v1 発表タイプ:新規 要旨:大規模言語モデル(LLM)は、将来の結果を予測する能力によって評価されることが増えており、その背後にあるシステムの理解を反映していると暗黙的に仮定されています。しかし、観測可能な結果を生み出す潜在的なメカニズムを復元しなくても、正確な予測が実現できる場合もしばしばあります。この仮定を検証するため、私たちはLUCIDというベンチマークを導入しました。これは、イベントの説明や過去の金融データからモデルが潜在的な市場構造を推論できるかどうかを評価するものです。モデルは、推論された市場構造を表すイベント誘発因果グラフを生成し、再構築ベースのフレームワークによって評価されます。公開重みを持つ6つのLLMおよびプロプライエタリなLLMを対象とした我々の評価では、生成されたグラフを追加すると、過去の観測データのみを使用した場合に比べて一般的に再構築品質が低下する一方で、一部の指標では改善が見られました。これらの知見は、観測可能な証拠から情報量の多いイベント固有の市場構造を推論することは、評価対象のLLMにとって依然として困難であることを示唆しています。

NYUADによるArGuard共有タスク:アラビア語のヘイトミームおよび安全でないプロンプトを検出するためのマルチモーダル埋め込みモデル

arXiv:2611.18608v1 発表タイプ:新規 要旨:ソーシャルメディアと生成AIの急激な普及により、オンラインプラットフォーム上で共有されるアラビア語のテキストコンテンツ、ミーム、ユーザーによるプロンプトの量が大幅に増加しています。これらのメディアはコミュニケーションや創造性、情報交換を促進する一方で、ヘイトスピーチや有害なコンテンツ、安全でない指示を拡散するために悪用されることもあります。そのため、憎悪的なアラビア語ミームや有害(安全でない)プロンプトを特定するための信頼性の高い自動手法へのニーズが高まっています。本論文では、事前学習および微調整された多言語埋め込みモデルを活用し、テキストおよび視覚的コンテンツから豊かな意味表現を学習します。評価は、ArabicNLP ArGuard 2026チャレンジで提案されたアラビア語ミームおよびプロンプトのデータセットを用いて実施されます。結果は、大規模言語モデル(LLM)ベースの埋め込みモデルが高い性能を発揮できることを示しています。堅牢な検出システムの開発は、コンテンツモデレーションの向上を図り、アラビア語話者のユーザーにとってより安全で信頼できるオンライン環境を育むために不可欠です。

AtariBench:Atariゲームプレイにおけるビジョン・言語モデルの時空間推論の評価

arXiv:2611.08755v1 発表タイプ:新規 要旨:ビジョン・ランゲージモデル(VLM)は、静的な視覚理解ベンチマークにおいて優れた性能を示していますが、動的な環境での行動能力についてはまだ十分に解明されていません。本稿では、Atari 2600のゲーム20種類に対してVLMを評価する制御されたベンチマークであるAtariBenchを提案します。このベンチマークでは、時間分解能の高いゲームプレイストリームから逐次的な意思決定を行うことが求められます。ゲーム内の迅速なダイナミクスと経過時間に基づく推論速度を分離することで、AtariBenchはモデルが視覚的情報の急速な変化を捉え、時空間的ダイナミクスを推論し、現在の観測に基づいて行動を決定できるかに焦点を当てています。実験の結果、最先端のVLMには大きな限界があることが明らかになりました。具体的には、物体の動きや方向を推論できない場合が多く、逐次的な意思決定が脆弱であり、新たに付加された視覚フィードバックにもかかわらず、テキストによる相互作用履歴に過度に依存していることが示されました。さらに、モデルの能力を示す信頼性の高い指標となるゲーム内スコアを特定するための分離可能性分析を導入し、メモリ設計やプロンプト戦略が性能に与える影響を調査しました。全体として、AtariBenchは受動的な視覚認識と能動的な意思決定の間にある持続的なギャップを浮き彫りにし、動的な環境で推論し行動できるVLMの開発のための軽量かつ厳密なテストベッドを提供します。

ISER-MoE:エキスパート並列処理における負荷分散のためのホットエキスパートのスイッチ内動的複製

arXiv:2611.09008v1 発表タイプ:新規 要旨:エキスパート並列型混合专家(MoE)層は、最も負荷の高いGPUの速度で動作し、一部のホットなエキスパートが過剰な負荷の大部分を担っています。各MoE層でそれらを複製しても、重みが層内に到着する場合にのみ負荷が均衡し、所有者からのブロードキャストがボトルネックとなります。ポイントツーポイントコピーはそれを過負荷にし、ベースラインのブロードキャストではレイテンシや帯域幅のオーバーヘッドが発生します。そこで我々は、TensorRT-LLMに組み込まれたISER-MoE(In-Switch Expert Replication for MoE)を提案します。これはNVLinkスイッチを通じてホットなエキスパートを固定されたGPUグループへマルチキャストすることで、各バイトが所有者から一度だけ送出されるようにします。GPUスケジューラーは層ごとにホットなエキスパートをグループに割り当て、マルチポートブロードキャストにより注入をグループのポート間に分散させ、これらは共有エキスパートと重ね合わせて行われます。トレースリプレイにおいて、スケジューラーは過剰な負荷の98〜99%を削減しました。DeepSeek-V4-Proのプレフィルサービングにおいては、数学ベンチマークでスループットが17.4%向上し、エージェント系プロンプトでは7.2%向上しました。

シーケンシングプロトコル理解におけるAIエージェントの評価と改善

arXiv:2610.37851v1 発表タイプ:新規 要旨:既存の科学系エージェントベンチマークでは、カスタマイズされたシーケンシングアッセイの解析に不可欠な、シーケンシングプロトコルで指定された正確な分子構造および生成ワークフローを再構築できるかどうかを評価するケースはほとんどありません。そこで私たちは、シーケンシングライブラリの構造と分子ワークフローの再構築を目的とした文書ベースのベンチマークであるLibStructBenchを提案します。実験結果から、最先端のエージェントは概ね正しい再構築を行えるものの、特に分子状態の表現やワークフローの接続性において、正確な再構築には依然として信頼性が不足していることが明らかになりました。また、基盤となる言語モデルを切り替えた場合の方が、エージェントハーネスを変更した場合よりも平均的な性能差が大きく、統計的に有意な差が認められました。

経緯と関連報道

Seq@K:逐次的フィードバック下での言語モデルの評価

arXiv:2610.37859v1 発表タイプ:新規 要旨:言語モデルエージェントは、文脈における自然言語から学習する能力において、従来の知能システムとは根本的に異なります。この能力により、エージェントはフィードバックに応じて自身の回答を反復的に改善することが可能となり、これは現代のエージェント型ワークフローにおいて広く見られる動作様式です。しかし、コミュニティでは主にPass@1やPass@Kといった指標でモデルを評価しており、それらの指標では、エージェントが過去の試行に対するフィードバックをどのように活用しているかを捉えることはできません。そこで私たちは、Seq@Kという自然な評価プロトコルを提案します。これは、各前の試行が失敗した後にフィードバックを受け取り、K回の逐次的な試行のうちに問題を解決できるかどうかを測定するものです。長期的な計画を検討する多段階のエージェントベンチマークとは異なり、Seq@Kは、フィードバックによる改善という核心的な能力を単独で抽出し、形式化しています。

経緯と関連報道

KORA:AIワークロード向けの決定論優先実行制御

arXiv:2610.35869v1 発表タイプ:新規 要旨:AIアプリケーションは、推論が必要かどうかを判断する前にしばしばモデルを呼び出します。このデフォルト設定は曖昧な生成タスクには有用ですが、構造化され、決定論的で、方針に基づき、照会中心、あるいは直接検証可能な作業には適していません。KORAは、決定論優先の実行制御を導入します。これは、リクエストをタスクパスとして表現し、まず決定論的または構造化された経路を試行し、その結果を検証し、テレメトリを記録した上で、決定論的な処理だけでは不十分な場合にのみモデル候補への経路へとエスカレートする、事前推論用の制御層です。本論文では、KORAを決定論優先の実行制御アーキテクチャとして提示し、再現可能なベンチマークおよび検証ワークロードによる限定的な実証結果を報告します。再

経緯と関連報道

バースト性の高いワークロード下におけるサーバレス自動スケーリング戦略の比較評価のための統一されたキューイングベースフレームワーク

arXiv:2610.35564v1 発表タイプ:新規 要旨:サーバレスコンピューティングプラットフォームは、高度にバーストし予測不可能なワークロードに対応しつつ、サービス品質(QoS)を維持しなければなりません。QoS要件やサービスレベルアグリーメント(SLA)を満たしながらワークロードの変動に対処するため、これらのプラットフォームはリソースの自動スケーリングに依存しています。商用の関数即時実行(FaaS)プラットフォームでは、アクティブな関数インスタンスの数や利用可能な処理能力を動的に調整するために、さまざまな自動スケーリング戦略が採用されています。本研究では、代表的な3つの自動スケーリング戦略——リクエストごとのスケーリング(SPR)、同時実行度ベースのスケーリング(CLS)、メトリクスベースのスケーリング(MBS)——をモデル化し、比較しました。独自のプラットフォーム固有の実装に依存しない体系的な評価を可能にするため、我々は…

経緯と関連報道