本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

FilingLoop:企業開示の審査・修正におけるLLMエージェントの評価と進化

arXiv:2610.37905v1 発表タイプ:新規 要旨:SEC EDGARなどの公開開示リポジトリは、企業の提出書類へのウェブアクセスを通じて、情報に基づいた投資を支援しています。これらの書類のレビューを言語モデルベースのエージェントでサポートするには、関連文書間で明示されていない不備の発見、不足している企業情報の取得、さらに要求された修正が証拠に基づく要件を満たしているかの検証が必要です。既存の財務に関する質問応答の評価では、こうした対話型の機能についての証拠は限られています。そこで私たちは、企業開示の審査・修正を対象とした対話型ベンチマークであり、自己進化型エージェントフレームワークである\textbf{FilingLoop}を提案します。米国証券取引委員会の歴史的な文書交換に基づき、FilingLoopは96社から抽出した主にIPO審査に関わる380のタスクを再構築しました。

経緯と関連報道

Async-RBench:LLMエージェントにおける非同期タスク実行のベンチマーク

arXiv:2610.32429v1 発表タイプ:新規 要旨:大規模言語モデル(LLM)エージェントは、サブエージェントが実行中にメインエージェントが作業を継続し、その結果が到着する前にタスク状態が変化することもあり、ますます非同期的にタスクを実行するようになっています。メインエージェントは、禁止された変更を避ける一方で、どの処理を更新または保持し、どのチェックを再実行すべきかを判断しなければなりません。タスクの最終的な成功だけでは、これらの結果が正しく処理されたかどうかを示すものではなく、自然な非同期的な到着パターンは再現が困難です。私たちは、LLMエージェントにおける非同期タスク実行のベンチマークであるAsync-RBenchを提案します。このベンチマークには、8つのシナリオを網羅する200の実行可能なタスクが含まれています。シナリオコントローラーは、事前に定義されたタスク状態条件に基づいて結果の配信を制御し、イベント応答契約(ERC)は各応答が何を意味するかを明示します

経緯と関連報道

LLMエージェントの一貫性を確保するための再帰的意味論的発散

arXiv:2610.33012v1 発表タイプ:新規 要旨:ツール利用を備えた大規模言語モデル(LLM)エージェントは、同一の状態から独立した実行を行った際、異なるツールを呼び出したり、矛盾する出力を生成したり、互いに異なる戦略を採用したりと、一貫性のない挙動を示します。この変動性は時間の経過とともに累積し、デプロイメントの信頼性を損ないます。既存の評価指標は主に完了ベースのスコアによってタスクの正しさを測定しており、実行間におけるエージェントの振る舞いの一致性を捉えられていません。一方で、エージェントの振る舞いは、確率分布を用いたトークンレベルでの分析や、意味クラスタリングによる単一応答レベルでの分析が行われていますが、いずれも軌跡上の将来のターンにわたって不一致がどのように伝播していくかを捉えることはできません。そこで私たちは、Recursive Semantic Divergence(RSD)という手法を提案します。これは未使用の…

経緯と関連報道

それぞれが独自の限界を持つ:多様な証拠状態にわたる言語モデルの校正

arXiv:2610.33237v1 発表タイプ:新規 要旨:言語モデルは、十分な証拠があるかどうかをどのように判断できるのでしょうか。多くの場合、言語モデルは与えられた証拠が不十分であっても回答してしまいます。回答するべきか、あるいはさらに証拠を集めるべきかを決めるには、利用可能な証拠のもとで回答が正しい確率を正確に推定することが必要です。しかし、これまでの校正研究の多くは入力を固定したまま扱い、証拠の変化に応じてこの推定値がどう変わるべきかについては議論していませんでした。そこで私たちは「証拠状態校正」を提案します。これは、回答前のモデルの信頼度が、その回答が正しい確率と一致し、証拠がその確率を変えるたびにそれに応じて調整されるように求められる手法です。さらに、私たちは\ours{}(Suffi**ci**ency **C**onfidence **E**stimation)を提案し、これを微調整することで

経緯と関連報道

ゲインを超えて:エージェントスキルの引退に向けたスキルの定着度測定

arXiv:2610.32322v1 発表タイプ:新規 要旨:LLMエージェントは、最大約10万件のエントリーを保持し、多数のモデルにサービスを提供する公開ハブからスキルを取得します。モデルが進化するにつれて、ハブは特定のモデルが既に内蔵しているスキルを見出し、そのモデルにとってそれらが不要になったことを示すためにそれらのスキルを廃止しなければなりません。しかし、内蔵の度合いはこれまで知られている信頼性で測定されていません。既存のルールでは、スキルを有する場合と無する場合の実行結果を比較し、その差分のみを基準としてスキルの廃止を判断しています。ところが、内蔵されたスキルの場合も、モデルもスキルもその能力を発揮しない状態(我々はこれを「未解明」と呼んでいます)でも、得られる効果はほぼゼロです。そこで、私たちはむしろそのスキルを保留し、それに基づいて合成されたタスクにおいてモデルを評価し、別のモデルがそのスキルによって得点を上げる場合にのみ、補助なしでの高得点を信頼することにしています。なぜなら、高得点のほぼ半数は、何らかのタスクに基づくものであり、

経緯と関連報道

溶媒:多段階逆合成における長期的視野による推論

arXiv:2610.32308v1 発表タイプ:新規 要旨:多段階の逆合成反応では、目的分子を連続する反応ステップを通じて購入可能な構成要素へと再帰的に変換する必要があります。近年の研究では、この課題に取り組むために大規模言語モデル(LLM)による推論が活用され始めています。その最新の進化において、LLMによる推論は長期的な視野の領域へと拡張されました。すなわち、モデルは相互依存的な各ステップにわたって目標を追求し、環境と相互作用しながらフィードバックに適応します。このような変化により、AI主導の数学研究における画期的な成果が示されるなど、LLMの能力は著しく向上しています。この最先端の領域において、我々はSolventを提案します。これは8B規模のLLMであり、長期的な視野での推論を多段階の逆合成反応へと効果的に拡張することに成功しました。二段階の事後訓練カリキュラムを通じて、Solventは反復的な処理を織り交ぜる能力を習得します

経緯と関連報道

DMAIC-Bench:多段階の分析タスクにおけるエージェントの自己反省から自己抑制へ

arXiv:2610.32305v1 発表タイプ:新規 要旨:多段階の分析タスクでは、LLMエージェントが次の行動を継続するか、転送するか、あるいは停止するかを判断するために、中間的な証拠を用いる必要があります。エージェントが自身の出力を批判する自己反省は広く研究されていますが、その批判だけでは、証拠が次の行動に影響を与えたかどうかを示すことはできません。私たちはこの能力を「自己抑制」と呼んでいます。既存のエージェントベンチマークの多くは、タスクの完了度や出力品質を測定するだけで、この点については未検証です。DMAIC-Benchは、リーン・シックスシグマの明示的な統計的要件に基づいて構築された、4つの産業分野における15の産業事例にわたる97の種付け済みタスクを用いて、この能力を評価します。対になる反事実的変種では、同じワークフロー上の同一位置で相反する行動を要求し、正当な抑制と無差別な停止を区別します。私たちは実行トレースを用いて評価を行います。

経緯と関連報道

InferSlice:通信事業者の広域ネットワーク上でのSLO主導型LLM推論向けリファレンスアーキテクチャ

arXiv:2610.32638v1 発表タイプ:新規 要旨:大規模言語モデル(LLM)の推論は、企業向けおよび対話型アプリケーションの基幹サービスとしてますます導入されていますが、主権・コンプライアンス・遅延・リソースの局所性といった要件により、集中型クラウド展開の適応性が制限されることがあります。通信事業者は、これらの制約に対処するため、地理的に分散した計算およびネットワークインフラを提供しています。しかし、既存のLLMサービスフレームワークは、緊密に結合されたデータセンター向けに設計されており、地理的に分散し多様なリソースの調整には十分なサポートを提供していません。そこで私たちは、通信事業者インフラ上でサービスレベル目標(SLO)主導型のLLM推論を実現するためのリファレンスアーキテクチャであるInferSliceを提案します。本アーキテクチャは、ネットワークスライシング、GPUパーティショニング、エラスティックなサービス提供、ならびに可観測性を統合しています。

InferSlice: A Reference Architecture for SLO-driven LLM Inference over a Telco Wide-Area Network
経緯と関連報道

NVIDIA Cosmosプラットフォームのアップグレード:世界モデルのトレーニング、評価、デプロイ用のツールチェーンが新たに追加されました

NVIDIAはCosmosプラットフォームを拡張し、Cosmos Data Factoryのテンプレート、Cosmos Frameworkによるトレーニング最適化ツール、およびCosmos 3 NIMマイクロサービスを新たに提供しました。これらはマルチモーダルデータの生成、GR00TやQWENなどのオープンソース世界モデルへの対応、ならびに低遅延推論をサポートします。ポルシェ、ANYbotics、Ultralytics、ADNOCなどは、すでに実際の活用を開始しています。

経緯と関連報道

FairStress:LLMの意思決定における対称的ロバスト性を評価するための新しい公平性評価フレームワーク

FairStressは、大規模言語モデル(LLM)が人口統計学的アイデンティティの置換シナリオにおいて示す意思決定の安定性、解釈の一貫性、および内部表現の対称性に焦点を当てた新たなベンチマークであり、モデルには「反ステレオタイプ的過剰補正」などの系統的な行動バイアスが存在することを明らかにするとともに、主流の評価手法(例:BBQ)がパラダイムの違いにより偏見の方向性を誤って判断するおそれがあることを指摘しています。

経緯と関連報道