本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

FilingLoop:企業開示の審査・修正におけるLLMエージェントの評価と進化

arXiv:2610.37905v1 発表タイプ:新規 要旨:SEC EDGARなどの公開開示リポジトリは、企業の提出書類へのウェブアクセスを通じて、情報に基づいた投資を支援しています。これらの書類のレビューを言語モデルベースのエージェントでサポートするには、関連文書間で明示されていない不備の発見、不足している企業情報の取得、さらに要求された修正が証拠に基づく要件を満たしているかの検証が必要です。既存の財務に関する質問応答の評価では、こうした対話型の機能についての証拠は限られています。そこで私たちは、企業開示の審査・修正を対象とした対話型ベンチマークであり、自己進化型エージェントフレームワークである\textbf{FilingLoop}を提案します。米国証券取引委員会の歴史的な文書交換に基づき、FilingLoopは96社から抽出した主にIPO審査に関わる380のタスクを再構築しました。

経緯と関連報道

アーティファクト蒸留:フロンティアモデルから小型言語モデルへの訓練不要な転移

arXiv:2610.37680v1 発表タイプ:新規 要旨:フロンティアモデルと小型言語モデルの性能差を埋める手法としては、通常は蒸留が用いられます。すなわち、フロンティアモデル(教師)の出力に対して小型モデル(生徒)を微調整することで転移を行いますが、この方法では転移に必要な計算コストが伴う上、転移された知識はほとんど不透明なままです。そこで私たちは「アーティファクト蒸留」を提案します。これは、教師モデルが学習課題を解き、その問題解決手順を外部にアーカイブしておき、生徒モデルが推論時にそのアーカイブを参照するという手法です。これにより、勾配による更新は一切不要となります。LiveBenchの4つのタスクにおいて、Claude Opus 4.5が作成したアーカイブを用いることで、Claude Haiku 4.5は空間的推論において、コストを60%に抑えながら、無補助のClaude Sonnet 4.5を0.707対0.647で上回り、テーブル結合タスクではコストを89%に抑えた上でSonnet 4.5と同等の性能を達成しました。さらに、同じ生データのアーカイブを用いることで

経緯と関連報道

シーケンシングプロトコル理解におけるAIエージェントの評価と改善

arXiv:2610.37851v1 発表タイプ:新規 要旨:既存の科学系エージェントベンチマークでは、カスタマイズされたシーケンシングアッセイの解析に不可欠な、シーケンシングプロトコルで指定された正確な分子構造および生成ワークフローを再構築できるかどうかを評価するケースはほとんどありません。そこで私たちは、シーケンシングライブラリの構造と分子ワークフローの再構築を目的とした文書ベースのベンチマークであるLibStructBenchを提案します。実験結果から、最先端のエージェントは概ね正しい再構築を行えるものの、特に分子状態の表現やワークフローの接続性において、正確な再構築には依然として信頼性が不足していることが明らかになりました。また、基盤となる言語モデルを切り替えた場合の方が、エージェントハーネスを変更した場合よりも平均的な性能差が大きく、統計的に有意な差が認められました。

経緯と関連報道

解説を読まずにスコアリングを行う:自動解釈可能性評価における構造的ショートカット

arXiv:2610.37676v1 公表タイプ:新規 要旨:自動解釈可能性は、スパースオートエンコーダー(SAE)の特徴について、評価例に対してその特徴がどの位置で活性化するかをトークンごとに予測させたり、マークされたトークンがその特徴に適合しているかどうかを判定させたりすることで、解説を評価します。我々は、評価データの標準的な処理パイプラインのみを用いても、解説を読まないままスコアリングが可能であることを示しました。Neuronpediaに保存されているGPT-2 smallモデルのランダムな500個の特徴に対するファジング実行において、活性化した例の91.3%が中心トークン上でピークを持つように切り取られており、さらに中心トークンがマークされていれば「はい」と判定するルールは、パイプラインのコードから再構築されたマークに基づいて計算した結果、保存済みのLLMスコアラーの0.838に対し、バランスのとれた精度0.979を達成しています。一方、マーク数のみを参照するルールでは0.969を記録しました。T

経緯と関連報道

Seq@K:逐次的フィードバック下での言語モデルの評価

arXiv:2610.37859v1 発表タイプ:新規 要旨:言語モデルエージェントは、文脈における自然言語から学習する能力において、従来の知能システムとは根本的に異なります。この能力により、エージェントはフィードバックに応じて自身の回答を反復的に改善することが可能となり、これは現代のエージェント型ワークフローにおいて広く見られる動作様式です。しかし、コミュニティでは主にPass@1やPass@Kといった指標でモデルを評価しており、それらの指標では、エージェントが過去の試行に対するフィードバックをどのように活用しているかを捉えることはできません。そこで私たちは、Seq@Kという自然な評価プロトコルを提案します。これは、各前の試行が失敗した後にフィードバックを受け取り、K回の逐次的な試行のうちに問題を解決できるかどうかを測定するものです。長期的な計画を検討する多段階のエージェントベンチマークとは異なり、Seq@Kは、フィードバックによる改善という核心的な能力を単独で抽出し、形式化しています。

経緯と関連報道

FinLLM-KG:アルゴリズム取引における金融センチメント分析のための知識グラフ強化型大規模言語モデル

arXiv:2610.36083v1 公告タイプ:新規 要旨:生成系AIの最近の進展により、事後学習済みの金融分野向け大規模言語モデル(LLMs)を用いた金融センチメント分析は大幅に向上しました。しかし、既存の手法は依然として各記事のセンチメントを個別に予測するにとどまり、ブラックボックス的な運用が続くため、文脈理解が制限され、リスクの高い金融意思決定への適用が妨げられています。これに対し、本研究ではFinLLM-KGを提案します。これは、因果関係に基づくLLMsと金融知識グラフを組み合わせたモデル非依存のフレームワークであり、モデルの重みを更新することなく、推論時にSEC 10-K提出書類から得られる時系列に根ざした企業レベルの知識を注入することが可能です。FinLLM-KGでは、コンテキストは自然言語による企業プロフィール、または少数の関連情報セットのいずれかで提供されます。

経緯と関連報道

CONCUR:多タスク・多報酬強化学習における一致型補助報酬

arXiv:2610.36437v1 発表タイプ:新規 要旨:大規模言語モデル(LLM)が複数のタスクに対して強化学習(RL)で学習する際、各タスクの主報酬は、長さ報酬などの補助報酬を制限することができる。すなわち、不適切な応答に対しては、補助報酬は主報酬を超えることができない。しかし、グループ相対優位推定器では、制限された補助報酬も他の要素と同様に扱われるため、主報酬の順序を逆転させたり、主報酬の上限においてのみ補助報酬が応答の順序を決定したりしてしまう。制限された補助報酬を維持すると一部のタスクに悪影響を及ぼし、一方でそれを排除すると別のタスクに悪影響を及ぼす。そこで我々は、各制限付き補助報酬の標準化スコアを、二つの条件を満たす最も近いスコアに置き換える優位推定器であるCONCURを提案する。具体的には、主報酬が高い応答には低いスコアを与えることはできず、また…

経緯と関連報道

トークン信頼度は単なるチェーン長にすぎないのか?推論トレースに対する信号処理的検証

arXiv:2610.36709v1 発表タイプ:新規 要旨:推論型言語モデルは、長い思考の連鎖を書き出すことで数学問題に解答し、問題ごとに多数の連鎖をサンプリングして多数決を取ることで、生成テキスト量が大幅に増えるというコストを伴いながら精度を向上させている。このコストを削減する一般的な手法として、モデルが各トークンを生成する際の信頼度に基づいて各連鎖をスコアリングする方法がある。ここでトークンとは、単語または単語の一部を指す。この手法では、2048トークンの移動平均を計算し、その平均値が最も低い連鎖を保持または停止する。私たちは、トークンごとに記録された信頼度を、音声やラジオにおける信号と同様の意味で捉え、スペクトル解析や急激な変化を検出する統計検定などの標準的な信号処理手法を用いてこの手法を評価した。私たちは、以下のデータセットから500問の各問題について16本の連鎖をサンプリングした。

経緯と関連報道

TMAを使用するべきタイミングと理由:NVIDIA Hopper GPUにおけるテンソルメモリアクセラレーションのワークロードに基づく特性評価

arXiv:2610.34907v1 発表タイプ:新規 要旨:NVIDIA Hopperで導入されたテンソルメモリアクセラレータ(TMA)は、実運用のGPUカーネルにおいて広く用いられているにもかかわらず、その使用状況は極めて選択的である。CUTLASS、FlashAttention-3、FlashInferなどの専門的なカーネル開発者たちは、カーネル内の一部のテンソルオペランドに対してTMAを適用する一方で、他のオペランドについてはcp.asyncや直接グローバルロード、あるいは分散共有メモリ(DSM)に回帰している。ベンダーのドキュメントではAPIが説明され、最近のマイクロベンチマークによる研究ではTMAのスループットが単独で評価されているが、実際の実務者が直面する問いにはいずれも答えられていない。すなわち、カーネル内で特定のメモリオペランドが存在する場合、それをTMAで処理すべきなのか、また、もしTMAを使うならクラスタマルチキャストを併用すべきか否かという問題である。本研究では、H100を対象としたワークロードに基づく特性評価を通じて、このギャップに取り組む。我々はTMAの利用状況を体系的に整理し、多

経緯と関連報道

蒸留、議論、発見:グラフから抽出されたインサイトに基づくマルチエージェント研究アイデア創出

arXiv:2610.33366v1 公表タイプ:新規 要旨:大規模言語モデル(LLMs)は、研究アイデアの生成や科学的発見を支援するためにますます活用されています。マルチエージェントによるディベートは、多様な視点を結集して研究アイデアを生み出す協調的な手法です。しかし、重要な課題は、各エージェントにそれぞれ独自で有意義な専門知識を持たせ、その貢献を適切に導く方法を見いだすことです。研究者が共同作業の過程で蓄積された研究成果を活用するように着想を得て、私たちはInsightAgentsというフレームワークを提案します。これは、関連論文のグラフからインサイトを蒸留することで、文献に基づいたエージェントの専門知識を構築するものです。研究の一貫性を追跡し、背後にある仮定を明らかにし、未解決の課題を特定するといったインサイトに導かれながら、ある研究分野において

経緯と関連報道

EKTルーター:身体化された視覚言語モデルにおける専門家と証拠の整合性

arXiv:2610.33044v1 発表タイプ:新規 要旨:身体を備えた視覚言語モデルは、部分的で変化する観測情報から質問に答える必要があります。その成功は、選択される推論能力と、それに利用可能な証拠の両方に依存します。専門家ルーターは内部計算を適応させ、ツール拡張型システムは外部証拠を獲得しますが、これらを独立に選択すると、適切な専門家が必要な証拠を持たない状況が生じる可能性があります。私たちは、能力専門家、オプションの知識、および知覚ツールを共同で選択する制限付きフレームワークであるEKT-Routerを提案します。結果に基づくシグネチャは、一般推論、空間推論、時空間推論の各専門家の重なり合う強みを表現します。共同ユーティリティは、呼び出し予算の下で完全な専門家–証拠経路のスコアリングを行います。取得後、パケット検証器が有効なものを承認します

新闻源配图 · arXiv cs.CV
経緯と関連報道

Async-RBench:LLMエージェントにおける非同期タスク実行のベンチマーク

arXiv:2610.32429v1 発表タイプ:新規 要旨:大規模言語モデル(LLM)エージェントは、サブエージェントが実行中にメインエージェントが作業を継続し、その結果が到着する前にタスク状態が変化することもあり、ますます非同期的にタスクを実行するようになっています。メインエージェントは、禁止された変更を避ける一方で、どの処理を更新または保持し、どのチェックを再実行すべきかを判断しなければなりません。タスクの最終的な成功だけでは、これらの結果が正しく処理されたかどうかを示すものではなく、自然な非同期的な到着パターンは再現が困難です。私たちは、LLMエージェントにおける非同期タスク実行のベンチマークであるAsync-RBenchを提案します。このベンチマークには、8つのシナリオを網羅する200の実行可能なタスクが含まれています。シナリオコントローラーは、事前に定義されたタスク状態条件に基づいて結果の配信を制御し、イベント応答契約(ERC)は各応答が何を意味するかを明示します

経緯と関連報道

薬剤監視における個別症例安全性報告書のマルチエージェント検索強化因果関係評価(MARCA)

arXiv:2610.33279v1 発表タイプ:新規 要旨:はじめに:増加する個別症例安全性報告書(ICSR)の膨大な量は、薬剤監視における専門家主導の因果関係評価に大きな課題をもたらしています。私たちは、Naranjo法に基づく評価を行うための四つのエージェントから構成されるフレームワークであるMARCA(マルチエージェント検索強化因果関係評価)を開発し、人間の専門家との一致度およびRAGラベル付きスコアと非RAGラベル付きスコアの探索的差異を評価しました。方法:MARCAでは、Gemini 2.5 ProおよびDeepSeek-V3.2を用いて、科学文献の検索、医薬品ラベルの評価、客観的証拠の分類、臨床的因果関係の推論を統合しました。各エージェントが生成した根拠は、人間による補助的なスコアリングに反映されました。FAERS(2025年第1四半期~第2四半期)から収集された215件のICSRおよび1,562件の薬剤-事象組み合わせ(DEC)を対象とした、合意に基づく専門家基準が設定されました。Ag

経緯と関連報道

LLMエージェントの一貫性を確保するための再帰的意味論的発散

arXiv:2610.33012v1 発表タイプ:新規 要旨:ツール利用を備えた大規模言語モデル(LLM)エージェントは、同一の状態から独立した実行を行った際、異なるツールを呼び出したり、矛盾する出力を生成したり、互いに異なる戦略を採用したりと、一貫性のない挙動を示します。この変動性は時間の経過とともに累積し、デプロイメントの信頼性を損ないます。既存の評価指標は主に完了ベースのスコアによってタスクの正しさを測定しており、実行間におけるエージェントの振る舞いの一致性を捉えられていません。一方で、エージェントの振る舞いは、確率分布を用いたトークンレベルでの分析や、意味クラスタリングによる単一応答レベルでの分析が行われていますが、いずれも軌跡上の将来のターンにわたって不一致がどのように伝播していくかを捉えることはできません。そこで私たちは、Recursive Semantic Divergence(RSD)という手法を提案します。これは未使用の…

経緯と関連報道

それぞれが独自の限界を持つ:多様な証拠状態にわたる言語モデルの校正

arXiv:2610.33237v1 発表タイプ:新規 要旨:言語モデルは、十分な証拠があるかどうかをどのように判断できるのでしょうか。多くの場合、言語モデルは与えられた証拠が不十分であっても回答してしまいます。回答するべきか、あるいはさらに証拠を集めるべきかを決めるには、利用可能な証拠のもとで回答が正しい確率を正確に推定することが必要です。しかし、これまでの校正研究の多くは入力を固定したまま扱い、証拠の変化に応じてこの推定値がどう変わるべきかについては議論していませんでした。そこで私たちは「証拠状態校正」を提案します。これは、回答前のモデルの信頼度が、その回答が正しい確率と一致し、証拠がその確率を変えるたびにそれに応じて調整されるように求められる手法です。さらに、私たちは\ours{}(Suffi**ci**ency **C**onfidence **E**stimation)を提案し、これを微調整することで

経緯と関連報道

医療質問応答における摂動ベースのデータ選択

arXiv:2610.33440v1 公告タイプ:新規 要旨:既存の質問応答データベースから医療用言語モデルを適応させる際、コンパクトな学習サブセットを選択することは重要なステップである。本研究では、最終層表現に対するガウス分布による摂動から導かれる二つの指標—予測変化頻度と非フリッピングマージン収縮—を用いた摂動ベースのデータ選択手法を検討する。共通のエントロピーによる事前フィルタリングを経た後、表現感度優先順位付け(RSP)は自動的な平方平均スケーリングによりこれらの指標を組み合わせる一方、RSP-Dropは収縮のみに基づいて候補をランク付けする。両手法とも、選択時には質問と回答選択肢のみを用いる。我々は、MedGemma-4Bを用い、保持セットのサンプル数が64、128、256の各条件下で、5つの医療質問応答データセットに対して評価を行った。主なサンプル数128の条件下では、

経緯と関連報道

ゲインを超えて:エージェントスキルの引退に向けたスキルの定着度測定

arXiv:2610.32322v1 発表タイプ:新規 要旨:LLMエージェントは、最大約10万件のエントリーを保持し、多数のモデルにサービスを提供する公開ハブからスキルを取得します。モデルが進化するにつれて、ハブは特定のモデルが既に内蔵しているスキルを見出し、そのモデルにとってそれらが不要になったことを示すためにそれらのスキルを廃止しなければなりません。しかし、内蔵の度合いはこれまで知られている信頼性で測定されていません。既存のルールでは、スキルを有する場合と無する場合の実行結果を比較し、その差分のみを基準としてスキルの廃止を判断しています。ところが、内蔵されたスキルの場合も、モデルもスキルもその能力を発揮しない状態(我々はこれを「未解明」と呼んでいます)でも、得られる効果はほぼゼロです。そこで、私たちはむしろそのスキルを保留し、それに基づいて合成されたタスクにおいてモデルを評価し、別のモデルがそのスキルによって得点を上げる場合にのみ、補助なしでの高得点を信頼することにしています。なぜなら、高得点のほぼ半数は、何らかのタスクに基づくものであり、

経緯と関連報道

溶媒:多段階逆合成における長期的視野による推論

arXiv:2610.32308v1 発表タイプ:新規 要旨:多段階の逆合成反応では、目的分子を連続する反応ステップを通じて購入可能な構成要素へと再帰的に変換する必要があります。近年の研究では、この課題に取り組むために大規模言語モデル(LLM)による推論が活用され始めています。その最新の進化において、LLMによる推論は長期的な視野の領域へと拡張されました。すなわち、モデルは相互依存的な各ステップにわたって目標を追求し、環境と相互作用しながらフィードバックに適応します。このような変化により、AI主導の数学研究における画期的な成果が示されるなど、LLMの能力は著しく向上しています。この最先端の領域において、我々はSolventを提案します。これは8B規模のLLMであり、長期的な視野での推論を多段階の逆合成反応へと効果的に拡張することに成功しました。二段階の事後訓練カリキュラムを通じて、Solventは反復的な処理を織り交ぜる能力を習得します

経緯と関連報道

DMAIC-Bench:多段階の分析タスクにおけるエージェントの自己反省から自己抑制へ

arXiv:2610.32305v1 発表タイプ:新規 要旨:多段階の分析タスクでは、LLMエージェントが次の行動を継続するか、転送するか、あるいは停止するかを判断するために、中間的な証拠を用いる必要があります。エージェントが自身の出力を批判する自己反省は広く研究されていますが、その批判だけでは、証拠が次の行動に影響を与えたかどうかを示すことはできません。私たちはこの能力を「自己抑制」と呼んでいます。既存のエージェントベンチマークの多くは、タスクの完了度や出力品質を測定するだけで、この点については未検証です。DMAIC-Benchは、リーン・シックスシグマの明示的な統計的要件に基づいて構築された、4つの産業分野における15の産業事例にわたる97の種付け済みタスクを用いて、この能力を評価します。対になる反事実的変種では、同じワークフロー上の同一位置で相反する行動を要求し、正当な抑制と無差別な停止を区別します。私たちは実行トレースを用いて評価を行います。

経緯と関連報道

行動のペナルティをいつ停止すべきか?VLA強化学習におけるマルチンゲールGRPO

arXiv:2610.32431v1 発表タイプ:新規 要旨:視覚・言語・行動(VLA)のロールアウトが失敗したとしても、すべての行動が失敗に寄与したわけではない。しかし、グループ相対方策最適化(GRPO)では、ロールアウト中の全行動に対して単一の軌道レベルの優位性が割り当てられるため、本来有用な復旧試行すら、それらが修正しようとする誤りとともにペナルティを受ける可能性がある。失敗フィードバックにおける理想的な停止条件は、成功確率および方策スコアのマルチンゲールを用いて特徴付けられる。これらの停止点において、除去された勾配寄与は、保持された情報条件下で条件付き期待値がゼロとなる。したがって、切り捨てによって参照となるGRPOのグループ勾配推定器の期待値は維持され、その共分散を低減できる。このような停止の一つは、成功の条件付き確率が

経緯と関連報道