本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

シーケンシングプロトコル理解におけるAIエージェントの評価と改善

arXiv:2610.37851v1 発表タイプ:新規 要旨:既存の科学系エージェントベンチマークでは、カスタマイズされたシーケンシングアッセイの解析に不可欠な、シーケンシングプロトコルで指定された正確な分子構造および生成ワークフローを再構築できるかどうかを評価するケースはほとんどありません。そこで私たちは、シーケンシングライブラリの構造と分子ワークフローの再構築を目的とした文書ベースのベンチマークであるLibStructBenchを提案します。実験結果から、最先端のエージェントは概ね正しい再構築を行えるものの、特に分子状態の表現やワークフローの接続性において、正確な再構築には依然として信頼性が不足していることが明らかになりました。また、基盤となる言語モデルを切り替えた場合の方が、エージェントハーネスを変更した場合よりも平均的な性能差が大きく、統計的に有意な差が認められました。

経緯と関連報道

今やGeminiのチャット内で、Googleドキュメントファイルを直接生成・編集できます

現在、PDF、Googleドキュメント、Googleスプレッドシート、スライドデッキ、Markdownファイル、TXTファイル、さらにはコードまで、Gemini内で直接生成・プレビュー・編集できるようになりました。新しいファイル編集機能は本日よりすべてのGeminiユーザーが利用可能で、PDFのプレビューおよび編集はウェブとモバイルの両方で対応していますが、その他のファイル形式は現時点ではウェブ版でのみ利用可能です。

STK255_Google_Gemini_B_474198
経緯と関連報道

KORA:AIワークロード向けの決定論優先実行制御

arXiv:2610.35869v1 発表タイプ:新規 要旨:AIアプリケーションは、推論が必要かどうかを判断する前にしばしばモデルを呼び出します。このデフォルト設定は曖昧な生成タスクには有用ですが、構造化され、決定論的で、方針に基づき、照会中心、あるいは直接検証可能な作業には適していません。KORAは、決定論優先の実行制御を導入します。これは、リクエストをタスクパスとして表現し、まず決定論的または構造化された経路を試行し、その結果を検証し、テレメトリを記録した上で、決定論的な処理だけでは不十分な場合にのみモデル候補への経路へとエスカレートする、事前推論用の制御層です。本論文では、KORAを決定論優先の実行制御アーキテクチャとして提示し、再現可能なベンチマークおよび検証ワークロードによる限定的な実証結果を報告します。再

経緯と関連報道

百度が、数百ページに及ぶ文書の解析向けのUnlimited OCR 2をオープンソース化

Baiduは、MITライセンスの3B規模のOCRモデルであるUnlimited OCR 2をリリースし、1回のリクエストで数百ページに及ぶ文書を解析できます。同モデルのSR-SWAアテンションにより、各ステップのデコーディングコストはほぼ一定に保たれ、MarathonDocBenchでは77.1点を獲得しています。この記事「Baidu、数百ページの文書解析向けUnlimited OCR 2をオープンソース化」は、MarkTechPostに最初に掲載されました。

新闻源配图 · MarkTechPost
経緯と関連報道

SLICE-Mem:効率的なLLMエージェントメモリのための、顕著性ゲート付き軽量情報キュレーション

arXiv:2610.33015v1 発表タイプ:新規 要旨:長期記憶は、大規模言語モデル(LLM)エージェントが個別化されかつ時間的に一貫した対話を維持することを可能にするが、記憶の取り込み・抽出・整理のためにLLMによる推論を繰り返すと、大きなコストと遅延が生じる。本研究では、顕著性に基づく取り込みと述語中心の情報抽出を組み合わせた軽量な記憶フレームワークSLICE-Memを提案する。コンパクトな分類器が保持すべきユーザの発話ターンを識別し、意味依存関係に基づく抽出器が取り込まれたターンを簡潔な記憶エントリに変換する。このオンライン処理パイプラインは生成型LLMへの呼び出しを一切必要とせず、エントリ間の照合はオフラインの統合段階に委ねられる。我々はMemoraおよびLongMemEval-Sの週次サブセットに対して、8B aを用いてSLICE-Memを評価する。

経緯と関連報道

統合地上・非地上6Gネットワークにおける意図駆動型サービスオーケストレーションのための知識主導型LLM

arXiv:2610.33007v1 発表タイプ:新規 要旨:統合された地上系および非地上系(TN/NTN)6Gネットワークにおける自然言語によるサービスインテントは、不完全であったり曖昧だったり、一貫性を欠いていたりするため、信頼性の高いネットワーク向けオーケストレーションを実現するには、制約のないLLMによる生成が困難です。本論文では、文法に基づく制約付き意味解析と知識グラフ(KG)駆動型の明確化ループを組み合わせた、知識主導型LLMフレームワークを提案し、代表的な4つのサービスクラスにわたって検証済みでオーケストレーションに適したサービスプロファイルを生成します。200サンプルからなるインテントデータセットにおいて、このフレームワークは89%の分類精度と95%のポリシー妥当性を達成し、リクエストあたり平均0.66回の明確化ターンを実現しました。純粋なLLMベースラインと比較すると、提案するフレームワークはポリシーの妥当性を向上させ、共…

経緯と関連報道

DMAIC-Bench:多段階の分析タスクにおけるエージェントの自己反省から自己抑制へ

arXiv:2610.32305v1 発表タイプ:新規 要旨:多段階の分析タスクでは、LLMエージェントが次の行動を継続するか、転送するか、あるいは停止するかを判断するために、中間的な証拠を用いる必要があります。エージェントが自身の出力を批判する自己反省は広く研究されていますが、その批判だけでは、証拠が次の行動に影響を与えたかどうかを示すことはできません。私たちはこの能力を「自己抑制」と呼んでいます。既存のエージェントベンチマークの多くは、タスクの完了度や出力品質を測定するだけで、この点については未検証です。DMAIC-Benchは、リーン・シックスシグマの明示的な統計的要件に基づいて構築された、4つの産業分野における15の産業事例にわたる97の種付け済みタスクを用いて、この能力を評価します。対になる反事実的変種では、同じワークフロー上の同一位置で相反する行動を要求し、正当な抑制と無差別な停止を区別します。私たちは実行トレースを用いて評価を行います。

経緯と関連報道

改ざんされた機械学習:大規模言語モデルによる機械学習研究の評価

arXiv:2610.32114v1 公表タイプ:新規 要旨:AIアライメントの進展を加速する一つの手法は、アライメント研究そのものの一部を自動化することである。そのためには、研究提案における欠陥の特定や、提案された実験が意図した主張を支持するかどうかの評価といった、監督が困難な研究課題に対しても信頼性高く機能するシステムが必要となる。この能力を評価するため、我々はTampered MLを導入する。これは、公開されている機械学習論文から再構成された実験提案と、目的とした方法論的欠陥を導入した最小限に編集された対照案からなる、1,858組の項目ペアからなるベンチマークである。モデルは、提示順序に関わらず、より方法論的に妥当な提案を識別しなければならない。層化抽出サンプルに基づく人間による検証研究では、全体の86%が…

経緯と関連報道

オフライン・多言語対応のLLM支援のためのISO 11783ネットワーク上の機械可読型操作マニュアル

arXiv:2610.31863v1 公告タイプ:新規 要旨:農業機械がインテリジェントなオフライン支援を実現するには、システムが技術文書に動的にアクセスできる必要があります。本論文では、ISO 11783ベースのCANバス上での操作マニュアルのセマンティック同期について分析を行いました。これは、トラクター側のアシスタントのローカル知識ベースと、接続された作業機の操作マニュアルとの間で整合性を図るプロセスとして定義されます。データ転送性能はMarkdown、JSON、XMLを用いてベンチマークされ、また、複数のオープンウェイトの大規模言語モデル(LLM)を用いた多言語クエリタスクについても評価を行いました。回答の自動評価は、4名の人間評価者による検証によって裏付けられました。完全なマニュアルは、物理的なISO 11783ネットワーク上で、状況に応じて31秒から89秒の間に転送されました。

経緯と関連報道

ミュオンの前処理はいつ、どのように行われるのか?構造化された勾配ノイズの役割

arXiv:2610.31728v1 発表タイプ:新規 要旨:ミュオンは大規模言語モデルの学習において人気の最適化手法となっているが、その理論的基盤は依然として十分に解明されていない。本研究では、勾配ノイズの幾何学的特性がミュオンの前処理による利点をどのように形成するかを検討する。まず、古典的な等方性ノイズ仮定のもとでは、ミュオンは学習率の再スケーリング以上の加速効果をもたらさないことを理論的および実験的に示す。これを受けて、私たちは異種タスクの発生頻度を持つ連想記憶におけるミニバッチサンプリングから生じる構造化されたノイズについて調査を開始した。二つのタスクに対する正確なバランス閾値を導出し、さらに複数タスクへの拡張を通じて、タスクカバレッジと勾配の信頼性がいかに協働して学習を形作るかを明らかにする。我々の分析によれば、ミュオンは…を緩和できることが示される。

When and How Does Muon Precondition? The Role of Structured Gradient Noise
経緯と関連報道

LLM評価において、全体のF1スコアのみで自動採点システムを検証することは誤解を招くリスクがある:新たな研究は、具体的なプロンプト間の差異を考慮した検証の必要性を強調している

arXiv論文(2610.31678v1)は、対話型の大規模言語モデルの評価において、自動スコアラーの全体的な正答率やF1スコアだけに依存すると、プロンプト固有の誤りが隠れてしまい、プロンプト効果の誤った判断につながると指摘している。実証結果では、同一のスコアラーでも異なるプロンプト条件下で偽陽性率に大きな差(2.6%~33.3%)が生じ、表面的には有意と見られる9.3ポイントの効果も、二重のLLMによるレビュー下では2.3ポイントに縮小し、統計的に有意ではなくなった。

Validating the Comparison, Not Just the Scorer: Why Overall Accuracy Can Mislead in Interactive LLM Evaluation

注目する理由:本研究は、実際の実験データ(6つのモデル、180個の架空のエンティティに関する質問、6種類のプロンプト条件)に基づき、現在のLLM評価において広く見られる方法論上の欠陥——すなわち、スコアラーの全体的な性能を重要な比較タスクにおける信頼性と同一視する——を明らかにしています。その核心的な主張(各プロンプトを個別に検証し、不確実性を考慮に入れる必要がある)は、明確な実証的根拠と実践的な提言に裏打ちされており、発表日(2026年10月26日)も新鮮で、出典も信頼できるarXivプレプリントプラットフォームです。

経緯と関連報道

エッジによるLLMトレーニングの民主化:課題・システム・今後の展望

arXiv:2610.32215v1 発表タイプ:新規 要旨:現代のGPUデータセンターにおける計算能力の向上により、一部の産業大手企業が膨大なデータを用いて大規模言語モデル(LLM)を訓練し、展開できるようになりました。しかし、これらのモデルとその学習データの圧倒的な規模は、集中型の開発をますます維持困難にすると同時に、関連するプライベートデータを保有しながら同等のインフラを持たない小規模機関を排除しています。本論文では、分散型LLMトレーニングに関する我々の立場を、事前学習および微調整のパラダイムを中心に整理し、フェデレーテッド学習、スプリット学習、そして分散型アプローチを取り上げ、それらが地理的に分散した環境下で、多様なハードウェアや信頼性の低い接続状況においてどの程度実用可能かを評価します。さらに、我々は「統一された」システムを提案します。

Democratizing LLM Training with the Edge: Challenges, Systems, and the Road Ahead
経緯と関連報道

研究では、「図式整合性尺度」(SCI)を提案し、言語モデルの信念の組織性を評価した。

2026年10月26日、arXivは論文arXiv:2610.31683v1を公開し、Schema Coherence Inventory(SCI)——すなわち96項目からなる強制選択型尺度——を提案した。これは、ペルソナ条件付き言語モデルに付与された信念が、単に感情的反応を引き起こすだけでなく、実際にその認知を組織化しているかどうかを検証するためのものである。

The Schema Coherence Inventory: Measuring Whether an Assigned Belief Organizes a Language Model's Cognition

注目する理由:本研究は、言語モデルの「信念内化の程度」について、現状では検証可能な測定手法が欠如しているという空白を埋めました。臨床専門家による検証、複数のモデルベースのテスト、および目的特異的な評価基準の設計を通じて、感情的表象ではなく認知構造に焦点を当てた初の評価フレームワークを提供し、すべてのツールをオープンソースとして公開しています。

経緯と関連報道

CiteAnchor:幻影引用の検出と解決のためのソース意識型グラウンディング

arXiv:2610.30355v1 発表タイプ:新規 要旨:幻影引用は、科学的主張の背後にある証拠を追跡し、その信憑性を検証することを困難にします。これらの引用を検出するのは、書誌情報が不完全であったり、ソースの種類や出版物のバージョンによって異なるため、非常に難しいです。妥当な一致だけでは、その引用が正当化されるわけでも、その背後にあるソースが特定できるわけでもありません。私たちは、ソースの復元可能性について注釈付きで構築された、実世界の幻影引用423件からなるベンチマークであるCiteResolveを提案します。さらに、ソースごとに検索とフィールドレベルの検証を適応させ、引用の妥当性および固有のソースが復元可能かどうかを個別に判定する、ソース意識型グラウンディングフレームワークであるCiteAnchorを提案します。既存の検出ベンチマークにおいて、CiteAnchorはGPT-5.6を用いてF1スコア0.841を達成しました。

CiteAnchor: Source-Aware Grounding for Hallucinated Citation Detection and Resolution
経緯と関連報道

一貫性は有効性と等しくない:自己報酬による道徳的議論は、大規模言語モデルをより果断にしつつも、より操作されやすくなる

本研究は2026年10月24日、arXivにて公開され(ID 2610.30349v1)、大規模言語モデルの道徳的判断能力を訓練するための手法として、自己評価による議論の質の判定を提案している。その結果、選択肢の順序が変化してもモデルの行動はより一貫性を示す(すなわちより「果断」である)ものの、道徳的判断の有効性は向上せず、なおも迎合傾向(sycophancy)やフレーミングの偏り(reframing)といった問題が残ることが明らかになった。

Consistency Is Not Validity: Self-Rewarded Moral Argumentation Makes Language Models Decisive but Pliable

注目する理由:本論文は、行動の一貫性(たとえば順序不変性)を道徳的推論能力の代理指標とするという現在の一般的な仮定に異議を唱え、一貫性を最適化しても実質的な判断の質は向上しないことを実証的に示しており、AI倫理評価の方法論に対して警鐘を鳴らすものである。

経緯と関連報道