本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

露呈は約束ではない:ツール使用エージェントに対する潜在的モニターの二重層評価

arXiv:2610.37679v1 公表タイプ:新規 要旨:ツールを使用する言語エージェントは間接的なプロンプトインジェクションに対して脆弱であり、不安全な行動が実行される前にそれを検出するためにモデル内部を調査する研究が増加しているが、その結果には著しく矛盾した点が見られる。我々は、こうした矛盾の多くは評価手法に起因すると主張し、評価および学習集団の両方において、インジェクションによる露呈と行動上の約束を分離する二重層化プロトコルを提案する。主要なQwen AgentDojoのグリッド上で、無意識的に不安全なケースとその他を混在させた対照条件下で訓練されたモニターは、ほとんどが露呈を学習しており、エージェントがそれに従うかどうかに関わらず露呈した軌跡を警告し、どのケースが不安全になるかをほとんど予測しない。一方、露呈したケースのみを対象に再訓練した場合、同じ種類のプローブはモデル自身が行う不安全なツール呼び出しを最大2秒前まで予測できる。

経緯と関連報道

解説を読まずにスコアリングを行う:自動解釈可能性評価における構造的ショートカット

arXiv:2610.37676v1 公表タイプ:新規 要旨:自動解釈可能性は、スパースオートエンコーダー(SAE)の特徴について、評価例に対してその特徴がどの位置で活性化するかをトークンごとに予測させたり、マークされたトークンがその特徴に適合しているかどうかを判定させたりすることで、解説を評価します。我々は、評価データの標準的な処理パイプラインのみを用いても、解説を読まないままスコアリングが可能であることを示しました。Neuronpediaに保存されているGPT-2 smallモデルのランダムな500個の特徴に対するファジング実行において、活性化した例の91.3%が中心トークン上でピークを持つように切り取られており、さらに中心トークンがマークされていれば「はい」と判定するルールは、パイプラインのコードから再構築されたマークに基づいて計算した結果、保存済みのLLMスコアラーの0.838に対し、バランスのとれた精度0.979を達成しています。一方、マーク数のみを参照するルールでは0.969を記録しました。T

経緯と関連報道

KORA:AIワークロード向けの決定論優先実行制御

arXiv:2610.35869v1 発表タイプ:新規 要旨:AIアプリケーションは、推論が必要かどうかを判断する前にしばしばモデルを呼び出します。このデフォルト設定は曖昧な生成タスクには有用ですが、構造化され、決定論的で、方針に基づき、照会中心、あるいは直接検証可能な作業には適していません。KORAは、決定論優先の実行制御を導入します。これは、リクエストをタスクパスとして表現し、まず決定論的または構造化された経路を試行し、その結果を検証し、テレメトリを記録した上で、決定論的な処理だけでは不十分な場合にのみモデル候補への経路へとエスカレートする、事前推論用の制御層です。本論文では、KORAを決定論優先の実行制御アーキテクチャとして提示し、再現可能なベンチマークおよび検証ワークロードによる限定的な実証結果を報告します。再

経緯と関連報道

Mirendilが、1,000万トークンのコンテキストを備えた初のモデルであるFern 0.1をリリース

Mirendilは、1,000万トークンのコンテキストウィンドウでゼロから事前学習された初のモデルであるFern 0.1をリリースしました。同モデルはエージェント型AIの研究開発を対象としており、1,000万トークン規模でのRULERシングルニードルテストでは100%のスコアを獲得していますが、エージェント型コーディングにおいては最先端モデルには及ばない結果となっています。この記事「Mirendil、1,000万トークンのコンテキストを持つ初のモデルFern 0.1を公開」は、MarkTechPostに最初に掲載されました。

新闻源配图 · MarkTechPost
経緯と関連報道

百度が、数百ページに及ぶ文書の解析向けのUnlimited OCR 2をオープンソース化

Baiduは、MITライセンスの3B規模のOCRモデルであるUnlimited OCR 2をリリースし、1回のリクエストで数百ページに及ぶ文書を解析できます。同モデルのSR-SWAアテンションにより、各ステップのデコーディングコストはほぼ一定に保たれ、MarathonDocBenchでは77.1点を獲得しています。この記事「Baidu、数百ページの文書解析向けUnlimited OCR 2をオープンソース化」は、MarkTechPostに最初に掲載されました。

新闻源配图 · MarkTechPost
経緯と関連報道

二つの不確実性は同じではない:安価な構造化コンテンツモデレーションにおける意見の相違と意思決定リスク

arXiv:2610.33258v1 発表タイプ:新規 要旨:コンテンツモデレーションは、何十億ものアイテムに対して、最先端のLLMを個々の投稿に適用するのは経済的に非現実的である規模で、段階的かつ議論の多い人間の判断をバイナリ的な行為(掲示のまま/削除)へと圧縮します。新たな種類の凍結型「System One」モデルは、1回あたり約0.000025米ドル、処理時間約100ミリ秒で、テキストではなくタイプ付き・校正済みの意思決定を返します。私たちは、そのようなモデルの一つについて、人間がラベル付けした142,658件のコメントを対象とした初の独立審査を実施し、共有プローブセット上で14の最先端推論モデル(GPT-5.x、Claude、Gemini 3、およびGrokファミリー)と比較評価を行いました。二つの重要な発見が際立ちます。第一に、この安価なモデルは精度面で競争力があり、ゼロショット分類のAUROC値(0.83)は統計的に有意な差異が認められず(ペアドブートストラップ、n=56;等価性を棄却できない結果、つまり

経緯と関連報道

ソーシャルワールドモデル評価のギャップ

arXiv:2610.33014v1 発表タイプ:新規 要旨:交渉支援システムは、相手の反応を正確に予測しなくても良好な取引を成立させることができる。そこで、社会的世界モデルに対する評価がその予測を直接検証しているのかという疑問を提起する。1999年から2026年にかけて発表された113件の研究を調査したところ、9件の主要な評価では、システムまたは実験者が選択した行動に対する実際の人の反応が測定されていた。そのうち、明示的な反応予測と実際の反応を比較しているのはわずか2件であり、しかもそれらの予測手法は行動選択時に利用可能な情報を用いており、評価対象の反応は適合過程から除外されていた上、介入手法もランダム化されていた。さらに、言語モデルに関する25件の研究について全文を個別に確認した結果、これらの条件を満たす実験は見当たらなかった。他の評価は、現状推論やタスク成功、あるいは予測機能の評価を行っているにすぎない。

経緯と関連報道

音声言語モデルにおける制御可能な発話スタイルキャプションのベンチマーク

arXiv:2610.33036v1 公表タイプ:新規 要旨:発話スタイルキャプション(SSC)は、声の質感、プロソディー、表現力といったパラリンガリスティックな属性を捉えながら、話し方がどのように伝えられているかを自然な言語で記述することを目的としています。会話型AIエージェント、制御可能な音声生成、大規模な音声アノテーションなど、多くの下流アプリケーションでは、単一で区別されない記述ではなく、話者の特性、感情、発話スタイルなど、特定の側面を対象とした次元別のスタイルキャプションが必要とされています。しかし、既存の研究には、制御可能な発話スタイルキャプションに関する統一的な定式化が欠けています。本研究では、このギャップを埋めるために、SSCを指示に従う音声言語タスクとして定式化し、明示的な指示によって発話スタイルの次元を指定する形で取り組みました。

経緯と関連報道

バースト性の高いワークロード下におけるサーバレス自動スケーリング戦略の比較評価のための統一されたキューイングベースフレームワーク

arXiv:2610.35564v1 発表タイプ:新規 要旨:サーバレスコンピューティングプラットフォームは、高度にバーストし予測不可能なワークロードに対応しつつ、サービス品質(QoS)を維持しなければなりません。QoS要件やサービスレベルアグリーメント(SLA)を満たしながらワークロードの変動に対処するため、これらのプラットフォームはリソースの自動スケーリングに依存しています。商用の関数即時実行(FaaS)プラットフォームでは、アクティブな関数インスタンスの数や利用可能な処理能力を動的に調整するために、さまざまな自動スケーリング戦略が採用されています。本研究では、代表的な3つの自動スケーリング戦略——リクエストごとのスケーリング(SPR)、同時実行度ベースのスケーリング(CLS)、メトリクスベースのスケーリング(MBS)——をモデル化し、比較しました。独自のプラットフォーム固有の実装に依存しない体系的な評価を可能にするため、我々は…

経緯と関連報道

Nace AI、AIエージェント向け検索用Drexをリリース:BrowseComp-Plusで92.05%、12.6回の検索呼び出し

Nace AIは、Drex for Searchをリリースし、同社のDrex意思決定モデルをAIエージェント向けのドキュメント検索に導入しました。Naceによると、BrowseComp-Plusでは12.6回の検索呼び出しで92.05%のスコアを達成しており、OfficeQA Proではエージェントの操作回数がさらに減少しています。この記事「Nace AI、AIエージェント向けDrex for Searchをリリース:BrowseComp-Plusで12.6回の検索呼び出しで92.05%」は、MarkTechPostに最初に掲載されました。

経緯と関連報道

改ざんされた機械学習:大規模言語モデルによる機械学習研究の評価

arXiv:2610.32114v1 公表タイプ:新規 要旨:AIアライメントの進展を加速する一つの手法は、アライメント研究そのものの一部を自動化することである。そのためには、研究提案における欠陥の特定や、提案された実験が意図した主張を支持するかどうかの評価といった、監督が困難な研究課題に対しても信頼性高く機能するシステムが必要となる。この能力を評価するため、我々はTampered MLを導入する。これは、公開されている機械学習論文から再構成された実験提案と、目的とした方法論的欠陥を導入した最小限に編集された対照案からなる、1,858組の項目ペアからなるベンチマークである。モデルは、提示順序に関わらず、より方法論的に妥当な提案を識別しなければならない。層化抽出サンプルに基づく人間による検証研究では、全体の86%が…

経緯と関連報道

オフライン・多言語対応のLLM支援のためのISO 11783ネットワーク上の機械可読型操作マニュアル

arXiv:2610.31863v1 公告タイプ:新規 要旨:農業機械がインテリジェントなオフライン支援を実現するには、システムが技術文書に動的にアクセスできる必要があります。本論文では、ISO 11783ベースのCANバス上での操作マニュアルのセマンティック同期について分析を行いました。これは、トラクター側のアシスタントのローカル知識ベースと、接続された作業機の操作マニュアルとの間で整合性を図るプロセスとして定義されます。データ転送性能はMarkdown、JSON、XMLを用いてベンチマークされ、また、複数のオープンウェイトの大規模言語モデル(LLM)を用いた多言語クエリタスクについても評価を行いました。回答の自動評価は、4名の人間評価者による検証によって裏付けられました。完全なマニュアルは、物理的なISO 11783ネットワーク上で、状況に応じて31秒から89秒の間に転送されました。

経緯と関連報道

新たな研究により、LLMによる数学指導の評価に深刻な測定バイアスが存在することが明らかになった:正確一致型の採点では、効果が実際よりも約40ポイントも過小評価されることが示された

arXivで2026年10月26日に公開された論文「MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring」は、MISCONCEPTDIALOGUEという自動評価フレームワークを提案し、5,000回超の対話に基づいて、数学チューターとしての性能を評価するため、7B~14B規模のオープンソース小パラメータLLM 5種類をテストしました。研究結果によると、主流の正確一致(exact-match)評価手法では救済成功率が42.1%にとどまる一方で、人間による校正を経たLLM審判による同一対話の評価では81.3%に達し、その差は39.2ポイントに上りました。しかもこの偏差は偶然によるものではなく、4種類のLLM審判と200件の人工ラベル付け結果との間で高い一致性が確認され(kappa値は最大0.91)、さらにモデルは診断情報(正しい/誤った概念)に対する応答にほとんど差がないことから、診断入力を有効に活用できないことが示されました。

MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring

注目する理由:本研究は、現在のLLM教育応用における評価手法の根本的な欠陥を明確に指摘している。すなわち、単一で硬直的な自動採点に依存することは、実際の能力評価を大きく歪めてしまうおそれがあることである。さらに、大規模なシミュレーション実験の設計、複数の評価者による収束検証、ならびに診断と指導の連携の不備に関する実証を通じて、AI教育評価の標準化に向けて重要な警鐘と再現可能な方法論的基準を提示している。

経緯と関連報道

CiteAnchor:幻影引用の検出と解決のためのソース意識型グラウンディング

arXiv:2610.30355v1 発表タイプ:新規 要旨:幻影引用は、科学的主張の背後にある証拠を追跡し、その信憑性を検証することを困難にします。これらの引用を検出するのは、書誌情報が不完全であったり、ソースの種類や出版物のバージョンによって異なるため、非常に難しいです。妥当な一致だけでは、その引用が正当化されるわけでも、その背後にあるソースが特定できるわけでもありません。私たちは、ソースの復元可能性について注釈付きで構築された、実世界の幻影引用423件からなるベンチマークであるCiteResolveを提案します。さらに、ソースごとに検索とフィールドレベルの検証を適応させ、引用の妥当性および固有のソースが復元可能かどうかを個別に判定する、ソース意識型グラウンディングフレームワークであるCiteAnchorを提案します。既存の検出ベンチマークにおいて、CiteAnchorはGPT-5.6を用いてF1スコア0.841を達成しました。

CiteAnchor: Source-Aware Grounding for Hallucinated Citation Detection and Resolution
経緯と関連報道

RecursiveがFlintをリリース:AI主導で開発され、ローカルで動作する軽量なプログラミングモデル

AIスタートアップ企業Recursiveは、オープンソースのコーディングモデル「Flint」を発表し、その開発プロセスは主に自社開発のAI研究システム「Eureka Machine」によって行われたと述べています。このモデルはパラメータ数がわずか400億で、実測では25億の活性化を有しており、M4 Pro MacBookなどの一般的なノートPCでもオフラインで動作し、推論速度は131トークン/秒に達します。また、SWE-Benchなどのベンチマークにおいて、同規模の多くのモデルを上回る性能を示しています。

経緯と関連報道

NVIDIAがKumo Relationalを発表:教師あり学習を超える、トレーニング不要の構造化データ向け基礎モデル初号機

NVIDIAは、企業向けリレーショナルデータベース上で離職予測、不正検知、需要予測などの予測タスクを直接実行できる、事前学習済みのリレーショナル基礎モデル「Kumo Relational」を発表しました。タスクの微調整や特徴量エンジニアリング、テーブルの平坦化は不要です。15のデータベースにまたがる41のベンチマークにおいて、XGBoostなどの教師ありモデルを総合的に上回り、SAP SALTの企業向けベンチマークではMRR指標でAutoGluonを8%上回りました。また、最大5,000億行規模のデータベースに対応し、Predictive Query Language(PQL)によりコードゼロで予測呼び出しを実現します。

経緯と関連報道