見出し・要約・本文から、情報のつながりを探します。
arXiv:2610.37679v1 公表タイプ：新規 要旨：ツールを使用する言語エージェントは間接的なプロンプトインジェクションに対して脆弱であり、不安全な行動が実行される前にそれを検出するためにモデル内部を調査する研究が増加しているが、その結果には著しく矛盾した点が見られる。我々は、こうした矛盾の多くは評価手法に起因すると主張し、評価および学習集団の両方において、インジェクションによる露呈と行動上の約束を分離する二重層化プロトコルを提案する。主要なQwen AgentDojoのグリッド上で、無意識的に不安全なケースとその他を混在させた対照条件下で訓練されたモニターは、ほとんどが露呈を学習しており、エージェントがそれに従うかどうかに関わらず露呈した軌跡を警告し、どのケースが不安全になるかをほとんど予測しない。一方、露呈したケースのみを対象に再訓練した場合、同じ種類のプローブはモデル自身が行う不安全なツール呼び出しを最大2秒前まで予測できる。
arXiv:2610.37676v1 公表タイプ：新規 要旨：自動解釈可能性は、スパースオートエンコーダー（SAE）の特徴について、評価例に対してその特徴がどの位置で活性化するかをトークンごとに予測させたり、マークされたトークンがその特徴に適合しているかどうかを判定させたりすることで、解説を評価します。我々は、評価データの標準的な処理パイプラインのみを用いても、解説を読まないままスコアリングが可能であることを示しました。Neuronpediaに保存されているGPT-2 smallモデルのランダムな500個の特徴に対するファジング実行において、活性化した例の91.3％が中心トークン上でピークを持つように切り取られており、さらに中心トークンがマークされていれば「はい」と判定するルールは、パイプラインのコードから再構築されたマークに基づいて計算した結果、保存済みのLLMスコアラーの0.838に対し、バランスのとれた精度0.979を達成しています。一方、マーク数のみを参照するルールでは0.969を記録しました。T
arXiv:2610.37859v1 発表タイプ：新規 要旨：言語モデルエージェントは、文脈における自然言語から学習する能力において、従来の知能システムとは根本的に異なります。この能力により、エージェントはフィードバックに応じて自身の回答を反復的に改善することが可能となり、これは現代のエージェント型ワークフローにおいて広く見られる動作様式です。しかし、コミュニティでは主にPass@1やPass@Kといった指標でモデルを評価しており、それらの指標では、エージェントが過去の試行に対するフィードバックをどのように活用しているかを捉えることはできません。そこで私たちは、Seq@Kという自然な評価プロトコルを提案します。これは、各前の試行が失敗した後にフィードバックを受け取り、K回の逐次的な試行のうちに問題を解決できるかどうかを測定するものです。長期的な計画を検討する多段階のエージェントベンチマークとは異なり、Seq@Kは、フィードバックによる改善という核心的な能力を単独で抽出し、形式化しています。
ベンチマーク業界の現状と、そこに欠けているものについての一考察。
arXiv:2610.35869v1 発表タイプ：新規 要旨：AIアプリケーションは、推論が必要かどうかを判断する前にしばしばモデルを呼び出します。このデフォルト設定は曖昧な生成タスクには有用ですが、構造化され、決定論的で、方針に基づき、照会中心、あるいは直接検証可能な作業には適していません。KORAは、決定論優先の実行制御を導入します。これは、リクエストをタスクパスとして表現し、まず決定論的または構造化された経路を試行し、その結果を検証し、テレメトリを記録した上で、決定論的な処理だけでは不十分な場合にのみモデル候補への経路へとエスカレートする、事前推論用の制御層です。本論文では、KORAを決定論優先の実行制御アーキテクチャとして提示し、再現可能なベンチマークおよび検証ワークロードによる限定的な実証結果を報告します。再
Mirendilは、1,000万トークンのコンテキストウィンドウでゼロから事前学習された初のモデルであるFern 0.1をリリースしました。同モデルはエージェント型AIの研究開発を対象としており、1,000万トークン規模でのRULERシングルニードルテストでは100%のスコアを獲得していますが、エージェント型コーディングにおいては最先端モデルには及ばない結果となっています。この記事「Mirendil、1,000万トークンのコンテキストを持つ初のモデルFern 0.1を公開」は、MarkTechPostに最初に掲載されました。
Baiduは、MITライセンスの3B規模のOCRモデルであるUnlimited OCR 2をリリースし、1回のリクエストで数百ページに及ぶ文書を解析できます。同モデルのSR-SWAアテンションにより、各ステップのデコーディングコストはほぼ一定に保たれ、MarathonDocBenchでは77.1点を獲得しています。この記事「Baidu、数百ページの文書解析向けUnlimited OCR 2をオープンソース化」は、MarkTechPostに最初に掲載されました。
arXiv:2610.33036v1 公表タイプ：新規 要旨：発話スタイルキャプション（SSC）は、声の質感、プロソディー、表現力といったパラリンガリスティックな属性を捉えながら、話し方がどのように伝えられているかを自然な言語で記述することを目的としています。会話型AIエージェント、制御可能な音声生成、大規模な音声アノテーションなど、多くの下流アプリケーションでは、単一で区別されない記述ではなく、話者の特性、感情、発話スタイルなど、特定の側面を対象とした次元別のスタイルキャプションが必要とされています。しかし、既存の研究には、制御可能な発話スタイルキャプションに関する統一的な定式化が欠けています。本研究では、このギャップを埋めるために、SSCを指示に従う音声言語タスクとして定式化し、明示的な指示によって発話スタイルの次元を指定する形で取り組みました。
arXiv:2610.33004v1 発表タイプ：新規 要旨：光学文字認識（OCR）は歴史的アーカイブのデジタル化において不可欠であるが、文字誤り率（CER）などの標準的な評価指標だけでは、氏名や日付、識別子といった有意義な情報が確実に保持されているかどうかを必ずしも反映しない。本研究では、歴史文書におけるOCR品質を評価するための補完的な視点として、OCRエラーのエンティティレベルでの分析を検討する。公開されているBerruttiアーカイブの175件の文書から構成されるベンチマークを用い、受理後に公開予定の手動でアノテーションされた5,209件のエンティティ言及を追加することで、逐次認識型OCRシステム、OCR専用のビジョン・ランゲージモデル、および汎用のビジョン・ランゲージモデルを比較する。全体的な転写精度にとどまらず
Data Cultureは、AI分析の導入における精度を0％から94.7％に向上させた3段階の評価フレームワークを構築しました。
