見出し・要約・本文から、情報のつながりを探します。
arXiv:2610.37679v1 公表タイプ：新規 要旨：ツールを使用する言語エージェントは間接的なプロンプトインジェクションに対して脆弱であり、不安全な行動が実行される前にそれを検出するためにモデル内部を調査する研究が増加しているが、その結果には著しく矛盾した点が見られる。我々は、こうした矛盾の多くは評価手法に起因すると主張し、評価および学習集団の両方において、インジェクションによる露呈と行動上の約束を分離する二重層化プロトコルを提案する。主要なQwen AgentDojoのグリッド上で、無意識的に不安全なケースとその他を混在させた対照条件下で訓練されたモニターは、ほとんどが露呈を学習しており、エージェントがそれに従うかどうかに関わらず露呈した軌跡を警告し、どのケースが不安全になるかをほとんど予測しない。一方、露呈したケースのみを対象に再訓練した場合、同じ種類のプローブはモデル自身が行う不安全なツール呼び出しを最大2秒前まで予測できる。
arXiv:2610.37851v1 発表タイプ：新規 要旨：既存の科学系エージェントベンチマークでは、カスタマイズされたシーケンシングアッセイの解析に不可欠な、シーケンシングプロトコルで指定された正確な分子構造および生成ワークフローを再構築できるかどうかを評価するケースはほとんどありません。そこで私たちは、シーケンシングライブラリの構造と分子ワークフローの再構築を目的とした文書ベースのベンチマークであるLibStructBenchを提案します。実験結果から、最先端のエージェントは概ね正しい再構築を行えるものの、特に分子状態の表現やワークフローの接続性において、正確な再構築には依然として信頼性が不足していることが明らかになりました。また、基盤となる言語モデルを切り替えた場合の方が、エージェントハーネスを変更した場合よりも平均的な性能差が大きく、統計的に有意な差が認められました。
arXiv:2610.37676v1 公表タイプ：新規 要旨：自動解釈可能性は、スパースオートエンコーダー（SAE）の特徴について、評価例に対してその特徴がどの位置で活性化するかをトークンごとに予測させたり、マークされたトークンがその特徴に適合しているかどうかを判定させたりすることで、解説を評価します。我々は、評価データの標準的な処理パイプラインのみを用いても、解説を読まないままスコアリングが可能であることを示しました。Neuronpediaに保存されているGPT-2 smallモデルのランダムな500個の特徴に対するファジング実行において、活性化した例の91.3％が中心トークン上でピークを持つように切り取られており、さらに中心トークンがマークされていれば「はい」と判定するルールは、パイプラインのコードから再構築されたマークに基づいて計算した結果、保存済みのLLMスコアラーの0.838に対し、バランスのとれた精度0.979を達成しています。一方、マーク数のみを参照するルールでは0.969を記録しました。T
arXiv:2610.37859v1 発表タイプ：新規 要旨：言語モデルエージェントは、文脈における自然言語から学習する能力において、従来の知能システムとは根本的に異なります。この能力により、エージェントはフィードバックに応じて自身の回答を反復的に改善することが可能となり、これは現代のエージェント型ワークフローにおいて広く見られる動作様式です。しかし、コミュニティでは主にPass@1やPass@Kといった指標でモデルを評価しており、それらの指標では、エージェントが過去の試行に対するフィードバックをどのように活用しているかを捉えることはできません。そこで私たちは、Seq@Kという自然な評価プロトコルを提案します。これは、各前の試行が失敗した後にフィードバックを受け取り、K回の逐次的な試行のうちに問題を解決できるかどうかを測定するものです。長期的な計画を検討する多段階のエージェントベンチマークとは異なり、Seq@Kは、フィードバックによる改善という核心的な能力を単独で抽出し、形式化しています。
arXiv:2610.35869v1 発表タイプ：新規 要旨：AIアプリケーションは、推論が必要かどうかを判断する前にしばしばモデルを呼び出します。このデフォルト設定は曖昧な生成タスクには有用ですが、構造化され、決定論的で、方針に基づき、照会中心、あるいは直接検証可能な作業には適していません。KORAは、決定論優先の実行制御を導入します。これは、リクエストをタスクパスとして表現し、まず決定論的または構造化された経路を試行し、その結果を検証し、テレメトリを記録した上で、決定論的な処理だけでは不十分な場合にのみモデル候補への経路へとエスカレートする、事前推論用の制御層です。本論文では、KORAを決定論優先の実行制御アーキテクチャとして提示し、再現可能なベンチマークおよび検証ワークロードによる限定的な実証結果を報告します。再
arXiv:2610.33258v1 発表タイプ：新規 要旨：コンテンツモデレーションは、何十億ものアイテムに対して、最先端のLLMを個々の投稿に適用するのは経済的に非現実的である規模で、段階的かつ議論の多い人間の判断をバイナリ的な行為（掲示のまま／削除）へと圧縮します。新たな種類の凍結型「System One」モデルは、1回あたり約0.000025米ドル、処理時間約100ミリ秒で、テキストではなくタイプ付き・校正済みの意思決定を返します。私たちは、そのようなモデルの一つについて、人間がラベル付けした142,658件のコメントを対象とした初の独立審査を実施し、共有プローブセット上で14の最先端推論モデル（GPT-5.x、Claude、Gemini 3、およびGrokファミリー）と比較評価を行いました。二つの重要な発見が際立ちます。第一に、この安価なモデルは精度面で競争力があり、ゼロショット分類のAUROC値（0.83）は統計的に有意な差異が認められず（ペアドブートストラップ、n=56；等価性を棄却できない結果、つまり
arXiv:2610.33014v1 発表タイプ：新規 要旨：交渉支援システムは、相手の反応を正確に予測しなくても良好な取引を成立させることができる。そこで、社会的世界モデルに対する評価がその予測を直接検証しているのかという疑問を提起する。1999年から2026年にかけて発表された113件の研究を調査したところ、9件の主要な評価では、システムまたは実験者が選択した行動に対する実際の人の反応が測定されていた。そのうち、明示的な反応予測と実際の反応を比較しているのはわずか2件であり、しかもそれらの予測手法は行動選択時に利用可能な情報を用いており、評価対象の反応は適合過程から除外されていた上、介入手法もランダム化されていた。さらに、言語モデルに関する25件の研究について全文を個別に確認した結果、これらの条件を満たす実験は見当たらなかった。他の評価は、現状推論やタスク成功、あるいは予測機能の評価を行っているにすぎない。
arXiv:2610.33036v1 公表タイプ：新規 要旨：発話スタイルキャプション（SSC）は、声の質感、プロソディー、表現力といったパラリンガリスティックな属性を捉えながら、話し方がどのように伝えられているかを自然な言語で記述することを目的としています。会話型AIエージェント、制御可能な音声生成、大規模な音声アノテーションなど、多くの下流アプリケーションでは、単一で区別されない記述ではなく、話者の特性、感情、発話スタイルなど、特定の側面を対象とした次元別のスタイルキャプションが必要とされています。しかし、既存の研究には、制御可能な発話スタイルキャプションに関する統一的な定式化が欠けています。本研究では、このギャップを埋めるために、SSCを指示に従う音声言語タスクとして定式化し、明示的な指示によって発話スタイルの次元を指定する形で取り組みました。
arXiv:2610.33004v1 発表タイプ：新規 要旨：光学文字認識（OCR）は歴史的アーカイブのデジタル化において不可欠であるが、文字誤り率（CER）などの標準的な評価指標だけでは、氏名や日付、識別子といった有意義な情報が確実に保持されているかどうかを必ずしも反映しない。本研究では、歴史文書におけるOCR品質を評価するための補完的な視点として、OCRエラーのエンティティレベルでの分析を検討する。公開されているBerruttiアーカイブの175件の文書から構成されるベンチマークを用い、受理後に公開予定の手動でアノテーションされた5,209件のエンティティ言及を追加することで、逐次認識型OCRシステム、OCR専用のビジョン・ランゲージモデル、および汎用のビジョン・ランゲージモデルを比較する。全体的な転写精度にとどまらず
arXiv:2610.35564v1 発表タイプ：新規 要旨：サーバレスコンピューティングプラットフォームは、高度にバーストし予測不可能なワークロードに対応しつつ、サービス品質（QoS）を維持しなければなりません。QoS要件やサービスレベルアグリーメント（SLA）を満たしながらワークロードの変動に対処するため、これらのプラットフォームはリソースの自動スケーリングに依存しています。商用の関数即時実行（FaaS）プラットフォームでは、アクティブな関数インスタンスの数や利用可能な処理能力を動的に調整するために、さまざまな自動スケーリング戦略が採用されています。本研究では、代表的な3つの自動スケーリング戦略——リクエストごとのスケーリング（SPR）、同時実行度ベースのスケーリング（CLS）、メトリクスベースのスケーリング（MBS）——をモデル化し、比較しました。独自のプラットフォーム固有の実装に依存しない体系的な評価を可能にするため、我々は…
arXiv:2610.32114v1 公表タイプ：新規 要旨：AIアライメントの進展を加速する一つの手法は、アライメント研究そのものの一部を自動化することである。そのためには、研究提案における欠陥の特定や、提案された実験が意図した主張を支持するかどうかの評価といった、監督が困難な研究課題に対しても信頼性高く機能するシステムが必要となる。この能力を評価するため、我々はTampered MLを導入する。これは、公開されている機械学習論文から再構成された実験提案と、目的とした方法論的欠陥を導入した最小限に編集された対照案からなる、1,858組の項目ペアからなるベンチマークである。モデルは、提示順序に関わらず、より方法論的に妥当な提案を識別しなければならない。層化抽出サンプルに基づく人間による検証研究では、全体の86%が…
arXiv:2610.31863v1 公告タイプ：新規 要旨：農業機械がインテリジェントなオフライン支援を実現するには、システムが技術文書に動的にアクセスできる必要があります。本論文では、ISO 11783ベースのCANバス上での操作マニュアルのセマンティック同期について分析を行いました。これは、トラクター側のアシスタントのローカル知識ベースと、接続された作業機の操作マニュアルとの間で整合性を図るプロセスとして定義されます。データ転送性能はMarkdown、JSON、XMLを用いてベンチマークされ、また、複数のオープンウェイトの大規模言語モデル（LLM）を用いた多言語クエリタスクについても評価を行いました。回答の自動評価は、4名の人間評価者による検証によって裏付けられました。完全なマニュアルは、物理的なISO 11783ネットワーク上で、状況に応じて31秒から89秒の間に転送されました。
2026年10月26日付のarXivに掲載された最新の研究（arXiv:2610.31821v1）によれば、古典アラビア詩の検索タスクにおいては、ユーザーの詩句の記憶残存度（例えば半行を覚えているかどうか）が、モデルの性能よりも検索精度を決定する上でより重要な要因であることが示されています。BM25は、「舌尖効果」系のクエリでは、8Bパラメータの最先端モデルを含むすべての稠密符号化器を上回る一方で、抽象的なクエリでは大きく劣後することが明らかになりました。
注目する理由：本研究は、二重コーパス、三重インデックス方式、および二重評価プロトコルによる体系的なベンチマークテストを通じて、クエリの抽象度が異なる検索パラダイム（形態素ベース対稠密ベクトル）に与える支配的な影響を初めて定量的に明らかにし、人間のアノテーターとオープンソースの重み付けモデルによる二重検証を経て、その結論は方法論的普遍性と実証的堅牢性を備えている。
arXiv:2610.30355v1 発表タイプ：新規 要旨：幻影引用は、科学的主張の背後にある証拠を追跡し、その信憑性を検証することを困難にします。これらの引用を検出するのは、書誌情報が不完全であったり、ソースの種類や出版物のバージョンによって異なるため、非常に難しいです。妥当な一致だけでは、その引用が正当化されるわけでも、その背後にあるソースが特定できるわけでもありません。私たちは、ソースの復元可能性について注釈付きで構築された、実世界の幻影引用423件からなるベンチマークであるCiteResolveを提案します。さらに、ソースごとに検索とフィールドレベルの検証を適応させ、引用の妥当性および固有のソースが復元可能かどうかを個別に判定する、ソース意識型グラウンディングフレームワークであるCiteAnchorを提案します。既存の検出ベンチマークにおいて、CiteAnchorはGPT-5.6を用いてF1スコア0.841を達成しました。
