AI ニュースを検索

二つの不確実性は同じではない：安価な構造化コンテンツモデレーションにおける意見の相違と意思決定リスク

arXiv:2610.33258v1 発表タイプ：新規 要旨：コンテンツモデレーションは、何十億ものアイテムに対して、最先端のLLMを個々の投稿に適用するのは経済的に非現実的である規模で、段階的かつ議論の多い人間の判断をバイナリ的な行為（掲示のまま／削除）へと圧縮します。新たな種類の凍結型「System One」モデルは、1回あたり約0.000025米ドル、処理時間約100ミリ秒で、テキストではなくタイプ付き・校正済みの意思決定を返します。私たちは、そのようなモデルの一つについて、人間がラベル付けした142,658件のコメントを対象とした初の独立審査を実施し、共有プローブセット上で14の最先端推論モデル（GPT-5.x、Claude、Gemini 3、およびGrokファミリー）と比較評価を行いました。二つの重要な発見が際立ちます。第一に、この安価なモデルは精度面で競争力があり、ゼロショット分類のAUROC値（0.83）は統計的に有意な差異が認められず（ペアドブートストラップ、n=56；等価性を棄却できない結果、つまり

ソーシャルワールドモデル評価のギャップ

arXiv:2610.33014v1 発表タイプ：新規 要旨：交渉支援システムは、相手の反応を正確に予測しなくても良好な取引を成立させることができる。そこで、社会的世界モデルに対する評価がその予測を直接検証しているのかという疑問を提起する。1999年から2026年にかけて発表された113件の研究を調査したところ、9件の主要な評価では、システムまたは実験者が選択した行動に対する実際の人の反応が測定されていた。そのうち、明示的な反応予測と実際の反応を比較しているのはわずか2件であり、しかもそれらの予測手法は行動選択時に利用可能な情報を用いており、評価対象の反応は適合過程から除外されていた上、介入手法もランダム化されていた。さらに、言語モデルに関する25件の研究について全文を個別に確認した結果、これらの条件を満たす実験は見当たらなかった。他の評価は、現状推論やタスク成功、あるいは予測機能の評価を行っているにすぎない。

歴史文書の文字起こしにおけるOCRシステムのエンティティ認識対応評価

arXiv:2610.33004v1 発表タイプ：新規 要旨：光学文字認識（OCR）は歴史的アーカイブのデジタル化において不可欠であるが、文字誤り率（CER）などの標準的な評価指標だけでは、氏名や日付、識別子といった有意義な情報が確実に保持されているかどうかを必ずしも反映できない。本研究では、歴史文書におけるOCR品質を評価するための補完的な視点として、OCRエラーのエンティティレベルでの分析を検討する。公開されているBerruttiアーカイブの175件の文書から構成されるベンチマークを用い、受理後に公開予定の手動でアノテーションされた5,209件のエンティティ言及を追加することで、逐次認識型OCRシステム、OCR専用の視覚言語モデル、および汎用の視覚言語モデルを比較する。全体的な転写精度にとどまらず

改ざんされた機械学習：大規模言語モデルによる機械学習研究の評価

arXiv:2610.32114v1 公表タイプ：新規 要旨：AIアライメントの進展を加速する一つの手法は、アライメント研究そのものの一部を自動化することである。そのためには、研究提案における欠陥の特定や、提案された実験が意図した主張を支持するかどうかの評価といった、監督が困難な研究課題に対しても信頼性高く機能するシステムが必要となる。この能力を評価するため、我々はTampered MLを導入する。これは、公開されている機械学習論文から再構成された実験提案と、目的とした方法論的欠陥を導入した最小限に編集された対照案からなる、1,858組の項目ペアからなるベンチマークである。モデルは、提示順序に関わらず、より方法論的に妥当な提案を識別しなければならない。層化抽出サンプルに基づく人間による検証研究では、全体の86%が…

SAGEベンチマークとGARフレームワークの公開：マルチモーダルな意味的整合性評価の推進

2026年10月26日、arXivは論文arXiv:2610.31838v1を公開し、Sense-Aligned Grounding Evaluation（SAGE）——統一された10候補画像選択基準——を提案するとともに、名詞・動詞・実体中心の多モーダルなグラウンディング評価を実施するための、学習非依存型のGloss-Augmented Reasoning（GAR）フレームワークも併せて提示した。

注目する理由：本研究は、VWSD、VerSe、WikiDiverseの3種類のタスクを用語中心のグラウンドトゥルース評価プロトコルに統一し、混同行動による難負例の導入とコンテキスト交換による診断メカニズムを提案しました。さらに、定義の強化と制約による推論の誘導が協調して作用することでHits@1指標を大幅に向上させること（65.90→71.22）を実証し、マルチモーダルな意味対応の評価においてより細粒度で解釈可能な新たなパラダイムを提供しています。

オフライン・多言語対応のLLM支援のためのISO 11783ネットワーク上の機械可読型操作マニュアル

arXiv:2610.31863v1 公告タイプ：新規　要旨：農業機械がインテリジェントなオフライン支援を実現するには、システムが技術文書に動的にアクセスできる必要があります。本論文では、ISO 11783ベースのCANバス上での操作マニュアルのセマンティック同期について分析を行いました。これは、トラクター側のアシスタントのローカル知識ベースと、接続された作業機の操作マニュアルとの間で整合性を図るプロセスとして定義されます。データ転送性能はMarkdown、JSON、XMLを用いてベンチマークされ、また、複数のオープンウェイトの大規模言語モデル（LLM）を用いた多言語クエリタスクについても評価を行いました。回答の自動評価は、4名の人間評価者による検証によって裏付けられました。完全なマニュアルは、物理的なISO 11783ネットワーク上で、状況に応じて31秒から89秒の間に転送されました。

CiteAnchor：幻影引用の検出と解決のためのソース意識型グラウンディング

arXiv:2610.30355v1 発表タイプ：新規 要旨：幻影引用は、科学的主張の背後にある証拠を追跡し、その信憑性を検証することを困難にします。これらの引用を検出するのは、書誌情報が不完全であったり、ソースの種類や出版物のバージョンによって異なるため、非常に難しいです。妥当な一致だけでは、その引用が正当化されるわけでも、その背後にあるソースが特定できるわけでもありません。私たちは、ソースの復元可能性について注釈付きで構築された、実世界の幻影引用423件からなるベンチマークであるCiteResolveを提案します。さらに、ソースごとに検索とフィールドレベルの検証を適応させ、引用の妥当性および固有のソースが復元可能かどうかを個別に判定する、ソース意識型グラウンディングフレームワークであるCiteAnchorを提案します。既存の検出ベンチマークにおいて、CiteAnchorはGPT-5.6を用いてF1スコア0.841を達成しました。

FusionEvalの公開：大規模言語モデルの統合に向けた新たなベンチマークテスト

2026年10月24日、研究者はarXivに論文arXiv:2610.30162v1を公開し、大規模言語モデルの融合手法の評価に特化した初の統一ベンチマークであるFusionEvalを提案しました。同ベンチマークは、推論チェーンの長さやツール呼び出しといった脆弱な部分を網羅しており、学習型と非学習型の融合手法の比較も可能にしています。

注目する理由：このベンチマークは、既存の評価において長鎖推論とツール利用へのカバーが不十分であった点を補完し、平均性能と最悪時の能力保持を明確に区別するとともに、Qwen3／Llamaに基づく再現可能な専門家プール、GPUメモリや実行時間などの多次元指標、およびオープンソースコードを提供しており、高い実践的指導性を備えています。

arXivの新論文では、コンパクトエンコーダーによる統合スコアリングと選択肢ごとのスコアリングの性能を比較しています

2026年10月24日、arXivは論文arXiv:2610.30970v1を公開し、パラメータ数が1,700万から10億の範囲にあるコンパクトなエンコーダーについて、閉じた集合における意思決定タスク（例：ツール選択）において、すべての選択肢を同時に評価する方式と、個々に独立してスコアリングする方式の設計選択を体系的に評価した。研究結果によると、3,200万のパラメータ規模では、個別選択肢スコアリングの方がスキル指標において統合スコアリングを有意に上回る一方で、計算負荷が高く、遅延のばらつきも大きいことが示された。さらに、複数のSystem1-Arenaベンチマークにおいて、6,800万および1億5,000万のパラメータを持つ統合型エンコーダーが、4億3,500万のパラメータを持つDeBERTa-v3のゼロショット分類器を上回ることが明らかになった。

注目する理由：本論文は、現行の大規模モデルにおける下流の意思決定モジュールの軽量化設計に関する重要な実証比較を提示しており、アーキテクチャの選定、初期化への依存性、遅延と精度のトレードオフ、入力順序に対するロバスト性といった工学上の重要課題を網羅しています。データは3つのランダムシードによる実験および公開・非公開のベンチマークに基づいて検証されており、公開日時（2026年10月24日）は現在のUTC日付（2026年10月25日）と一致しており、最新かつ信頼性の高い研究進展に該当します。