arXiv:2610.33258v1 発表タイプ：新規
要旨：コンテンツモデレーションは、何十億ものアイテムに対して、最先端のLLMを投稿ごとに運用するにはコストが合わない規模で、段階的かつ議論の多い人間の判断を二値的な処理（公開継続／削除）へと圧縮しています。新たなタイプの「System One」フリーズモデルは、1回あたり約0.000025米ドル、処理時間約100ミリ秒という低コストで、テキストではなく型付き・校正済みの判定を返します。私たちは、そのようなモデルの一つについて、人間によるラベル付けが施された142,658件のコメントを対象に初の独立審査を実施し、共通のプローブセット上で14種類の最先端推論モデル（GPT‑5.x、Claude、Gemini 3、およびGrokファミリー）と比較評価を行いました。ここでは二つの重要な発見が浮かび上がります。第一に、この低コストモデルは精度面で競争力があり、ゼロショット分類におけるAUROC値（0.83）は、14種類の最先端システムのうち13種類と統計的に差異がない（ペアドブートストラップ、n=56；等価性を棄却できない結果であり、同等性の証明ではない）一方で、コストは1〜3桁低い上、いくつかのモデルと比べても校正度において劣っていません。第二に、「信頼度」には、人間の意見不一致（アンノテーターが風刺や暗号化された言語について意見が割れる場合）と意思決定リスク（自動処理が誤って高額なコストを生じる場合）という二つの異なる不確実性が混在しており、これらは非対称なモデレーション損失の下では相反するエスカレーションシグナルを必要とするため、単一の信頼度指標では両方を満たすことはできません。さらに、このモデルは追加の質問に対するコストをほぼゼロとしているため、判断を並列なサブクエスチョンに分解し、その分布を読み取ることで、モデル固有の信頼度指標では捉えきれない人間の意見不一致のシグナルを復元できます。ただし、この手法は特定の条件下でのみ有効であり、最も弱く意見不一致に鈍感なモデルにのみ役立ち、しかも分解が意見不一致の源泉と整合している場合に限られます。専門的な毒性検出モデルや最強のLLMにはこの手法は不要であり、その効果はデータ分布に敏感です。当該ツール、キャッシュされた実行結果、および分析結果を公開いたします。