改ざんされたML：機械学習研究に対する大規模言語モデルの判断の評価

arXiv:2610.32114v1 発表タイプ：新規 要旨：AIアライメントの進展を加速するためのアプローチの一つは、アライメント研究そのものの一部を自動化することである。そのためには、研究提案における欠陥の特定や、提案された実験が意図した主張を支持しているかどうかの評価など、監督が困難な研究タスクにおいても信頼性高く機能するシステムが必要となる。この能力を評価するため、私たちはTampered MLを導入する。これは、公開されている機械学習論文から再構築された実験提案と、対象とする方法論的欠陥を意図的に導入した最小限の編集を施した反事実のペアからなる1,858件のベンチマークである。モデルは、提示順序が逆でも、より方法論的に妥当な提案を識別しなければならない。層化抽出サンプルを用いた人間による検証研究では、全体の86%が…