AI-for-Scienceエージェントはモデルの安全性を保てるのか?
arXiv:2610.32045v1 発表タイプ:新規 要旨:AI-for-Scienceエージェントは、科学的仮説の立案、自律型実験の実行、および証拠の解釈にますます活用されています。これらのエージェントは、大規模言語モデル(LLM)をドメイン固有のエージェントハーネスに統合することで構築され、その結果、LLMの科学的能力が向上し、モデルが科学ツールを調整・運用できるようになります。本研究では、LLMをAI-for-Scienceエージェントハーネスに統合した際、モデルの安全性が維持されるかどうかを検討します。5つのエージェントハーネスを対象に、50件の有害な化学関連リクエストについて評価を行いました。具体的には、直接的なプロンプト入力、2種類の単純な敵対的プロンプト戦略、および適応型攻撃の条件下で、安全性の挙動がどのように変化するかを調べました。最近のGPT系モデル4種類において、我々の結果は示しています
