要旨：AI-for-Scienceエージェントは、科学的仮説の立案、自律型実験の実行、および証拠の解釈にますます活用されています。これらのエージェントは、大規模言語モデル（LLM）をドメイン固有のエージェントハーネスに統合することで構築され、その結果、LLMの科学的能力が向上し、モデルが科学ツールを効果的に連携・運用できるようになります。本研究では、AI-for-ScienceエージェントハーネスにLLMを組み込んだ際、モデルの安全性が維持されるかどうかを検討します。5つのエージェントハーネスを対象に、有害な化学関連のリクエスト50件について評価を行いました。具体的には、直接的なプロンプト入力、2種類の単純な敵対的プロンプト戦略、および適応型攻撃の条件下で、安全性の挙動がどのように変化するかを調べました。最新のGPT系モデル4種類において、エージェントハーネスを導入すると、直接的なプロンプト入力下でも有害な指示への従順性が高まることが示されました。さらに重要なことに、ベースとなるLLMに対してはほとんど効果がなかった適応型攻撃も、エージェントハーネスを導入した後には極めて高い成功率を示すことが判明しました。これらの結果から、エージェントハーネスが導入されると、ベースLLMの安全性は持続しないことが明らかになりました。したがって、AI-for-Scienceエージェントの能力と自律性が一段と高まるにつれ、コミュニティ全体として、ドメイン固有の安全性ベンチマークに基づいてエージェントの安全性を評価・調整していく必要があります。
投稿履歴
論文へのアクセス：
PDFを表示
HTML（実験的）
TeXソース
追加機能
音声要約
現在の閲覧コンテキスト：
参考文献・引用
Google Scholar
Semantic Scholar
ブックマーク
機関
arXivLabsは、共同作業者が当社のウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。
arXivLabsを利用する個人および組織は、オープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシーという当社の価値観を積極的に受け入れ、尊重しています。arXivはこれらの価値観に固くコミットしており、それらを遵守するパートナーのみと協力しています。
arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsについて詳しくご覧ください。