요약: AI-포-사이언스 에이전트는 과학적 가설 수립, 자율 실험 수행 및 증거 해석 등에 점점 더 널리 활용되고 있습니다. 이러한 에이전트는 도메인 특화형 에이전트 하네스에 대규모 언어 모델(LLM)을 통합하여 구성되며, 이는 LLM의 과학적 역량을 향상시키고 모델이 과학적 도구들을 효과적으로 조율할 수 있도록 합니다. 본 연구에서는 대규모 언어 모델이 AI-포-사이언스 에이전트 하네스에 통합될 때 모델의 안전성이 유지되는지 여부를 검토합니다. 우리는 50개의 유해한 화학 관련 요청에 대해 다섯 가지 에이전트 하네스를 평가했습니다. 구체적으로, 직접 프롬프팅, 두 가지 간단한 적대적 프롬프팅 전략, 그리고 적응형 공격 하에서 안전 행동이 어떻게 변화하는지를 분석했습니다. 최근 출시된 GPT의 네 가지 변종을 대상으로 한 결과, 에이전트 하네스는 직접 프롬프팅 상황에서도 유해한 행동 준수율을 높일 수 있음을 보여줍니다. 더욱 중요한 점은, 기본 LLM에는 거의 성공하지 못하던 적응형 공격이 에이전트 하네스가 도입된 이후에는 매우 높은 성공률을 기록한다는 사실입니다. 이는 기본 LLM의 안전성 행동이 하네스가 적용되면 지속되지 않는다는 것을 시사합니다. 따라서 AI-포-사이언스 에이전트가 더욱 강력하고 자율적으로 발전함에 따라, 관련 커뮤니티는 도메인 특화된 안전성 벤치마크를 통해 에이전트의 안전성을 평가하고 이를 적절히 조정해야 할 것입니다.
투고 이력
논문 보기:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
Google 학술검색
Semantic Scholar
북마크
기관
arXivLabs는 협력자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 함께 일하는 개인과 조직 모두는 개방성, 커뮤니티, 우수성, 그리고 사용자 데이터 개인정보 보호라는 당사의 가치를 수용하고 받아들였습니다. arXiv은 이러한 가치에 헌신하며, 이에 부합하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.