초록: 신경망 아키텍처 탐색(NAS)은 비용이 많이 들지만, 이전 작업에서 얻은 지식을 재사용함으로써 비용을 절감할 수 있습니다. 그러나 기존 방법들은 희박한 탐색 기록과 작업별 전이 실패 문제에 어려움을 겪습니다. 우리는 챔피언 기반 초기화와 공동 쌍대 비교 랭커 사전 학습을 통해 희박한 소스 로그와 제로 비용 프록시를 결합하는 위험 저항형 전략을 제안합니다. TransNAS-Bench-101에서 본 연구는 심각한 최악의 경우 실패를 완화하여, 마이크로 자동부호화의 경우 최악 10% 순위를 290에서 43으로, 매크로 방 배치의 경우 465에서 45로 낮췄습니다. 또한 13개의 셀 공간 목표 중 평균 및 최악의 경우 성능 모두에서 프록시만 사용하는 랭커보다 10개의 목표에서 우수한 성능을 보였으며, 동시에 경쟁력 있는 평균 성능도 유지했습니다.
투고 이력
논문 보기:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
Google 학술검색
Semantic Scholar
북마크
기관
arXivLabs는 협력자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 함께 일하는 개인과 조직 모두는 개방성, 커뮤니티, 우수성, 그리고 사용자 데이터 개인정보 보호라는 당사의 가치를 수용하고 받아들였습니다. arXiv은 이러한 가치에 헌신하며, 이에 부합하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.