본문으로 건너뛰기
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI 뉴스 검색

제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.

발행 시간순

아트팩트 증류: 프런티어 모델에서 소형 언어 모델로의 학습 없이 이전하기

arXiv:2610.37680v1 발표 유형: 신규 요약: 프런티어 모델과 소형 언어 모델 간의 격차를 해소하는 일반적인 접근법은 증류입니다. 즉, 소형 모델(학생)을 프런티어 모델(교사)의 출력에 대해 미세 조정함으로써 이전 작업을 학습 계산에 의존하게 만들고, 전달된 지식을 상당히 불투명하게 만듭니다. 우리는 아트팩트 증류를 제안합니다. 교사가 학습 사례를 해결하고 그 문제 해결 절차를 외부화하여 아트팩트 은행으로 저장하며, 학생은 추론 시 해당 은행을 조회합니다. 이 과정에서는 파라미터 업데이트가 전혀 발생하지 않습니다. 네 가지 LiveBench 과제에서, Claude Opus 4.5가 작성한 은행을 사용하면 Claude Haiku 4.5는 공간 추론에서 무보조 Claude Sonnet 4.5보다 60%의 비용으로 더 높은 점수(0.707 대 0.647)를 기록하며, 테이블 조인에서도 Sonnet 4.5 수준에 도달하는데 그 비용은 89%에 불과합니다. 동일한 원시 은행은

진행 상황 및 관련 보도

추론을 위한 대규모 언어 모델의 지도학습微調: 종합적 조사

arXiv:2610.37681v1 발표 유형: 신규 요약: 최근 대규모 추론 모델들은 복잡한 과제를 해결하는 데 있어 뛰어난 성능을 보여왔으며, 이는 긴 사고 체인 데이터에 대한 지도학습微調(SFT)이 그들의 추론 능력을 발현하고 향상시키는 데 핵심적인 기반이 되었기 때문입니다. 추론 중심의 SFT를 개선하고 분석하는 데 있어 빠른 진전에도 불구하고, 이 분야에는 아직도 급속히 증가하는 관련 문헌을 통합적으로 정리한 체계적인 조사가 부족한 실정입니다. 이러한 공백을 메우기 위해 우리는 추론을 위한 SFT의 최근 발전상을 포괄적으로 검토하며, 방법론적 설계와 분석적 탐구라는 두 가지 관점에서 문헌을 살펴봅니다. 먼저, SFT 전반에 걸친 방법론적 개선 사항들을 검토하고 이를 데이터 중심 접근과 알고리즘 중심 접근으로 구분합니다.

진행 상황 및 관련 보도

문맥 내 의존성 파싱을 위한 POS 서명 시연 검색

arXiv:2610.31966v1 발표 유형: 신규 요약: 문맥 내 학습을 위한 시연은 종종 의미적 유사성을 기준으로 검색되며, 이는 구조화된 예측에서의 관련성을 제대로 대표하지 못할 수 있습니다. 우리는 Universal Dependencies 파싱을 위한 시연 선택 방식을 연구하며, 품사 통계를 가중치로 표현하고 라벨링된 교육 세트에서 길이가 호환되는 골드 라벨 해석 사례 3개를 검색하는 POS 서명 정책을 적용합니다. 우리는 미세조정 없이 두 개의 오픈 웨이트 언어 모델을 UD 영어 웹 트리뱅크 테스트 세트의 총 2,077개 문장에 대해 평가하며, 해당 정책을 샷 및 형식이 일치하는 고정 및 의미적 3샷 기반과 비교하고, 또한 제로샷, 사고 체인, 비평-정제 시스템과도 비교합니다. POS 서명 검색은 가장 높은 라벨링 성과를 달성합니다.

진행 상황 및 관련 보도