추론을 위한 대규모 언어 모델의 지도학습微調: 종합적 조사
arXiv:2610.37681v1 발표 유형: 신규 요약: 최근 대규모 추론 모델들은 복잡한 과제를 해결하는 데 있어 뛰어난 성능을 보여왔으며, 이는 긴 사고 체인 데이터에 대한 지도학습微調(SFT)이 그들의 추론 능력을 발현하고 향상시키는 데 핵심적인 기반이 되었기 때문입니다. 추론 중심의 SFT를 개선하고 분석하는 데 있어 빠른 진전에도 불구하고, 이 분야에는 아직도 급속히 증가하는 관련 문헌을 통합적으로 정리한 체계적인 조사가 부족한 실정입니다. 이러한 공백을 메우기 위해 우리는 추론을 위한 SFT의 최근 발전상을 포괄적으로 검토하며, 방법론적 설계와 분석적 탐구라는 두 가지 관점에서 문헌을 살펴봅니다. 먼저, SFT 전반에 걸친 방법론적 개선 사항들을 검토하고 이를 데이터 중심 접근과 알고리즘 중심 접근으로 구분합니다.