GPT-OSS-20B 다중언어 추론 미세조정 실험: SFT는 초보자 수준의 행동 습득을 가능하게 하며, GRPO는 확률 헤드 공간이 존재할 때에만 효과적으로 성능을 향상시킨다.
AWS 팀은 Amazon SageMaker HyperPod에서 GPT-OSS-20B를 대상으로 다국어 추론 미세조정 실험을 수행했으며, LoRA 기반의 효율적 파라미터 미세조정을 적용했습니다. SFT는 영어·프랑스어·독일어·스페인어·이탈리아어 등 5개 언어에 대한 추론 정확도를 22%에서 100%로 끌어올렸지만, 답변 언어의 정확도는 62%에 그쳤습니다. GRPO는 이를 바탕으로 답변 언어 정확도를 70%까지 추가로 개선했으며, 추론 언어 성능에는 별다른 손상을 주지 않았습니다. 다만 이익의 정도는 언어마다 상이하여, 예를 들어 스페인어는 30%p 향상된 반면 이탈리아어는 20%p 하락했습니다. 실험 결과는 GRPO가 새로운 능력을 제로 상태에서 창출할 수 없으며, 기존에 간헐적으로 나타나던 행동만을 최적화할 수 있음을 분명히 보여줍니다.