arXiv:2610.36709v1 발표 유형: 신규
요약: 추론형 언어 모델은 수학 문제를 풀 때 긴 사고 과정을 작성하며, 문제당 여러 개의 사고 경로를 샘플링한 뒤 다수결 방식으로 답을 선택하는 방법은 생성된 텍스트의 양이 크게 증가하는 대가로 정확도를 높인다. 이 비용을 줄이는 일반적인 방법은 모델이 각 토큰을 작성할 때 갖는 신뢰도를 기준으로 각 경로에 점수를 부여하는 것이다. 여기서 토큰은 단어 또는 단어의 일부를 의미한다. 이 방법에서는 2,048개의 토큰으로 구성된 움직이는 창(window)을 통해 해당 신뢰도를 평균화하고, 가장 낮은 평균값을 기준으로 경로를 유지하거나 종료한다. 우리는 토큰별로 기록된 신뢰도를 오디오나 라디오 신호와 같은 맥락에서 하나의 신호로 간주하고, 스펙트럼 분석 및 갑작스러운 변화를 탐지하기 위한 통계적 검정과 같은 표준 신호 처리 도구를 활용해 이 방법을 검토하였다. 우리는 소규모 오픈형 추론 모델을 사용하여 두 개의 수학 벤치마크에서 각각 500개의 문제에 대해 16개의 경로를 샘플링하였다. 그 결과, 창 기반 최솟값 점수는 주로 경로의 길이를 측정하는 데에만 효과가 있음을 확인했다. 경로의 길이만을 기준으로 순위를 매기는 방법은 신뢰도 점수와 동등하거나 더 나은 성능을 보이며, 길이를 고려한 뒤에는 해당 점수가 정답 여부에 대한 정보를 전혀 제공하지 않는다는 사실도 밝혀졌다. 신호 처리 기법을 통해 이러한 현상을 설명할 수 있다: 천천히 이동하는 신호의 긴 구간에서 발생하는 최솟값은 우연히도 더 낮게 나타나며, 신뢰도 신호는 그 변화가 충분히 느리기 때문에 이러한 효과가 지배적으로 작용한다. 스펙트럼에는 길이로는 설명되지 않는 작은 신호가 존재하긴 하지만, 이는 잘못된 경로들이 토큰 간의 변동이 상대적으로 더 빠르기 때문에 나타나는 것으로, 투표 결과를 개선하기에는 너무 미미하다. 따라서 경로를 조기에 종료하기 위해서는 이동 평균이나 전통적인 변화 감지 기법보다는 더 간단한 방법인 경로 수를 적게 샘플링하는 것이 더 효과적이다.