대규모 언어 모델에서 세계 모델로의 발전

옌더리, 텐센트의 수석 전문가 LLM은 확률 모델이며, 인과관계를 이해하지 못합니다. 대규모 언어 모델(LLM)은 언어를 실제로 이해하는 것이 아니라 다음 토큰을 예측하는 데 그칩니다. 이는 지루한 ‘글자 연속하기’ 기계와 같아서 한 단계씩 나아가며 그때그때 계산할 뿐, 되돌아가지 않습니다. 본질적으로 LLM은 확률 모델로서, 통계적 동시 발생 구조 속에서 ‘무엇이 자주 무엇과 함께 나타나는지’를 학습하고, ‘대체로 그렇다’는 결과를 출력할 뿐 ‘왜 그런지’는 이해하지 못합니다…