옌더리 텐센트 회사의 수석 전문가
LLM은 확률 모델이며, 인과관계는 알 수 없습니다.
대규모 언어 모델(LLM)은 언어를 이해하지 못하며, 단지 다음 토큰을 예측하는 데 그칩니다. 이는 지루한 ‘문장 연속’ 기계로, 한 단계씩 나아가며 되돌아가지 않습니다. LLM은 본질적으로 확률 모델로서, 통계적 동시 발생 구조 속에서 ‘무엇이 자주 무엇과 함께 나타나는지’를 학습하고, ‘보통 그렇다’는 결과를 출력할 뿐입니다. 그러나 ‘왜 그런지’를 이해하거나 변수 간의 인과 관계망을 구축하지는 못합니다. 즉, LLM은 ‘상관관계는 인식하지만 인과관계는 알지 못합니다’.
LLM은 주로 확률적 예측에 의존하는데, 왜 이처럼 광범위하고 심층적인 능력을 발휘할 수 있을까요? 또한 왜 그럴듯한 인과적 해석을 제시할 수 있는 걸까요? “만약 처음에 다른 선택을 했다면 어떻게 되었을까”라는 질문에도 답할 수 있습니다. 이는 펄의 인과 사다리에서 연관성 단계(Association)에 국한되지 않고, 개입 단계(Intervention)와 역설적 상황 단계(Counterfactuals)까지도 아우르는 듯합니다. 왜냐하면 압축이 곧 지능이기 때문입니다. 거대 모델의 본질은 방대한 지식을 제한된 연결망 속에 압축하는 데 있으며(제프리 힌턴, 2025), 데이터 기반 확률 모델과 무손 압축은 근본적으로 동등한 개념입니다. 언어는 일종의 압축 알고리즘으로, 사람들은 수많은 인과 지식을 텍스트에 담아내고, 언어 구조에는 세계에 대한 설명이 내재되어 있습니다.
확률 모델인 만큼 신뢰성 문제는 존재합니다. 질문과 다른 답변, 오류 있는 대입, 근거 없는 생성, 잘못된 인용, 앞뒤가 맞지 않는 주장, 상식 부족 등과 같은 환각(Hallucination) 문제가 불가피합니다. 이러한 환각은 LLM의 기술적 특성에 의해 결정되며, 제조사의 기본 설정으로서 근본적으로 없애기는 어렵고 다만 최대한 완화하는 데 그칠 수밖에 없습니다. 전 세계에서 환각 발생률이 가장 낮은 모델조차도 1.8%에 달하며, 이는 아래 그림과 같습니다.
그림 전 세계 25개 주요 대형 언어 모델의 앵커 환각률(2026.5)
LLM에는 맹점과 격차가 있으며, 지속적인 학습이 불가능합니다.
LLM은 매우 강력하지만 한계도 존재합니다. LLM은 암묵적 지식과 기밀 정보를 학습할 수 없습니다. 폴라니의 역설에 따르면 “우리는 말로 표현할 수 있는 것보다 더 많은 것을 알고 있다(We can know more than we can tell).” 많은 과제는 직관만으로도 수행할 수 있지만, 그 규칙과 절차를 언어로 명확히 설명하기는 어렵습니다. 예를 들어 자전거 타기의 균형, 공감의 적절한 분위기, 손끝의 부드러움, 서로의 뜻을 알아채는 눈빛 등… 이러한 “명확히 서술하기 어렵고 효과적으로 전달하기 어려운” 지식을 ‘암묵적 지식(tacit knowledge)’이라고 합니다. 이와 대비되는 것은 기록되고 디지털화가 가능한 지식, 즉 ‘명시적 지식’으로, 이는 LLM이 학습할 수 있는 영역입니다. 물론 모든 명시적 지식을 학습할 수 있는 것은 아닙니다. 이는 접근 가능성과 관련되어 있습니다. 기밀 정보나 온라인에 노출되지 않은 정보는 더욱 가치가 높으며, 한마디로 일만 마디를 대신할 수 있을 만큼 중요하지만, 이 역시 LLM의 맹점입니다.
LLM은 모든 것을 알고 있지만, 창의적이고 혁신적인 통찰(CDIs)은 부족하다. 튜링상 수상자이자 강화학습의 아버지인 리처드 서턴은 2026년에 다음과 같이 지적했다: “이들 시스템은 사실상 인간 지식의 힘을 활용하고 이를 다시 우리에게 제공할 뿐이며, 스스로 새로운 지식을 발견하는 능력은 없다.” LLM이 이미 알려진 과학적 돌파구를 독립적으로 ‘재발견’할 수 있는지를 평가하기 위해, 데미스 하사비스는 올해 2월 아인슈타인 테스트를 제안했다. 지식 기반을 1911년 이전으로 한정한 상태에서, AI가 1915년 아인슈타인이 발표한 일반 상대성 이론을 독립적으로 도출해낼 수 있다면 아인슈타인 테스트를 통과한 것으로 간주한다. 하사비스는 “분명히 현재의 시스템으로는 아직 그럴 수 없다”고 밝혔다.
지속 학습은 또 다른 핵심적 결여 요소입니다. AGI 달성을 위한 여섯 단계 로드맵에 따르면, 지속 학습은 현재의 에이전트 단계에 이어 다음으로 극복해야 할 기술적 도약이며, 향후 자기 반복(특이점)과 체화 지능으로 나아가는 데 반드시 거쳐야 하는 단계입니다. 지속 학습이란 기존 지식을 잊지 않은 채로 새로운 것을 끊임없이 학습하는 능력을 의미합니다. 인간은 태생적으로 이러한 능력을 갖추고 있습니다. 그러나 안타깝게도 LLM은 그렇지 않습니다. LLM은 ‘동결된 천재’로서 정적인 데이터셋에 의존하며, 한 번 학습이 완료되고 배포되어 운영되면 가중치가 고정되어 실제 경험을 통해 학습하고 성장할 수 없습니다. 지속 학습의 핵심적 도전 과제는 ‘안정성-유연성 딜레마’에 있으며, 재앙적 망각(새로운 것을 배우면서 기존 지식을 잃는 현상)과 유연성 상실(새로운 과제에 대한 학습 능력이 지속적으로 저하되는 현상)이라는 두 가지 주요 장애물에 직면해 있습니다.
세계 모델: 언어에서 행동으로
“내 언어의 한계는 곧 내 세계의 한계이다.” “세상이란 모든 일들이 일어나는 것이다.” 비트겐슈타인의 이 백 년 전의 명제는 오늘날 놀라운 예언적 힘을 드러내고 있다.
언어는 인간이 만든 가장 강력한 발명품이지만, 우리의 세계를 충분히 표현하기에는 한계가 있다. 현실 세계는 언어와 문자로만 구성되어 있지 않다. LLM은 ‘어둠 속의 문장 장인’으로, 말은 잘하지만 실제 물리적 세계에 대한 몸을 통한 경험은 전혀 없다. 단순한 언어의 규모 확대만으로는 더 이상 충분하지 않으며, 물리적 세계, 공간 구조, 시간의 연속성, 그리고 행동의 결과에 대한 내재적 표상 능력을 강화해야 한다. 서튼이 지적했듯이, LLM은 단지 ‘일시적인 매혹’일 뿐이며, 실제 지능의 극히 일부만을 포착할 뿐이다. 진정한 지능은 반드시 세계 모델을 갖추어야 한다.
세계 모델은 상태 변화 예측기로, “환경 상태가 시간과 행동에 따라 어떻게 변하는지”를 설명합니다. 그 본질은 동역학 모델이며, 다음과 같은 함수로 표현할 수 있습니다:
세계 모델이란 매개변수 θ 하에서 현재 상태 sₜ와 취하려는 행동 aₜ를 바탕으로 다음 상태 ŝₜ₊₁을 예측하는 함수이다. 물리 세계는 확률적이며 부분적으로 관찰 가능하기 때문에, 다음 상태에 대한 확률 분포를 출력하는 것이 실제 환경에 더 가깝다. 세계 모델의 목표는 유일한 미래를 정확히 예측하는 데 있는 것이 아니라, 계획 수립에 활용할 수 있는 미래의 분포를 구축하는 것이다. 세계 모델은 “계산할 수 없는 것을 계산한다(Computing the Uncomputable)”는 방식으로, 세상이 어떻게 작동하는지에 관한 언어로 표현하기 어려운 본능적이고 근본적인 인식을 탐구한다. 리페이페이와 양리쿤은 가장 중요한 AI 분야의 지도자들이다. 리페이페이는 ImageNet 데이터셋을 개발하여 ‘AI의 대모’로 추앙받고 있으며, 양리쿤은 2018년 튜링상을 수상하며 ‘합성곱 신경망의 아버지’로 불린다. 두 사람 모두 세계 모델의 가장 강력한 옹호자이자 지원자이기도 하다. 리페이페이는 2026년에 세계 모델을 세 가지 유형으로 분류했다: 픽셀을 출력하는 렌더러(renderer), 상태를 출력하는 시뮬레이터(simulator), 그리고 행동을 출력하는 플래너(planner)이다. 그가 설립한 공간지능 기업 월드랩스는 82억 달러의 가치로 AMD에 인수되었다. 한편 양리쿤은 메타에서 퇴사한 뒤 2025년 말 고향인 파리에서 세계 모델 기업 AMI 랩스를 설립했으며, 해당 기업의 평가액은 이미 35억 달러에 이른다.
세계 모델은 창업 분야의 핫한 주제로 떠올랐으며, 많은 기업들이 자신을 세계 모델 회사라고 선언하고 있다. 엔비디아와 구글 등 거대 기업들도 앞다퉈 참여하고 있다. 엔비디아는 로봇, 자율주행차 및 기타 물리 시스템이 현실 세계의 환경을 더 잘 이해하고 예측할 수 있도록 지원하는 것을 목표로 하는 세계 기반 모델 플랫폼인 코스모스를 출시했으며, 구글 딥마인드는 제니 3를 “세계 모델의 새로운 경계”로 자리매김했다.
‘마스터 창업’ 현상을 중시해야 한다
중대한 과학적 발견과 기술 진보는 대개 젊은이들에 의해 촉진된다. 아인슈타인은 “누구든지 30세가 되기 전에 과학적으로 큰 성취를 이루지 못한다면, 그 이후에도 결코 이를 이룰 수 없을 것이다”라고 말했다. 양자역학의 중요한 창시자였던 디랙 또한 대부분의 위대한 물리학자들이 30세 이전에 자신들의 가장 뛰어난 업적을 완성했다고 지적했다. 토머스 쿤은 『과학 혁명의 구조』에서 다음과 같이 밝혔다: “새로운 패러다임의 근본적인 창안을 이루어낸 거의 모든 사람들은 매우 젊었거나, 혹은 자신들이 변화를 일으킬 바로 그 분야에 막 발을 들여놓은 상태였다.” 이는 과학기술 혁신의 ‘30세 법칙’, 보다 정확히는 ‘신인 법칙’으로 불린다.
“인공지능은 젊은 사람들의 사업이자, 젊은이들의 사업입니다.” 튜링은 24세에 튜링 기계 가설을 제시했고, 38세에는 튜링 테스트 사상 실험을 고안했습니다. 존 매카시는 28세에 ‘Artificial Intelligence’라는 용어를 창안했으며, ‘Attention Is All You Need’를 집필한 8명의 저자들 역시 모두 젊은이들입니다. 천재 고등학생 천광위는 16세에 월지암면에 합류해 머신러닝 연구원으로 활동하며, 공동 제1저자로 논문 ‘Attention Residuals’를 발표했습니다. 샘 알트먼은 19세에 대학을 중퇴하고 스타트업을 시작했으며, 30세에 OpenAI의 설립에 참여했습니다. 또한 19세에 대학을 중퇴하고 창업한 왕타오도 있습니다. 그는 데이터 라벨링 회사 Scale AI를 설립했고, 28세에 메타에 합류해 최고AI책임자로 재직했습니다. 데미스 하사비스는 22세에 직장을 그만두고 창업했으며, 34세에 DeepMind를 설립했습니다. 다리오 아모디는 38세에 OpenAI 동료 6명과 함께 Anthropic을 설립했는데, 이는 이미 상당히 고령에 해당합니다.
젊음은 단지 나이만을 의미하는 것이 아니라, 주변의 화려한 광채가 없는 ‘보통 사람’이라는 뜻이기도 합니다. 예를 들어, 매카시는 다트머스 회의를 조직했을 당시에도 아직 조교수에 불과했으며, ‘Transformer 8자’ 역시 ‘Attention Is All You Need’를 발표했을 때는 지위가 낮고 이름조차 알려지지 않은 상태였습니다.
그러나 세계 모델의 경우는 다르며, 많은 성공을 거둔 학자와 교수들이 앞다퉈 스타트업에 뛰어들고 있다. 양리쿤과 리페이페이 두 명의 리더는 각각 65세와 48세에 회사를 설립했다. 또한 홍콩대학교 마이 교수는 51세에 이생테크놀로지를 창업했고, 캘리포니아 공과대학의 아니마 아난드쿠마르 교수는 44세에 Accelerated Understanding을 설립했다. 칭화대학교 주쥔 교수는 40세에 생수테크놀로지를 창업했으며, 캘리포니아 대학교 샌디에이고의 조교수 황비웨이와 칭화대학교 부교수 펑숴는 비교적 젊은 나이인 35세 전후에 회사를 설립했다. 이는 AI 유니콘 기업 창업자의 평균 연령인 창업 당시 29세(출처: Antler, 2026)를 크게 상회하는 수치이다. 아래 표에서 확인할 수 있다.
표 교수님이 설립한 일부 세계 모델 회사들
창업이란 기존의 관행을 깨고 새로운 길을 개척하는 일이지만, 그 과정은 위험과 좌절이 늘相伴한다. 젊은이들은 패기와 도전 정신이 넘치고 기존의 틀에 얽매이는 경우가 적어, 막막한 상태에서 시행착오를 겪으며 배우는 방식으로 더 쉽게 새로운 길을 열어갈 수 있다. 반면, 학식이 풍부하고 화려한 이력을 지닌 교수들은 아이콘의 부담과 경로 의존성에 사로잡혀 있는 경우가 많으며, 대체로 위험 회피 성향을 보인다. 역사적으로도 진정한 의미에서 창업에 성공한 사례는 드물었다. 오늘날 학계의 거물들이 세계 모델 분야로 대거 뛰어들고 있는데, 우리는 이를 어떻게 이해해야 할까? 교수들이 이름만 올리고 학생들이 실질적인 일을 하는 상황은 차치하고, 주로 두 가지 설명이 제시된다.
첫째, 세계 모델 특수론이다. 이는 지식이 매우 밀집된 분야이므로, 해당 지식을 갖춘 교수들이 위대한 기업을 설립해야 한다.
둘째는 AI 거품론이다. 거품 국면에서는 투자자들이 관대해져서 온갖 꿈을 위해 기꺼이 비용을 지불한다. 세계 모델이라는 개념은 매우 고무적이며, 그 열광은 AI 거품의 한 단면을 보여준다.