TLDR: 모델은 문맥 속에서 새로운 지식을 활용할 수 있지만, 세션이 종료되는 순간 그 지식을 잃어버릴 수 있기 때문에, 지속적 학습은 경험에 따라 모델이 어떻게 변화해야 하는지와 그 결정을 누가 내리는지에 달려 있습니다. SEAL은 이러한 작업의 일부를 모델 자체에 맡깁니다: 모델이 스스로 자기 수정을 생성하고 이를 적용하며, 업데이트된 모델이 얼마나 개선되었는지를 강화학습으로 평가받습니다. 이로 인해 특정 지식 환경에서 질문 응답 정확도가 원본 본문을 기반으로 학습한 경우 33.5%에 비해 47.0%로 상승했습니다.
우리는 맥락, 외부 메모리, 매개변수 업데이트에 걸쳐 기억과 학습을 구분하고, 학습 예제가 실제로 계산에 관한 선택임을 설명하며, LoRA가 해결할 수 있는 것과 해결하지 못하는 것을 살펴봅니다. 이어서 우리는 중첩 학습과 타이탄스로 넘어가는데, 이는 적응을 서로 다른 시간 스케일에 걸쳐 분산시키고, 지속적인 학습자가 반드시 관리해야 하는 치명적 망각 문제를 다루며, 시스템이 스스로 더 나아지는 능력을 향상시키는 데 있어 어떤 증거가 이를 보여줄 수 있는지에 대해 논의합니다.
코딩 어시스턴트에게 새로운 API를 가르친다고 상상해 보세요. 대화 중에는 해당 문서를 올바르게 활용합니다. 하지만 그 문서 없이 새 세션을 열면, 그 교훈은 사라져 버릴 수 있습니다. 어시스턴트는 맥락 속에서 능력을 발휘했지만, 근본적인 모델 자체가 반드시 이를 습득한 것은 아닙니다. 경험을 통해 지속적으로 개선되기를 기대하는 시스템에서는, 이러한 차이는 매우 근본적입니다.
다음 질문은 어떤 경험이 모델을 어떻게 변화시켜야 하는지를 누가 결정하느냐는 것이다. 연구자들은 보통 그 과정을 스스로 설계한다. SEAL과 같은 연구는 모델이 자신의 업데이트를 스스로 구성하는 역할을 부여하며, Nested Learning은 적응이 서로 다른 시간 스케일에서 어떻게 작동할 수 있는지를 탐구한다. 이들 연구는 모두 지속적 학습과 이를 유익하게 만드는 제어 메커니즘에 대해 생각하는 데 유용한 접근 방식을 제공한다.
기억과 학습은 서로 다른 과정입니다
더 읽기