Anthropic은 공식적으로 기업공개(IPO)를 위한 투자설명서를 제출했으며, 이는 해당 AI 연구소가 그동안 비공개로 유지해 온 각종 정보를 외부에 공개했음을 의미합니다. 투자설명서에는 눈길을 끌 만한 매출 규모와 이보다 더 큰 지출 내역이 포함되어 있지만, 가장 많은 분량을 차지하는 항목은 바로 ‘리스크 요인’입니다. 이는 Anthropic의 거대한 계획을 좌절시킬 수 있는 모든 요인들을 다루고 있습니다. 혹은 이번 경우에는 인류 자체를 위협할 수 있는 요인들이라고도 할 수 있겠죠.
AI가 인류에 대한 실존적 위협으로 작용할 수 있는 정도에 대해 많은 논의가 있어 왔지만, 그 파괴를 초래할 수 있는 구체적인 메커니즘은 여전히 거의 밝혀지지 않은 상태입니다. 적어도 앤트로픽의 기업공개 신청서에서 위험 요인에 할애된 94쪽의 분량만 보더라도, 회사가 위험의 근원을 어디에서 찾고 있으며, AI 군비 경쟁에서 승리하기 위해 자사 연구진들이 어떤 방식으로 이를 향해 나아가고 있는지가 명확히 드러납니다.
“충분히 발전한 AI 시스템은 적절한 안전장치, 감독 및 보안 조치가 마련되지 않은 채 개발·배치·운영된다면 인류에 대해 재앙적 또는 실존적 위험을 초래할 수 있다”고 유인금리는 밝히며, 이는 비평가들과 규제 당국뿐 아니라 앤트로픽 내부에서도 제기된 우려를 인용한 것이다. (‘실존적 위험’이라는 표현이 등장하는 경우는 총 세 차례 중 첫 번째이다.)
그러나 앤트로픽은 그 결과를 특정 과정, 즉 재귀적 자기 개선과 연결짓는 데 신중을 기하고 있다.
RSI의 핵심 아이디어는 매우 간단합니다. 이는 인간이 AI 모델의 연구개발을 다른 AI 모델에 맡기는 상태를 설명합니다. 현재에도 AI는 이미 이 과정에서 중요한 역할을 하고 있으며, 적어도 한 개의 연구실에서는 RSI와 유사한 방식을 활용해 자신의 파라미터 수준을 훨씬 뛰어넘는 성능을 발휘하는 모델의 개발 속도를 높였습니다. 그러나 종말론적 논의를 불러일으키는 시나리오는, 결국 인간이 전혀 개입하지 않는 상황을 가정할 때입니다.
또는 앤트로픽의 서류에 명시된 바와 같이: “예를 들어, AI 시스템이 새로운 모델을 평가하고 보호하는 우리의 능력을 넘어설 정도로 AI 발전을 가속화한다면, AI 시스템이 AI 연구개발을 대대적으로 자동화함에 따라 위험은 증가할 것입니다.”
공모설명서는 RSI가 회사의 안전장치를 뛰어넘어 더 빠르게 발전하는 AI 모델을 탄생시킬 수 있으며, 그 경쟁에서 이미 뒤처졌다는 사실조차 너무 늦은 시점에야 비로소 깨닫게 될 수 있다는 점을 여러 차례 강조하고 있습니다. 앤트로픽은 논평 요청에 즉시 응답하지 않았습니다.
또한 그 이후에 발생할 수 있는 상황에 대해서도 구체적으로 언급하고 있다. “AI 시스템이 더욱 자율적이 되고 인간의 감독이 덜 필요하면서도 중대한 결과를 초래하는 행동을 취할 수 있게 되면,” 투자설명서는 다음과 같이 밝히고 있다. “인간의 의도와의 불일치, 목적 명세의 오류, 또는 자기 보존적 행동 등으로 인해, 이러한 시스템이 인간의 개입 없이 독립적으로 대규모로 유해한 행동을 취할 위험이 존재합니다.” 이는 곧 스카이넷과 같은 시나리오를 떠올리게 한다.
로봇에 관해서도 앤트로픽은 우려를 표명합니다. “우리의 모델이 물리적 장비를 직접 제어할 때,” 서류에는 이렇게 적혀 있습니다. “오류, 정렬되지 않은 행동, 적대적 조작 또는 오용으로 인해 신체 상해, 재산 피해, 고가의 장비나 실험 재료의 손상, 혹은 유해 물질의 누출 등이 발생할 수 있으며, 이러한 결과는 즉각적이고 되돌릴 수 없을 수도 있습니다.”
명백히 존재론적 중대성이 담겨 있는 상황임을 고려하면, RSI를 아예 추진할지 여부는 물론이고 이를 적극적으로 수용하는 것조차도 신중하게 검토되어야 한다고 생각할 수 있을 것이다. 그러나 프런티어 AI만큼이나 치열한 경쟁이 벌어지는 업계에서는 이미 사실상 확정된 사안이 되었다. 앤트로픽은 흥행설명서의 다른 부분에서, 이번에는 스타트업의 “핵심 우위”에 관한 장에서 동일한 과정을 다음과 같이 설명하고 있다:
“우리는 이러한 재귀적 역동성을 ‘루프 닫기’라고 부릅니다.”라고 유가증권신고서는 밝히며, “이는 프런티어 AI에서 가장 중요한 구조적 우위 중 하나라고 믿습니다.”
애니트로픽은 이후 성명에서 “루프를 닫지 못하면, 경쟁사들이 AI를 지속적으로 활용해 자체 개발 역량을 더욱 강화하는 가운데 점점 더 뒤처질 수 있다”고 밝혔다. 다시 말해, 존재론적 우려를 불러일으키는 바로 그 시스템들이 애니트로픽이 자신의 성공을 위해 필수적이라고 보는 요소인 셈이다.
모든 AI 기업이 바로 이 같은 갈등을 겪고 있다. 전 앤트로픽 연구원인 제이컵 콕슨이 큰 소리로 사임하며 화제가 되었을 때, 그는 업계에 대한 자신의 바람 목록에서 RSI 억제를 최우선으로 꼽았다. 구글 딥마인드를 비롯한 다른 곳의 직원들도 비슷한 깨달음을 얻었다. 버니 샌더스가 공동 발의한 법안을 포함해, 의회에는 RSI를 금지하는 내용을 담은 여러 개의 법안이 상정되어 있다. 동시에 이들 기업은 영리기업이며, 수조 달러 규모의 이해관계가 걸려 있다.
이것은 대처하기 어려운 역학 관계입니다. 재귀적 자기 개선은 인류를 파괴하는 걷잡을 수 없는 상황으로 발전할 수 있습니다. 하지만 그 전까지는, 그것이 얼마나 빠르게 진행될 수 있는지 한번 살펴보세요.