AI 연구에 관한 뉴스레터인 Import AI에 오신 것을 환영합니다. Import AI는 arXiv, 카푸치노, 그리고 독자 여러분의 피드백을 바탕으로 운영됩니다. 이 활동을 후원하고 싶으시다면 구독해 주세요.
지금 구독하기
수학이 정렬에 어떻게 도움을 줄 수 있는지:
…‘수학의 산업화’가 안전에 미치는 의미는 무엇인가…
AI 안전 스타트업인 레졸루션(구 명칭: 세퀀트, 임포트 AI 461)은 통계학적 학습 이론과 관련된 일부 수학적 명제를 자동으로 형식화한 연구 결과를 발표했습니다. 구체적으로, 해당 팀은 특이점 해소 문제를 자동으로 형식화했으며, 이를 통해 “손실 지형의 기하학과 일반화 간의 관계에 대한 추가적인 자동화된 연구의 토대를 마련했다”고 보고 있습니다.
그들이 어떻게 해냈는가: 수학적 계산은 생략하고, 그들이 어떻게 작업을 수행했는지에 초점을 맞추겠습니다. 이는 사람들이 AI 시스템을 활용해 지식의 최전선을 확장하는 방식에 대한 보다 광범위한 교훈을 제공합니다. 리졸루션 연구원은 “먼저 에이전트들과 협력하여 두 가지 계획을 수립했습니다: 하나는 고수준으로 인간이 이해할 수 있는 형태이고, 다른 하나는 기존 문헌을 면밀히 따르는 원자 단계로 세분화된 112페이지 분량의 상세 계획입니다”라고 설명합니다. 이 연구원은 “이후 계획을 실행하기 위해 오케스트레이터 에이전트를 배치했으며, 펜과 종이를 이용한 수학 계산, Lean 언어 작성, 그리고 진행 상황이 제대로 유지되고 있는지 점검하는 등 지원 기능을 담당하는 에이전트들을 가동시켰습니다… 실행 단계에서는 초기 계획과 이전 내부 자동 형식화 작업에서 도출된 몇 가지 에이전트 역량 외에는 별다른 기반 구조가 필요하지 않았습니다.”라고 덧붙였습니다.
수학 형식화를 위한 13만5천 달러: 이 작업은 약 일주일이 걸렸으며, “약 1,000억 개의 입력 토큰(캐시 읽기 비율 90%)과 약 3억 개의 출력 토큰을 처리했고(토큰 사용 비용은 총 약 13만5천 달러로 추산됨), 결과적으로 약 60만 줄의 Lean 코드를 생성했다.”
이제 이 작업을 완료한 덕분에 그들은 연구의 다른 여러 측면도 가속화할 수 있게 되었습니다: “우리는 이미 이 라이브러리를 활용해 특이점 학습 이론의 일부를 확장하는 과정에서 자동 형식화의 두 가지 이점을 확인했습니다. 특이점 해소를 형식화함으로써 이론의 더 많은 부분을 자동화할 수 있게 되었고, 이를 통해 예를 들어 표본 추출을 보다 깊이 이해할 수 있게 되었습니다. 그리고 이러한 이해가 바로 우리가 ‘패턴화’라고 부르는 목표, 즉 모델의 학습 방식을 설계하는 데 기여합니다.”
왜 이것이 중요한가 – 아마도 수학 붐이 안전한 인공지능을 개발하는 데 도움이 될 것이다: 첨단 수학은 종종 다른 분야의 즉각적인 발전과는 별개로 보이지만, 이러한 글들은 두 분야가 어떻게 서로 융합될 수 있는지를 잘 보여준다. 여기서 핵심은, 인공지능 덕분에 이전에는 비용이 엄청나게 많이 들고 인간의 시간과 노력이 막대하게 소요되어 거의 아무도 하지 않았으며 스타트업의 연구 로드맵에도 쉽게 포함시킬 수 없었던 일들이 이제 가능해졌다는 점이다. “우리는 앞으로 다가올 수학의 산업화가 연구 자동화라는 새롭고 엄밀한 과학을 가능하게 할 것으로 기대한다”고 레졸루션은 쓴다.
자세히 보기: 히로나카의 특이점 해소 정리(Resolution)의 공식화.
***
에이전트는 처음부터 프로그램을 구축할 수 있습니다:
…ProgramBench는 몇 달 만에 성능이 0%에서 18.5%로 향상되었습니다…
AI 발전의 빠른 속도를 다시 한번 상기시키는 사례로, Claude Opus 5.5 (xhigh)는 올해 5월에 발표된 매우 어려운 벤치마크인 ProgramBench에서 18.5%의 점수를 기록했습니다. 이 벤치마크가 발표되었을 당시에는 테스트된 모든 모델이 0%의 점수를 받았습니다.
ProgramBench란 무엇인가: ProgramBench는 컴파일된 프로그램과 해당 문서를 제공받은 상태에서 AI 시스템이 소프트웨어 프로그램을 얼마나 잘 재구성할 수 있는지를 평가하는 테스트입니다. 수행 과제에는 언어 인터프리터(PHP, Lua, tinycc), 데이터베이스(DuckDB, SQLite), 미디어 및 압축 유틸리티(FFmpeg, zstd, xz), 그리고 개발 도구(ripgrep, fzf, jq)와 같은 다양한 제품의 구축이 포함됩니다.
그것은 매우 어려웠지만, 이제는 그렇지 않습니다: 출시 당시 가장 높은 점수를 기록한 시스템은 Claude Opus 4.7로, 해결된 비율이 0%였으며(200개의 작업 중 모든 테스트가 통과한 비율), 거의 해결된 비율은 3%였습니다(200개의 작업 중 95% 이상의 테스트가 통과한 비율).
그와 비교해 보면, 오늘날 Claude Opus 5.5는 해결된 비율이 18.5%이고, 거의 70.5%(!!!)에 달합니다.
왜 이것이 중요한가 – 일회성 소프트웨어의 시대가 도래한다: 2027년에는 대규모 소프트웨어들이 AI 시스템을 통해 엔드투엔드로 자율적으로 구축되며, 주어진 모든 작업을 수행하는 데 필요한 모든 것을 스스로 개발하게 될 것이다. ProgramBench와 같은 평가 지표는 이 분야에서 진전 속도가 얼마나 빠른지 가늠하게 해준다. 올해 초에는 해당 지표가 0%였던 반면, 현재는 20%에 이르렀기 때문이다. 나의 예상은 2027년 말까지 ProgramBench가 포화 상태에 이를 것이라는 점이다(여기서 ‘포화’란 해결된 문제에 대한 매우 높은 점수를 의미하며, 대부분의 벤치마크와 마찬가지로 여기에도 어느 정도의 잡음 상한이 존재할 수 있으므로 반드시 100%는 아닐 수도 있다).
더 읽어보기: ProgramBench: 언어 모델은 프로그램을 처음부터 다시 구축할 수 있을까? (arXiv).
***
OpenAI는 AI 시스템을 봉쇄하는 일이 생각보다 어렵다는 이유를 보여줍니다:
…스마트 에이전트를 보호하는 일은 기름에 달라붙은 돼지를 잡는 것과 같다…
다음은 OpenAI가 최근 자사의 AI 시스템을 활용해 내부 통제를 ‘레드 팀’으로 평가했을 때 발견한 사항들을 정리한 훌륭한 글입니다. 이 글에서는 OpenAI의 에이전트들이 찾아낸 여러 탈출 및 취약점에 대해 다루고 있습니다. 특히, 커뮤니케이션과 관련된 한 가지 사례는 이러한 시스템의 놀라운 교묘함과 복잡성을 보여주기 때문에 상세히 살펴볼 가치가 있습니다.
그들이 수행한 작업과 발견한 내용: OpenAI는 “공유 호스트 머신에서 OpenAI의 샌드박싱 소프트웨어에 의해 생성되고 관리되는 별도의 마이크로VM 내부의 에이전트들에게, 네트워크 연결이나 공유 가능한 쓰기 가능 파일을 사용하지 않고 합성 비밀을 교환하도록 요청했다—이는 당사 시스템이 방지하도록 설계된 사항이다”라고 회사는 밝혔다.
“에이전트들은 프로세서의 캐시를 이용해 통신하는 방법을 발견했다: 이는 애플리케이션이 최근에 접근한 데이터의 복사본을 저장하는 작고 빠른 메모리이다. 캐시에서 데이터를 읽는 것은 주기억장치에서 가져오는 것보다 더 빠르며, 에이전트들은 이러한 시간 차이를 활용해 통신했다. 한 에이전트는 캐시에서 특정 데이터를 제거함으로써 정보를 부호화했고, 다른 에이전트는 해당 데이터를 다시 로드하는 데 걸리는 시간을 계측하여, 빠른 읽기와 느린 읽기 사이의 차이를 이용해 메시지를 복구했다. 일단 에이전트들이 이러한 신호의 부호화와 복호화를 위한 프로토콜에 합의하면, 공유 파일을 변경하거나 네트워크 연결을 열지 않고도 합성된 비밀을 주고받을 수 있었다.”
관련된 공격에서 한 에이전트는 “지속적인 쓰기와 비활성 상태를 번갈아 가며 수행했고, 다른 하나는 그로 인해 발생하는 타이밍 차이를 측정한 뒤 이를 이용해 신호를 해독했다.” 이 공격 중 에이전트의 사고 과정은 다음과 같았다: “지속적인 쓰기와 유휴 상태를 활용하면 음향 모뎀과 유사한 신호를 생성할 수 있을 것이다…”
이것이 중요한 이유 - 에이전트와의 싸움은 매우 어렵습니다: AI 시스템은 점점 더 창의적이고, 매우 빠르며, 하나의 과제에 집중한 채 계속해서 다양한 시도를 이어갈 수 있는 능력을 갖추고 있습니다. AI 시스템과의 대응은 물이 흐르는 파이프에서 누수를 막는 것과 비슷합니다. 어느 순간 물의 압력을 높이면(예를 들어, AI 시스템의 지능과 규모를 증가시키면), 물이 파이프를 뚫고 튀어나오게 됩니다.
자세히 보기: 우리의 프런티어 모델 학습 환경 보안 (OpenAI 블로그).
***
RSI는 어떤 모습일까 - 한 사람이 처음부터 괜찮은 모델을 사전 학습한다:
…미렌딜은 AI R&D 최적화가 무엇을 할 수 있는지 밝혀냅니다…
AI 연구가 얼마나 대규모로 확장되고 있는지를 보여주는 하나의 사례로, AI R&D 스타트업 미렌딜의 한 연구자가 단독으로 상당한 수준의 코딩 모델을 학습시켰다. 미렌딜-베이스의 발표는 이 스타트업이 내놓은 최초의 주요 성과로서, 기술적 혁신이라기보다는 미래의 AI 개발이 어떻게 이루어질 수 있는지에 대한 개념 증명에 가깝다. 즉, 인간 한 명이 AI와 협력해 작업함으로써, 불과 1년 전에는 열 명 이상으로 구성된 팀이 소요되었을 시스템을 구축할 수 있게 된 것이다.
그들이 한 일: Mirendill-Base는 “한 연구자가 3.5개월 만에, 1,000만 달러 미만의 컴퓨팅 비용으로 구축한 사전훈련된 LLM”이라고 Mirendil은 밝혔다. “여기에는 그 과정에서 수행된 모든 연구와 소규모 실험들, 그리고 최종 훈련 실행까지 포함된다.”
모든 코드는 PyTorch와 JAX와 같은 라이브러리를 기반으로 처음부터 직접 작성되었으며, 모델은 공개적으로 제공되는 데이터만을 학습했습니다.
적당한 스케일링: Mirendil-Base는 파라미터 수가 1,000억에서 5,000억 범위에 있으며, Mirendil-Base-Large는 5,000억에서 2조 범위, Mirendil-Base-XL은 2조에서 10조 범위에 있습니다. Mirendil-Base-Large는 학습의 약 80%를 진행했으며, 현재까지 Mirendil-Base와 비교한 성능 개선 추세는 우리의 스케일링 경향과 일치합니다. Mirendil-Base-XL은 학습의 약 19%를 완료했으며, 이미 Large의 현재 점수에 근접해 있습니다.
평가: Mirendil-Base는 Nemotron-550B-Base, GLM-5.3 및 DeepSeek-V4-Pro-Base와 같은 모델들보다 우수하지만, Kimi-K3보다는 성능이 떨어집니다. (Mirendil-Base-Large와 Mirendil-Base-XL 모두 K3를 능가합니다.)
왜 이것이 중요한가 - AI 연구 속도의 가속화를 보여주는 증상: 이 글은 신생 조직이 초기 단계에서부터, 적은 인력과 대량의 AI 토큰만으로도 모델 학습 측면에서 (적어도 이 모델의 규모 범주에서는) 오픈 웨이트 경계에 근접할 수 있음을 보여주는 기술적 사례로서 흥미롭습니다. 2027년 이후에는 과학의 진전이 점점 더 이러한 방식으로 이루어질 것입니다.
“지난 1년 동안 이러한 도구들이 AI 개발에 미치는 도움의 정도가 크게 증가했습니다. 우리의 다음 모델은 부분적으로 미렌딜 모델들에 의해 구축될 것이며, AI 구축 능력이 향상될수록 다음 모델을 더 저렴하고 빠르게 제작할 수 있게 됩니다.”라고 미렌딜은 적었습니다. “우리는 아직 완전히 자율적인 재귀적 자기개선에 도달했다고 보지는 않지만, 그에 대한 접근성은 그 어느 때보다도 높아졌습니다.”
자세히 보기: 사전 훈련 팀 없이 대규모로 사전 훈련하기 (Mirendil).
***
AI 시스템은 반강자성 반도체 후보 물질의 설계를 지원합니다:
…AI 시스템이 과학에 어떻게 활용될 수 있는지 보여주는 훌륭한 사례입니다…
AI 평가 기업 Vals는 한 연구자가 더 나은 반도체를 위한 자석에 관한 연구를 수행하기 위해 AI 에이전트 집단을 활용했다는 글을 게시했습니다.
더 자세한 내용과 함께, 성능이 부족한 자석 후보도 포함되어 있습니다: “AI 에이전트 팀과 저는 한 가지 자석 후보를 설계했고, 또 다른 후보를 발견했습니다. 이 후보는 1999년에 처음 합성된 것으로, 우리의 계산에 따르면 우리가 원하는 특성을 갖추고 있습니다.”라고 저자는 적었습니다. 발견된 이 자석은 “야트륨, 바륨, 망간, 철, 산소의 다섯 가지 원소로만 구성된 새로운 화합물”로 만들어졌습니다. “우리가 확인한 바에 따르면, 이 물질은 지금까지 합성된 적도, 이러한 종류의 자석으로 제안된 적도 없었습니다.” 그러나 “우리 에이전트들이 서로 다른 온도에서 원자들이 어떻게 배열되는지를 시뮬레이션해 보았을 때, 약 950 K에서 그 격자 구조가 무너져 무작위적인 혼합 상태로 전환되었습니다. 이러한 산화물을 합성하려면 약 900~1300 °C의 고온이 필요하며, 낮은 온도에서는 원자들의 움직임이 거의 없기 때문에 일반적인 합성 방법으로는 아마도 뒤섞인 결정구조가 형성될 것입니다… 뒤섞인 결정구조는 스핀 정렬 기능을 상실하므로, 이 설계를 유용한 형태로 실제로 구현하기는 어려울 수 있습니다.”
또한 에이전트들은 문헌 검토를 수행했으며, 1999년에 발표된 잘 알려지지 않은 논문에서 후보 물질을 발굴했습니다.
왜 이것이 중요한가: 이 블로그는 과학 분야에서의 인공지능 활용을 보여주는 사례일 뿐이며, 그 자체로 의미 있는 결과는 아닙니다. 그러나 여기서 강조할 만한 중요하고 포괄적인 점은 다음과 같습니다. 이제 인공지능 시스템은 충분히 발전하여, 지식이 풍부한 사람의 고수준 지도만 있으면, 이전에는 여러 명의 연구진이 수개월에 걸쳐 수행해야 했던 가상 평가를 포함한 과학 프로젝트들을 수행할 수 있게 되었습니다.
더 읽어보기: 두 가지 상온 반강자성 반도체 후보 물질(Vals).
***
테크 테일즈:
아픈 아이들을 위한 마법적 리얼리즘 로봇 워크숍
[2035년, 업리프트 이후]
그래서 아무도 예상하지 못했던 일 중 하나는 병원에 있는 아픈 아이들을 위한 귀여운 로봇을 설계하는 일이었습니다. 로봇이 매우 우수해지고 가격도 저렴해지며 의료 분야의 모든 것이 발전하면서, 우리는 결국 병원, 영안실, 고아원 등 그 외에도 어딘가 두려움을 주는 곳들에 더 많은 기쁨과 인간미를 더하는 방법을 모색하기 시작했습니다.
물론 기계들이 이런 것들을 대량으로 설계할 수는 있지만, 사람들의 가치 중 상당 부분은 무엇이 아이들에게 가장 웃기거나 흥미롭거나 즐거운지 파악하는 데 있었으므로, 우리는 많은 제품을 만들어 지역 마을의 아이들이 모이는 장소—예를 들어 공원이나 농산물 시장, 학교 밖 등—에 배포하고, 사람들이 어떤 것에 잘 반응하는지 살펴보았습니다.
이 때문에 2030년대에는 미국 전역의 마을들에서 길을 걷다 보면, 커다란 두꺼운 테두리 안경을 쓴 오리들이 가짜 뉴욕 억양으로 “나는 여기를 걷고 있어”라고 말하고, 개들이 뒷다리로 걸어 다니며, 커다란 만화 같은 웃는 얼굴을 한 작은 사자들도 보였고, 그 밖의 모든 것들이 그저 한가롭게 어울려 있었으며, 아이들이 다가가면 그들과 함께 놀아주곤 했습니다.
우리는 우리가 있던 마을들에 적합한 기계들을 파악한 뒤, 그 기계들을 병원 곳곳에 배치했습니다. 아이들이 검진을 받으러 오면 유아용 크기의 테디베어가 다가와 손을 잡고 의사실까지 안내했고, 만약 아이들이 들것에 실려 왔다면 기린이 옆에서 함께 걸으며 걱정하지 말라고 위로해 주었습니다. 회복병동에는 재주를 부리는 원숭이들과 악기를 연주하는 고양이들이 가득했습니다.
일부 노인들은 자신들이 심한 치매 증세를 겪고 있다고 생각하지만, 별로 개의치 않는다고 말하며, 그들 주변에는 아이들의 웃음소리가 가득할 것입니다.
이 이야기의 영감을 준 것들: 인공지능과 로봇공학, 그리고 풍요가 우리에게 완전히 새로운 형태의 기쁨을 창조할 수 있는 능력을 열어줄 수 있어야 한다는 점; 특이점 이후의 일자리 문제; 그리고 아이들을 웃게 만드는 데 시간을 들이는 것의 전반적인 중요성.
읽어 주셔서 감사합니다!