제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
블랙스톤의 AI 사업 책임자인 자스 카이라는 테크크런치 디스럽트 컨퍼런스에서, AI 인프라 분야의 막대한 부채에 대한 시장의 공포가 과도하게 확대되었다고 밝혔다. 그의 핵심 논거는 다음과 같다: 해당 부채는 주로 마이크로소프트, 메타 등 신용등급이 높은 고객들과 체결된 장기 계약에 의해 뒷받침되며, 하부 자산(예: GPU 등) 역시 강력한 담보 가치를 지니고 있어 위험 구조가 2008년 은행 시스템과는 본질적으로 다르다는 점이다.
미국 연방 판사는 트럼프 행정부가 환경보호청(EPA)에 지시하여, 스페이스XAI가 멤피스에서 허가받지 않은 가스터빈을 운영함으로써 발생한 대기오염 관련 소송을 일방적으로 취하하도록 할 권한이 없다고 판결했으며, NAACP가 제기한 소송은 계속 진행될 것이라고 밝혔다.
Dharma-AI는 VocabX 방법을 제안하여, 포르투갈어 작문 자동 채점과 같은 특정 작업에 맞춰 언어 모델의 어휘표를 재구성함으로써 단어 빈도가 아닌 단어 비용을 최적화 목표로 삼습니다. 모델 구조, 파라미터 또는 학습 프로세스를 수정하지 않은 상태에서, 실험 결과 추론 비용이 77% 감소하는 동시에 평가 점수(bench score)가 0.703에서 0.810으로 향상되었습니다.
이 글은 Hugging Face와 Amazon이 공동으로 발표한 기술 블로그 시리즈의 첫 번째 편으로, AWS Trainium AI 가속 칩에서 TorchNeuron을 활용한 PyTorch 모델 추론 성능 분석 방법을 체계적으로 소개합니다. 여기에는 Neuron 백엔드 통합 원리, torch.profiler 구성 방법, NeuronConfig 및 NeuronProfiler 도구의 사용법, Neuron Explorer를 이용한 시각적 추적 등이 포함되며, RMSNorm을 사례로 삼아 세 가지 구현 방식(순수 PyTorch, torch.rms_norm 내장형 병합, torch.compile 자동 병합) 간의 장치별 처리 시간 차이를 비교합니다.
i14는 30.28억 개의 파라미터를 갖는 Laplace 3B 모델을 출시했으며, Softmax 주의 메커니즘을 대체해 게이트 제어 선형 주의(GLA)를 채택했습니다. 이 모델은 추론 시 각 시퀀스의 재귀 상태 크기가 항상 29.5 MB로, 컨텍스트 길이와 무관합니다. 해당 모델은 AWS trn2.48xlarge 인스턴스 한 대(Trainium2 칩 16개 탑재)에서 훈련 및 서비스 검증을 완료했으며, 훈련 처리량은 초당 12만 토큰에 달하고, 서비스 처리량은 초당 11,544 출력 토큰(동시 실행 시퀀스 수 1,280)입니다. 모든 성능 데이터는 i14와 AWS GenAIIC 팀의 내부 실측 결과입니다.
SF Compute는 에반 콘래드가 설립한 기업으로, GPU 연산력에 대한 프로그래밍 가능하고 물리적으로 교환 가능한 거래를 실현하는 데 중점을 두고 있습니다. 이 회사는 자체 데이터센터를 보유하지 않고, 풀스택 기술을 통해 제3자 시설과 협력해 ‘주권형 연산력 클라우드’를 공동 구축하며, 시장 중립성과 인프라의 통제 가능성에 큰 비중을 두고 있습니다. 현재까지 수억 달러 규모의 거래액을 달성했으며, InfiniBand 동적 분할 등 핵심 기능도 실제로 구현했습니다.
생성형 AI의 급부상으로 인한 고대역폭 메모리 칩 수요 급증에 대응하기 위해, 삼성은 한국 평택에 뉴욕 센트럴파크 규모의 반도체 제조 클러스터를 건설하고 있다. 현재까지 세 곳의 웨이퍼 공장이 가동 중이며, 네 번째 공장은 곧 상업 생산을 시작할 예정이고, 다섯 번째 공장은 2024년 수요 약세로 일시 중단됐다가 다시 건설을 재개했다. 현장에서는 높은 강도와 높은 안전 기준을 갖춘 건설 속도와 노동력 생태계가 구현되고 있다.
Hugging Face는 TorchTPU를 발표하여 PyTorch에 원래의 TPU 백엔드 지원을 제공함으로써, Transformers, Diffusers 등과 같은 라이브러리들이 torch_xla에 의존하거나 JAX로 이전할 필요 없이 바로 TPU에서 실행될 수 있도록 했습니다.
Hugging Face는 AnyLanguageModel 1.0을 정식으로 출시했으며, Apple Foundation Models API와 완전히 호환되는 오픈소스 Swift 프레임워크를 제공합니다. 이 프레임워크는 로컬 모델(MLX, llama.cpp, Core ML)과 호스팅 모델(OpenAI, Anthropic, Gemini, Hugging Face Inference Providers 등) 간의 원활한 전환을 지원하며, 이미지 입력, 도구 호출, 가이드형 생성, 추론 블록 자동 적응 등의 기능도 추가되었습니다.
Hugging Face와 AWS가 공동으로 TorchNeuron을 출시했습니다—PyTorch용 원생형 Trainium 백엔드로, 2026년 10월 20일부터 공개 베타 테스트를 시작합니다. 이 기술을 통해 Transformers, Diffusers 등 주요 라이브러리들이 수정 없이 바로 Trainium 칩에서 실행될 수 있게 되어, 텍스트 생성 및 이미지 생성 모델의 사용 편의성과 호환성을 크게 향상시킵니다.
구글 딥마인드는 싱가포르 GovTech와 함께 Gemma 시리즈를 기반으로 한 경량 엣지 AI 모델을 공동 출시했다. 이 모델은 사용자 기기 내에서 로컬로 실행되도록 최적화되어 있으며, 어떠한 채팅 데이터도 클라우드에 업로드하지 않고도 대화형 사기를 실시간으로 식별하고 경고를 발령할 수 있다.
사이버, 수학, 그리고 AI의 차별적 가속
GPU 관리: 왜 이들 GPU 새로운 지상 항공기
그림 1: CUDA에서 MLX로의 최적화 변환 맵. CUDA 최적화 지식은 명령어 하나하나를 그대로 복사하는 방식이 아니라, 아키텍처에 맞는 MLX 전략으로 변환할 수 있습니다. 우리는 컴퓨팅의 새로운 시대에 직면해 있습니다. 하드웨어는 빠르게 변화하고 있으며, 단지 더 빠른 GPU뿐만 아니라 다양한 벤더의 칩들이 늘어나고 있고, 각각 고유한 아키텍처를 갖추며 종종 특정 AI 워크로드에 맞춰 설계됩니다. 소프트웨어도 그만큼 빠르게 변화하고 있으며, 이제 AI 코딩 도구들은 불과 몇 분 만에 몇 년 전에는 수개월의 노력이 필요했던 작업을 생성해냅니다. 오늘날 컴퓨팅의 많은 부분이 AI 중심으로 이동함에 따라, GPU 커널은 그 성공의 핵심 요소입니다. 이러한 커널은 GPU 내부에서 실행되는 저수준 프로그램으로, 이를 효율적으로 작성하는 일은 결코 당연한 일이 아닙니다—올바르게 구현하기 위해서는 수년간의 전문 지식이 필요합니다. 커널을 다른
… 국민의, 국민에 의한, 국민을 위한 정부 … — 에이브러햄 링컨, 게티스버그 연설(1863년) AI의 비용은 빠르게 하락하고 있습니다. 2023년 초에는 GPT-4 수준의 기능을 구현하는 데 약 백만 토큰당 30달러가 들었지만, 오늘날에는 같은 작업이 1달러 이하로 수행되며 일부 제공업체는 비용을 0.10달러 미만으로까지 낮추고 있습니다. 각종 벤치마크에서 추론 비용은 연간 9배에서 900배까지 하락했으며, 중앙값 기준으로는 약 50배 정도 감소했습니다. 심지어 최첨단 모델들조차 매 세대마다 비용이 극적으로 절감되고 있으며, 오픈소스 모델들도 이를 거의 따라가고 있습니다. 더욱 중요한 점은, 설령 ‘노벨상 수상급 천재 수준’의 지능은 아직 도래하지 않았다 하더라도, 대부분의 지식노동에 충분한 수준의 지능은 이미 오늘날 존재하며 매달 더 저렴해지고 있다는 것입니다. 이러한 속도라면 우리는 곧 사실상 무료인 시대에 접어들게 될 것입니다.
이것이 새로운 세상의 시작일까요?
