제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
AWS는 SageMaker AI의 서버리스 모델 맞춤화 기능에 ‘훈련 세션(Training Sessions)’을 추가했다고 발표했으며, 이는 오늘부터 전면적으로 이용 가능하다. 사용자는 훈련 후 로직(예: 사용자 정의 손실 함수, 보상 신호, 다단계 강화학습 등)을 직접 작성할 수 있으며, GPU 할당, 분산 실행, 장애 복구 및 체크포인트 저장은 모두 플랫폼에서 자동으로 처리된다.
아마존 세이지메이커는 트레이닝 세션(Training Sessions) API를 출시하여, 사용자가 순수 파이썬 스크립트로 SFT, RLHF, GRPO, KTO 등과 같은 맞춤형 대규모 모델 훈련 로직을 구현할 수 있도록 지원합니다. GPU 리소스 스케줄링, 장애 복구, 분산 실행 및 체크포인트 관리는 모두 서비스에서 관리합니다.
탄력적 GPU, 샌드박스 성장, 그리고 에이전트 클라우드의 경제성
탄력적 GPU, 샌드박스 성장, 그리고 에이전트 클라우드의 경제성
블랙스톤의 AI 사업 책임자인 자스 카이라는 테크크런치 디스럽트 컨퍼런스에서, AI 인프라 분야의 막대한 부채에 대한 시장의 공포가 과도하게 확대되었다고 밝혔다. 그의 핵심 논거는 다음과 같다: 해당 부채는 주로 마이크로소프트, 메타 등 신용등급이 높은 고객들과 체결된 장기 계약에 의해 뒷받침되며, 하부 자산(예: GPU 등) 역시 강력한 담보 가치를 지니고 있어 위험 구조가 2008년 은행 시스템과는 본질적으로 다르다는 점이다.
이 글은 Hugging Face와 Amazon이 공동으로 발표한 기술 블로그 시리즈의 첫 번째 편으로, AWS Trainium AI 가속 칩에서 TorchNeuron을 활용한 PyTorch 모델 추론 성능 분석 방법을 체계적으로 소개합니다. 여기에는 Neuron 백엔드 통합 원리, torch.profiler 구성 방법, NeuronConfig 및 NeuronProfiler 도구의 사용법, Neuron Explorer를 이용한 시각적 추적 등이 포함되며, RMSNorm을 사례로 삼아 세 가지 구현 방식(순수 PyTorch, torch.rms_norm 내장형 병합, torch.compile 자동 병합) 간의 장치별 처리 시간 차이를 비교합니다.
i14는 30.28억 개의 파라미터를 갖는 Laplace 3B 모델을 출시했으며, Softmax 주의 메커니즘을 대체해 게이트 제어 선형 주의(GLA)를 채택했습니다. 이 모델은 추론 시 각 시퀀스의 재귀 상태 크기가 항상 29.5 MB로, 컨텍스트 길이와 무관합니다. 해당 모델은 AWS trn2.48xlarge 인스턴스 한 대(Trainium2 칩 16개 탑재)에서 훈련 및 서비스 검증을 완료했으며, 훈련 처리량은 초당 12만 토큰에 달하고, 서비스 처리량은 초당 11,544 출력 토큰(동시 실행 시퀀스 수 1,280)입니다. 모든 성능 데이터는 i14와 AWS GenAIIC 팀의 내부 실측 결과입니다.
생성형 AI의 급부상으로 인한 고대역폭 메모리 칩 수요 급증에 대응하기 위해, 삼성은 한국 평택에 뉴욕 센트럴파크 규모의 반도체 제조 클러스터를 건설하고 있다. 현재까지 세 곳의 웨이퍼 공장이 가동 중이며, 네 번째 공장은 곧 상업 생산을 시작할 예정이고, 다섯 번째 공장은 2024년 수요 약세로 일시 중단됐다가 다시 건설을 재개했다. 현장에서는 높은 강도와 높은 안전 기준을 갖춘 건설 속도와 노동력 생태계가 구현되고 있다.
Hugging Face는 TorchTPU를 발표하여 PyTorch에 원래의 TPU 백엔드 지원을 제공함으로써, Transformers, Diffusers 등과 같은 라이브러리들이 torch_xla에 의존하거나 JAX로 이전할 필요 없이 바로 TPU에서 실행될 수 있도록 했습니다.
Hugging Face와 AWS가 공동으로 TorchNeuron을 출시했습니다—PyTorch용 원생형 Trainium 백엔드로, 2026년 10월 20일부터 공개 베타 테스트를 시작합니다. 이 기술을 통해 Transformers, Diffusers 등 주요 라이브러리들이 수정 없이 바로 Trainium 칩에서 실행될 수 있게 되어, 텍스트 생성 및 이미지 생성 모델의 사용 편의성과 호환성을 크게 향상시킵니다.
GPU 관리: 왜 이들 GPU 새로운 지상 항공기
