엔비디아, 기업들이 더 적은 GPU로 AI 모델을 실행할 수 있도록 지원하는 인도 스타트업을 후원
심플리스마트는 연간화된 매출액이 6개월 만에 14배로 증가했으며, 미국 시장이 전체 매출의 절반 이상을 차지한다고 밝혔습니다.
제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
심플리스마트는 연간화된 매출액이 6개월 만에 14배로 증가했으며, 미국 시장이 전체 매출의 절반 이상을 차지한다고 밝혔습니다.
오늘은 워크스테이션용 ASRock의 고급형 Radeon AI 추론 카드인 Creator Radeon AI Pro R9700을 살펴봅니다. 32GB의 RAM과 1,700달러의 가격대를 갖춘 이 카드는 로컬 AI 추론을 위한 워크스테이션을 구성하는 데 있어 매우 합리적인 선택입니다. 본 글 ‘ASRock Creator Radeon AI Pro R9700 리뷰: AMD 스타일의 워크스테이션 추론’은 ServeTheHome에 처음 게재되었습니다.
AI 팩토리는 지금까지 만들어진 운영 환경 중에서도 가장 기술적으로 복잡한 곳들 중 하나입니다. 수십만 개의 GPU, NVIDIA 스펙트럼-X 이더넷...
수천 개의 GPU에서 대규모 AI 모델을 학습시키는 작업은 클러스터의 복원력을 최적화하기 위해 모니터링과 자동화가 내장되어야 하는 고위험 작업입니다...
AWS는 SageMaker AI의 서버리스 모델 맞춤화 기능에 ‘훈련 세션(Training Sessions)’을 추가했다고 발표했으며, 이는 오늘부터 전면적으로 이용 가능하다. 사용자는 훈련 후 로직(예: 사용자 정의 손실 함수, 보상 신호, 다단계 강화학습 등)을 직접 작성할 수 있으며, GPU 할당, 분산 실행, 장애 복구 및 체크포인트 저장은 모두 플랫폼에서 자동으로 처리된다.
아마존 세이지메이커는 트레이닝 세션(Training Sessions) API를 출시하여, 사용자가 순수 파이썬 스크립트로 SFT, RLHF, GRPO, KTO 등과 같은 맞춤형 대규모 모델 훈련 로직을 구현할 수 있도록 지원합니다. GPU 리소스 스케줄링, 장애 복구, 분산 실행 및 체크포인트 관리는 모두 서비스에서 관리합니다.
이 글은 Hugging Face와 Amazon이 공동으로 발표한 기술 블로그 시리즈의 첫 번째 편으로, AWS Trainium AI 가속 칩에서 TorchNeuron을 활용한 PyTorch 모델 추론 성능 분석 방법을 체계적으로 소개합니다. 여기에는 Neuron 백엔드 통합 원리, torch.profiler 구성 방법, NeuronConfig 및 NeuronProfiler 도구의 사용법, Neuron Explorer를 이용한 시각적 추적 등이 포함되며, RMSNorm을 사례로 삼아 세 가지 구현 방식(순수 PyTorch, torch.rms_norm 내장형 병합, torch.compile 자동 병합) 간의 장치별 처리 시간 차이를 비교합니다.
i14는 30.28억 개의 파라미터를 갖는 Laplace 3B 모델을 출시했으며, Softmax 주의 메커니즘을 대체해 게이트 제어 선형 주의(GLA)를 채택했습니다. 이 모델은 추론 시 각 시퀀스의 재귀 상태 크기가 항상 29.5 MB로, 컨텍스트 길이와 무관합니다. 해당 모델은 AWS trn2.48xlarge 인스턴스 한 대(Trainium2 칩 16개 탑재)에서 훈련 및 서비스 검증을 완료했으며, 훈련 처리량은 초당 12만 토큰에 달하고, 서비스 처리량은 초당 11,544 출력 토큰(동시 실행 시퀀스 수 1,280)입니다. 모든 성능 데이터는 i14와 AWS GenAIIC 팀의 내부 실측 결과입니다.
Hugging Face와 AWS가 공동으로 TorchNeuron을 출시했습니다—PyTorch용 원생형 Trainium 백엔드로, 2026년 10월 20일부터 공개 베타 테스트를 시작합니다. 이 기술을 통해 Transformers, Diffusers 등 주요 라이브러리들이 수정 없이 바로 Trainium 칩에서 실행될 수 있게 되어, 텍스트 생성 및 이미지 생성 모델의 사용 편의성과 호환성을 크게 향상시킵니다.