판사는 트럼프의 “환경보호청이 데이터센터 오염 관련 소송을 마음대로 취소할 수 있다”는 터무니없는 주장을 기각했다.
미국 연방 판사는 트럼프 행정부가 환경보호청(EPA)에 지시하여, 스페이스XAI가 멤피스에서 허가받지 않은 가스터빈을 운영함으로써 발생한 대기오염 관련 소송을 일방적으로 취하하도록 할 권한이 없다고 판결했으며, NAACP가 제기한 소송은 계속 진행될 것이라고 밝혔다.
AI NEWS JOURNAL
전체 AI 소식
출처, 주제, 시간으로 전체 뉴스에서 관심 소식을 찾아보세요.
NVIDIA cuDSS 정식 출시: 엔지니어링 및 과학 시뮬레이션에서의 희소 선형 시스템 해법 가속
NVIDIA는 2026년 10월 26일(UTC)에 cuDSS 라이브러리가 일반 사용 가능(GA) 단계에 진입했다고 발표했습니다. 이 CUDA-X 라이브러리는 GPU에서 대규모 희소 선형 시스템을 효율적으로 해결하도록 설계되어, 칩, 항공, 산업 시스템 등 분야에서 시뮬레이션 처리량과 반복 계산 효율을 크게 향상시킵니다.
VocabX: 비용 가중 어휘 전문화를 통해 도메인 특화 소형 언어 모델의 추론 비용을 77% 절감
Dharma-AI는 VocabX 방법을 제안하여, 포르투갈어 작문 자동 채점과 같은 특정 작업에 맞춰 언어 모델의 어휘표를 재구성함으로써 단어 빈도가 아닌 단어 비용을 최적화 목표로 삼습니다. 모델 구조, 파라미터 또는 학습 프로세스를 수정하지 않은 상태에서, 실험 결과 추론 비용이 77% 감소하는 동시에 평가 점수(bench score)가 0.703에서 0.810으로 향상되었습니다.
TorchNeuron 시스템 수준 성능 분석(제1부): AWS Trainium 칩 기반 엔드투엔드 프로파일링
이 글은 Hugging Face와 Amazon이 공동으로 발표한 기술 블로그 시리즈의 첫 번째 편으로, AWS Trainium AI 가속 칩에서 TorchNeuron을 활용한 PyTorch 모델 추론 성능 분석 방법을 체계적으로 소개합니다. 여기에는 Neuron 백엔드 통합 원리, torch.profiler 구성 방법, NeuronConfig 및 NeuronProfiler 도구의 사용법, Neuron Explorer를 이용한 시각적 추적 등이 포함되며, RMSNorm을 사례로 삼아 세 가지 구현 방식(순수 PyTorch, torch.rms_norm 내장형 병합, torch.compile 자동 병합) 간의 장치별 처리 시간 차이를 비교합니다.
i14, Laplace 3B 선형 주의 메커니즘 모델 발표: AWS Trainium2와 네이티브 PyTorch를 기반으로 한 고정 상태 메모리 추론 구현
i14는 30.28억 개의 파라미터를 갖는 Laplace 3B 모델을 출시했으며, Softmax 주의 메커니즘을 대체해 게이트 제어 선형 주의(GLA)를 채택했습니다. 이 모델은 추론 시 각 시퀀스의 재귀 상태 크기가 항상 29.5 MB로, 컨텍스트 길이와 무관합니다. 해당 모델은 AWS trn2.48xlarge 인스턴스 한 대(Trainium2 칩 16개 탑재)에서 훈련 및 서비스 검증을 완료했으며, 훈련 처리량은 초당 12만 토큰에 달하고, 서비스 처리량은 초당 11,544 출력 토큰(동시 실행 시퀀스 수 1,280)입니다. 모든 성능 데이터는 i14와 AWS GenAIIC 팀의 내부 실측 결과입니다.
SF Compute, 프로그래밍 가능한 데이터센터 구축: 물리적 인도를 기반으로 한 GPU 연산력 거래 시장
SF Compute는 에반 콘래드가 설립한 기업으로, 중립적이고 프로그래밍 가능하며 물리적 인도를 지원하는 GPU 연산력 거래 인프라 구축을 목표로 합니다. 이 회사의 모델은 FLOPS 상품의 추상화를 지양하고 하드웨어의 이기종성, 실제 인도 및 실시간 제약(예: 중단 허용성, InfiniBand 토폴로지, 펌웨어 버전 등)을 강조합니다. 현재까지 수백억 달러 규모의 거래량을 달성했으며, 동적 InfiniBand 서브넷 분할과 같은 기반 기능도 선보였습니다.
SF Compute, 프로그래밍 가능한 데이터센터 구축: 물리적 인도를 통해 GPU 연산력 거래의 시장화 촉진
SF Compute는 에반 콘래드가 설립한 기업으로, GPU 연산력에 대한 프로그래밍 가능하고 물리적으로 교환 가능한 거래를 실현하는 데 중점을 두고 있습니다. 이 회사는 자체 데이터센터를 보유하지 않고, 풀스택 기술을 통해 제3자 시설과 협력해 ‘주권형 연산력 클라우드’를 공동 구축하며, 시장 중립성과 인프라의 통제 가능성에 큰 비중을 두고 있습니다. 현재까지 수억 달러 규모의 거래액을 달성했으며, InfiniBand 동적 분할 등 핵심 기능도 실제로 구현했습니다.
삼성 평택 초대규모 반도체 신규 기지 탐방: AI가 이끄는 메모리 칩 증설 열풍
생성형 AI의 급부상으로 인한 고대역폭 메모리 칩 수요 급증에 대응하기 위해, 삼성은 한국 평택에 뉴욕 센트럴파크 규모의 반도체 제조 클러스터를 건설하고 있다. 현재까지 세 곳의 웨이퍼 공장이 가동 중이며, 네 번째 공장은 곧 상업 생산을 시작할 예정이고, 다섯 번째 공장은 2024년 수요 약세로 일시 중단됐다가 다시 건설을 재개했다. 현장에서는 높은 강도와 높은 안전 기준을 갖춘 건설 속도와 노동력 생태계가 구현되고 있다.
Hugging Face가 TorchTPU를 출시했습니다: PyTorch에서 Google TPU를 기본 지원합니다
Hugging Face는 TorchTPU를 발표하여 PyTorch에 원래의 TPU 백엔드 지원을 제공함으로써, Transformers, Diffusers 등과 같은 라이브러리들이 torch_xla에 의존하거나 JAX로 이전할 필요 없이 바로 TPU에서 실행될 수 있도록 했습니다.
AnyLanguageModel 1.0 출시: 로컬 및 호스팅 모델을 지원하는 통합 Swift 인터페이스로, Apple 플랫폼의 모든 OS에 완벽히 대응합니다 27
Hugging Face는 AnyLanguageModel 1.0을 정식으로 출시했으며, Apple Foundation Models API와 완전히 호환되는 오픈소스 Swift 프레임워크를 제공합니다. 이 프레임워크는 로컬 모델(MLX, llama.cpp, Core ML)과 호스팅 모델(OpenAI, Anthropic, Gemini, Hugging Face Inference Providers 등) 간의 원활한 전환을 지원하며, 이미지 입력, 도구 호출, 가이드형 생성, 추론 블록 자동 적응 등의 기능도 추가되었습니다.
TorchNeuron 공개 베타 출시: Hugging Face 모델이 AWS Trainium의 학습과 추론을 기본 지원
Hugging Face와 AWS가 공동으로 TorchNeuron을 출시했습니다—PyTorch용 원생형 Trainium 백엔드로, 2026년 10월 20일부터 공개 베타 테스트를 시작합니다. 이 기술을 통해 Transformers, Diffusers 등 주요 라이브러리들이 수정 없이 바로 Trainium 칩에서 실행될 수 있게 되어, 텍스트 생성 및 이미지 생성 모델의 사용 편의성과 호환성을 크게 향상시킵니다.
GPU 클러스터에 대한 충격적인 스케줄링
GPU 클러스터에 대한 충격적인 스케줄링
변압기는 지금 llama.cpp quants를 달립니다
변압기는 지금 llama.cpp quants를 달립니다
Quantization-Aware Healing : 압축 된 4 비트 모델은 전체 정밀도 원본을 설명합니다
Quantization-Aware Healing : 압축 된 4 비트 모델은 전체 정밀도 원본을 설명합니다
GPU 관리: 왜 이들 GPU 새로운 지상 항공기
GPU 관리: 왜 이들 GPU 새로운 지상 항공기
Native-speed vLLM 변압기 모델링 백엔드
Native-speed vLLM 변압기 모델링 백엔드
하나의 명령에서 HF 작업에 vLLM 서버를 실행
하나의 명령에서 HF 작업에 vLLM 서버를 실행