제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
이 글은 Hugging Face와 Amazon이 공동으로 발표한 기술 블로그 시리즈의 첫 번째 편으로, AWS Trainium AI 가속 칩에서 TorchNeuron을 활용한 PyTorch 모델 추론 성능 분석 방법을 체계적으로 소개합니다. 여기에는 Neuron 백엔드 통합 원리, torch.profiler 구성 방법, NeuronConfig 및 NeuronProfiler 도구의 사용법, Neuron Explorer를 이용한 시각적 추적 등이 포함되며, RMSNorm을 사례로 삼아 세 가지 구현 방식(순수 PyTorch, torch.rms_norm 내장형 병합, torch.compile 자동 병합) 간의 장치별 처리 시간 차이를 비교합니다.
NVIDIA는 오픈소스 시계열 예측 모델인 Kumo Forecast(구 NV-Tesseract Forecasting)를 출시했습니다. 이 모델은 MOMENT-1-large Transformer 아키텍처를 기반으로 하며, 직접 예측과 도메인 인식 표현 및 검색(DARR)의 두 가지 경로 추론을 지원하고, 모델 구조를 수정할 필요 없이 내장된 해석 가능성 프레임워크를 탑재하고 있습니다.
NVIDIA는 사전 훈련된 관계형 기반 모델인 Kumo Relational을 출시했으며, 이 모델은 기업용 관계형 데이터베이스에서 이탈 예측, 사기 탐지, 수요 예측 등 다양한 예측 작업을 직접 수행할 수 있습니다. 작업 미세조정, 특성 엔지니어링 또는 테이블 평탄화가 필요하지 않습니다. 15개 데이터베이스에 걸친 41개의 벤치마크에서 XGBoost 등 감독 학습 모델을 전면적으로 능가했으며, SAP SALT 기업 벤치마크에서는 MRR 지표에서 AutoGluon보다 8% 앞섰습니다. 또한 5,000억 행 규모의 데이터베이스를 지원하며, Predictive Query Language(PQL)를 통해 코드 없이 예측 호출을 구현할 수 있습니다.
IBM은 Granite Speech 5.0 시리즈의 세 가지 오픈소스 음성 모델—granite-speech-5.0-2b(고정확도 다국어 ASR/MT), granite-speech-5.0-470m-turboctc(초고속 엣지 기반 다국어 음성 전사) 및 업데이트된 granite-speech-4.1-2b-plus(향상된 다화자 대화 모델링)—를 출시했습니다. 이들 모두는 Apache 2.0 라이선스 하에 제공되며, 주요 추론 프레임워크를 지원합니다.
i14는 30.28억 개의 파라미터를 갖는 Laplace 3B 모델을 출시했으며, Softmax 주의 메커니즘을 대체해 게이트 제어 선형 주의(GLA)를 채택했습니다. 이 모델은 추론 시 각 시퀀스의 재귀 상태 크기가 항상 29.5 MB로, 컨텍스트 길이와 무관합니다. 해당 모델은 AWS trn2.48xlarge 인스턴스 한 대(Trainium2 칩 16개 탑재)에서 훈련 및 서비스 검증을 완료했으며, 훈련 처리량은 초당 12만 토큰에 달하고, 서비스 처리량은 초당 11,544 출력 토큰(동시 실행 시퀀스 수 1,280)입니다. 모든 성능 데이터는 i14와 AWS GenAIIC 팀의 내부 실측 결과입니다.
SF Compute는 에반 콘래드가 설립한 기업으로, 중립적이고 프로그래밍 가능하며 물리적 인도를 지원하는 GPU 연산력 거래 인프라 구축을 목표로 합니다. 이 회사의 모델은 FLOPS 상품의 추상화를 지양하고 하드웨어의 이기종성, 실제 인도 및 실시간 제약(예: 중단 허용성, InfiniBand 토폴로지, 펌웨어 버전 등)을 강조합니다. 현재까지 수백억 달러 규모의 거래량을 달성했으며, 동적 InfiniBand 서브넷 분할과 같은 기반 기능도 선보였습니다.
SF Compute는 에반 콘래드가 설립한 기업으로, GPU 연산력에 대한 프로그래밍 가능하고 물리적으로 교환 가능한 거래를 실현하는 데 중점을 두고 있습니다. 이 회사는 자체 데이터센터를 보유하지 않고, 풀스택 기술을 통해 제3자 시설과 협력해 ‘주권형 연산력 클라우드’를 공동 구축하며, 시장 중립성과 인프라의 통제 가능성에 큰 비중을 두고 있습니다. 현재까지 수억 달러 규모의 거래액을 달성했으며, InfiniBand 동적 분할 등 핵심 기능도 실제로 구현했습니다.
AWS 팀은 Amazon SageMaker HyperPod에서 GPT-OSS-20B를 대상으로 다국어 추론 미세조정 실험을 수행했으며, LoRA 기반의 효율적 파라미터 미세조정을 적용했습니다. SFT는 영어·프랑스어·독일어·스페인어·이탈리아어 등 5개 언어에 대한 추론 정확도를 22%에서 100%로 끌어올렸지만, 답변 언어의 정확도는 62%에 그쳤습니다. GRPO는 이를 바탕으로 답변 언어 정확도를 70%까지 추가로 개선했으며, 추론 언어 성능에는 별다른 손상을 주지 않았습니다. 다만 이익의 정도는 언어마다 상이하여, 예를 들어 스페인어는 30%p 향상된 반면 이탈리아어는 20%p 하락했습니다. 실험 결과는 GRPO가 새로운 능력을 제로 상태에서 창출할 수 없으며, 기존에 간헐적으로 나타나던 행동만을 최적화할 수 있음을 분명히 보여줍니다.
Octave Reliance는 Amazon Bedrock을 기반으로 엄격한 테넌트 격리형 AI 인프라를 구축했으며, Cohere Embed v4와 AgentCore 마이크로 가상머신 런타임을 통합해 의료기기, 제약 및 식품 제조 산업 전반에 걸친 컴플레인 트라이애지 어시스턴트를 구현했습니다. 이를 통해 20억 건이 넘는 규제 대상 문서(불만 사항, CAPA, 감사 발견 등)에 대한 의미 기반 검색을 지원하며, 전체 과정에서 테넌트 간 데이터 유출을 완전히 차단합니다.
아마존 웹 서비스는 캐나다 고객들이 Amazon Bedrock을 통해 ca-central-1(캐나다 중부) 및 ca-west-1(캐나다 서부/캘거리) 리전에서 OpenAI GPT-5.6, GPT-6 및 GPT-6.1 모델을 크로스리전 추론(CRIS) 방식으로 호출할 수 있다고 발표했습니다. 실제 추론은 북미 또는 전 세계 AWS 상용 리전에서 이루어지며, 데이터는 캐나다 원본 리전에 정적 상태로 저장됩니다.
기사에서는 전력 보급을 비유로 삼아, 기업의 AI가 이제까지의 단편적 실험 단계에서 벗어나 인프라화 단계로 진입하고 있으며, 핵심 문제도 ‘AI를 도입할 수 있는가’에서 ‘최소한의 효율적 비용으로 측정 가능한 비즈니스 성과를 어떻게 달성할 것인가’로 변화했음을 지적합니다. 또한 ‘각 유용한 산출물의 효율적 비용’을 핵심 지표로 제시하고, 자체 스택 구축, 온디맨드 클라우드 서비스, 통합형 프라이빗 AI 플랫폼 등 세 가지 AI 운영 모델 간의 경제성 차이를 분석하며, 활용률, 모델 선택, 캐시 관리 등 운영 실무가 ROI에 결정적인 영향을 미친다는 점을 강조합니다.
Mistral은 2026년 10월 26일 이전에 Voxtral 3를 출시할 예정이며, 이는 다국어 실시간 음성 상호작용을 위한 엔드투엔드 SDK 및 모델 패밀리로, ASR(화자 분리 기능 포함), 추론 계층, TTS 등 세 가지 주요 모듈을 포괄합니다. 데이터 주권과 모듈식 배포를 강조하지만, 모든 성능 관련 주장은 제조사 자체 테스트에 근거한 것으로, 독립적인 제3자 검증은 이루어지지 않았습니다.
DeepSeek V4.1, Flash 1017 등 세 가지 새로운 모델이 발표되었지만 아직 초기 배포 단계에 있습니다. 중국과 미국은 동시에 AI 거버넌스를 강화하고 있으며, 미국 국토안보부는 DeepSeek 관련 제품의 사용을 금지했고, 중국은 초대규모 모델의 수출에 대해 심사 승인 제도를 도입할 계획입니다. 또한 Anthropic은 공익 지분 펀드를 출범하고 연방 AI 법안을 초안 작성 중이며, 산업 인프라와 보안 연구가 동시에 추진되고 있습니다.
2026년 10월 16일부터 19일까지, DeepSeek V4.1 Flash 1017, MiniMax M3.1 Flash（Space Bunny） 및 Mercury 3（Inception） 등 세 가지 신형 모델이 연이어 출시되었다. 같은 시기 미국 국토안보부는 DeepSeek 관련 제품의 사용을 금지하는 명령을 내렸으며, 중국은 초대형 모델 수출 규제 초안을 마련하려 하고 있다. 이에 따라 오픈소스 생태계, 컴퓨팅 인프라 구축, 그리고 AI 거버넌스 간의 갈등이 전면적으로 부각되고 있다.
Hugging Face는 AnyLanguageModel 1.0을 정식으로 출시했으며, Apple Foundation Models API와 완전히 호환되는 오픈소스 Swift 프레임워크를 제공합니다. 이 프레임워크는 로컬 모델(MLX, llama.cpp, Core ML)과 호스팅 모델(OpenAI, Anthropic, Gemini, Hugging Face Inference Providers 등) 간의 원활한 전환을 지원하며, 이미지 입력, 도구 호출, 가이드형 생성, 추론 블록 자동 적응 등의 기능도 추가되었습니다.
IBM 연구소는 ALTK-Evolve 방법을 제안했으며, GPT-4.1을 활용해 자체 작업 흐름에서 신원 인증, 환불 확인 등과 같은 구조화된 행동 지침을 자동으로 도출하고, 이를 순수 프롬프트 엔지니어링 방식으로 ReAct 에이전트 시스템에 주입함으로써 모델 가중치를 업데이트하거나 인간의 라벨링에 의존하지 않고도 고객 서비스 과제의 정확도와 신뢰성을 크게 향상시켰다. 또한, 이 기술의 리테일 분야 버전은 67.5%의 Pass⁴ 점수로 τ²-bench 2026년 10월 12일 기준 순위 1위를 차지하며, 모든 최첨단 모델 및 미세 조정 시스템을 능가했다.
NVIDIA는 임상 담낭절제술(cholecystectomy) 영상과 로봇 운동학 데이터를 기반으로 학습한 최초의 실시간 생성형 수술 시뮬레이터인 Cosmos3-H-Dreams를 출시했으며, 이는 Versius 수술 로봇 플랫폼에서 수집된 동작을 통해 상호작용 가능한 저지연 시각 시뮬레이션을 지원하고 단일 RTX PRO 6000 GPU에서 구동됩니다.
Hugging Face와 AWS가 공동으로 TorchNeuron을 출시했습니다—PyTorch용 원생형 Trainium 백엔드로, 2026년 10월 20일부터 공개 베타 테스트를 시작합니다. 이 기술을 통해 Transformers, Diffusers 등 주요 라이브러리들이 수정 없이 바로 Trainium 칩에서 실행될 수 있게 되어, 텍스트 생성 및 이미지 생성 모델의 사용 편의성과 호환성을 크게 향상시킵니다.
Anthropic은 비영리 단체 METR에게 ‘직원 수준’의 권한을 부여하여 자사 내부 시스템에 대한 심층적 위험 평가를 수행할 수 있도록 했으며, METR은 Anthropic의 사전 승인 없이 자체적으로 평가 결과를 공개할 수 있습니다.
이번 호에서는 2026년 10월 하순의 AI 분야 주요 동향을 집중 조명합니다: 메타가 다중모달 MoE 모델인 Muse를 발표했으나 ‘이미 사망했다’는 의혹에 직면했으며, 중국·미국·유럽 간 모델 성능, 라이선스 및 배포 생태계의 양극화가 심화되고 있습니다. 또한 중국은 23개 범주에 걸친 AI 기술을 포괄하는 수출통제 초안을 마련할 계획이며, 여러 최첨단 모델의 출시와 함께 검증되지 않은 성능 주장과 안전성 우려도 제기되고 있습니다.
