본문으로 건너뛰기
AI NEWS.ccAI正在发生 未来正在更新
뉴스 북마크
THE JOURNAL
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI 뉴스 검색

제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.

발행 시간순

arXiv cs.DC

NUMA-Torch: 멀티소켓 CPU에서 컴파일러 기반 NUMA 인식 LLM 프리필

arXiv:2611.07105v1 발표 유형: 신규 초록: 온칩 캐시에 매개변수를 저장할 수 없는 충분히 큰 변환기 기반 대규모 언어 모델(LLM)의 경우, 멀티 소켓 CPU에서의 프리필 처리량은 최대 부동소수점 처리량이 아닌 지속 가능한 DRAM 대역폭에 의해 종종 제한됩니다. 표준 PyTorch 컴파일(즉, TorchInductor) 경로에서는 메모리 뱅크와 연산 코어 간의 연관성을 고려하지 않고 모델 가중치를 할당합니다. 이로 인해 가중치 접근의 상당 부분이 소켓 간 상호 연결을 통과하게 되어 각 소켓에서 사용할 수 있는 유효 메모리 대역폭이 크게 저하됩니다. 우리는 TorchInductor를 NUMA-aware로 만드는 컴파일러 수준의 솔루션을 통해 이러한 병목 현상을 해결합니다. 각 NUMA 소켓을 독립적인 텐서 병렬 파티션으로 취급하여 NUMA-aware Tensor Parallelism(NUMA-TP)을 도입합니다. 이 방법은 소켓 간에 가중치를 투명하게 분할하고 연산 커널을 스케줄링하여 스레드 풀과 메모리 할당이 CPU 연관성을 활용해 해당 소켓 내에서 엄격히 로컬로 유지되도록 합니다. 우리는 GPT-2(117M, 345M, 762M) 및 BERT(Small, Large)와 같은 표준 다중 헤드 주의와 MLP를 테스트하며, Multi-Query Attention과 GeGLU 게이트된 MLP를 결합한 Gemma 3 270M에서도 이 접근법을 평가합니다. 데이터 지역성을 엄격히 준수함으로써 우리의 접근법은 소켓 간 트래픽을 성공적으로 완화하여 듀얼 소켓 Haswell 플랫폼에서 최대 2.63배, 듀얼 소켓 Cascade Lake 플랫폼에서 최대 1.87배, 그리고 사중 소켓 Haswell-EX 플랫폼에서 최대 2.27배의 프리필 속도 향상을 달성했습니다.

arXiv cs.DC

단시간 푸리에 변환의 병렬 구현 비교 연구

arXiv:2610.38069v1 발표 유형: 신규 초록: 단시간 푸리에 변환(STFT)은 긴 신호의 짧은 지속 시간 창에 대해 푸리에 변환을 계산하며, 이를 통해 주파수가 시간에 따라 어떻게 변화하는지를 특성화한다. 푸리에 변환 알고리즘, 특히 고속 푸리에 변환(FFT) 알고리즘은 병렬 컴퓨팅을 활용하기 위해 잘 발전되어 왔지만, 병렬 단시간 푸리에 변환 알고리즘의 성능을 이해하는 데 관한 연구는 아직 제한적이다. 본 연구에서는 FFT 기반 알고리즘과 준병렬 피드포워드 알고리즘 두 가지를 구현하고, 서로 비교 분석하였다. 그 결과, 낮은 동시성 환경에서는 준병렬 알고리즘이 실행 시간 면에서 우수하지만, …

진행 상황 및 관련 보도
arXiv cs.DC

이질성이 언제 가치를 발휘하는가? GPU와 WSE 시스템의 상호보완성 이해

arXiv:2610.39222v1 발표 유형: 신규 초록: AI 가속기 아키텍처가 점점 더 다양해짐에 따라, 서로 다른 아키텍처를 통합한 단일 시스템 구현이 새로운 이종 컴퓨팅 패러다임으로 부상하고 있다. GPU와 WSE는 연산, 메모리, 통신 구조에서 상당히 차이를 보이며, 이로 인해 아키텍처 간 상호보완성과 추가적인 오버헤드가 동시에 발생하지만, 이러한 이질성을 실제 성능 향상으로 전환하는 방법은 아직 명확히 밝혀지지 않았다. 이 문제를 해결하기 위해 우리는 GPU–WSE 이종 실행 환경과 상호보완성을 활용할 수 있는 조건을 규명하는 계층적 벤치마킹 방법론을 제안하며, 또한 이질성이 시스템 차원의 성능 향상을 가져오는 경우와 병목 현상으로 작용하는 경우를 식별하는 분석적 성능 모델을 함께 제시한다.

진행 상황 및 관련 보도

arXiv cs.CL

에이전트 간 인수 이행에 대한 벤치마킹 과제

arXiv:2610.36523v1 발표 유형: 신규 초록: 에이전트들이 더 긴 작업을 협업하는 과정에서, 작업이 완료되기 전에 책임이 모델 간에 이양될 수 있습니다. 수신 모델은 남아 있는 요구사항을 해결하면서, 이전의 결정, 관찰 및 행동을 바탕으로 작업을 이어가야 합니다. 이러한 전환 과정을 평가하려면, 인수 이전에 보존된 정보와 수신 모델이 어떻게 작업을 계속해 나가는지 사이의 관계를 연결해야 하며, 이는 단순히 작업 성공률과 기억 유지 점수만으로는 포착할 수 없습니다. 우리는 인수 이행 상태 연속성 벤치마크(HSC-Bench)를 도입하며, 이는 작업 인수의 두 가지 상호보완적인 측면을 평가하는 1,039개의 과제로 구성되어 있습니다: 관련 저장소 증거를 복구하고, 이미 설정된 대화, 도구 및 파일 작업 상태에서 계속 진행하는 능력입니다. 여섯 개의 수신 모델 간 비교 결과에 따르면, 구조적…

진행 상황 및 관련 보도

arXiv cs.LG

야코비 렌즈에 대한 수학적 이론

arXiv:2610.31955v1 발표 유형: 신규 초록: Anthropic의 최근 연구에서는 자코비안 렌즈(J-lens, Gurnee 외, 2026)라는 새로운 해석 도구를 도입했습니다. 이 방법은 최첨단 언어 모델의 은닉 상태에서 작업 기억과 유사한 표현을 연상시키는 특성을 지닌 선형 방향을 식별해냈습니다. 그러나 이러한 특징들이 J-lens에 의해 탐지될 수 있는 기전적 특성이 무엇인지 명확히 밝혀지지는 않았습니다. 이에 따라 우리는 J-lens에 대한 수학적 이론을 제시하고, 이 이론이 특히 일관성 있는 특징들—즉, 공간적으로 정합적인 리아푸노프 모드와 유사하게 작용하는 방향들—을 우선적으로 식별함을 보여줍니다. 이러한 방향을 따라 작은 섭동이 층간에 걸쳐 증폭되며, 토큰 위치 간에도 대체로 일정하게 유지되고, 다양한 문맥에서도 일관성을 보입니다. 다만 w

新闻源配图 · arXiv cs.LG
진행 상황 및 관련 보도
arXiv cs.CL

SLICE-Mem: 효율적인 LLM 에이전트 메모리를 위한 선명도 기반 경량 정보 큐레이션

arXiv:2610.33015v1 발표 유형: 신규 초록: 장기 기억은 대규모 언어 모델(LLM) 에이전트가 개인화되고 시간적으로 일관된 상호작용을 유지할 수 있도록 하지만, 메모리의 입실, 추출 및 정리를 위해 LLM 추론을 반복적으로 수행하면 상당한 비용과 지연이 발생합니다. 우리는 선명도 기반 입실과 술어 중심 정보 추출을 결합한 경량 메모리 프레임워크인 SLICE-Mem을 제안합니다. 간결한 분류기가 보존할 만한 사용자 발화를 식별하고, 의미적 의존성 기반 추출기가 입실된 발화를 간결한 메모리 항목으로 변환합니다. 이 온라인 파이프라인은 생성형 LLM 호출을 필요로 하지 않으며, 서로 다른 항목 간의 정합성 조정은 오프라인 통합 단계로 연기됩니다. 우리는 Memora와 LongMemEval-S의 주간 서브셋에서 8B a를 사용하여 SLICE-Mem을 평가합니다.

진행 상황 및 관련 보도
arXiv cs.DC

TMA를 언제, 왜 사용해야 하는가: NVIDIA Hopper GPU에서의 텐서 메모리 가속에 대한 워크로드 기반 특성 분석

arXiv:2610.34907v1 발표 유형: 신규 초록: NVIDIA Hopper에서 도입된 텐서 메모리 가속기(TMA)는 실제 생산 환경의 GPU 커널에서 광범위하게 사용되고 있지만, 그 활용은 상당히 선택적입니다. CUTLASS, FlashAttention-3, FlashInfer 등에서 활동하는 전문 커널 개발자들은 커널 내 일부 텐서 피연산자에 대해 TMA를 적용하되, 다른 피연산자에 대해서는 cp.async, 직접 글로벌 로드, 또는 분산 공유 메모리(DSM)로 대체합니다. 벤더 문서에서는 API를 설명하고, 최근의 마이크로벤치마킹 연구에서는 TMA의 처리량을 단독으로 평가하고 있지만, 이러한 접근 방식들은 실무 현장에서 실제로 직면하는 질문에 답하지 못합니다: 커널 내 특정 메모리 피연산자가 주어졌을 때, 이를 TMA로 처리해야 하는지, 그리고 만약 그렇다면 클러스터 멀티캐스트를 함께 사용할 것인지 여부를 결정하는 문제입니다. 우리는 H100을 대상으로 한 워크로드 기반 특성 분석 연구를 통해 이와 같은 간극을 해소하고자 합니다. 우리는 TMA와 다중

진행 상황 및 관련 보도
arXiv cs.DC

Waypoint: CPU용 GEMM의 분석적 모델링

arXiv:2610.34914v1 발표 유형: 신규 초록: 고성능 일반 행렬 곱셈(GEMM) 구현은 최고 성능을 달성하기 위해 GEMM을 신중히 선택된 타일로 분해하는 데 의존합니다. 우리는 특정 하드웨어와 입력 행렬의 형태에 맞는 최적의 타일 크기를 자동으로 식별하는 새로운 분석 모델인 Waypoint를 제시합니다. Waypoint는 메모리 계층 구조, 명령어 수준 병렬성 및 멀티스레딩과의 상호작용을 포함한 모든 아키텍처적 효과를 포착함으로써 주어진 타일 선택 시 달성 가능한 성능을 추정합니다. 이러한 추정치를 대리 변수로 활용하여 가능한 타일 크기의 공간을 탐색하고, 성능을 극대화하는 타일 크기를 식별합니다. 또한 Waypoint는 하드웨어 설계자가 실험적인 하드웨어 최적화에 대한 현실적인 성능을 추정하는 데에도 도움을 줍니다.

진행 상황 및 관련 보도
arXiv cs.LG

EVOLVE: 적응형 프로토타입 메모리를 활용한 불확실성 인식 다변량 시계열 이상 탐지

arXiv:2610.32189v1 발표 유형: 신규 초록: 비지도형 다변량 시계열 이상 탐지(AP)는 현재 관측값을 바탕으로 향후 이상 위험을 추정하여, 복잡한 시스템에서 선제적 개입과 유지보수를 위한 조기 경고 신호를 제공하는 것을 목표로 합니다. 기존의 비지도형 AP 방법들은 정해진 또는 무작위적인 섭동을 과거 창에 주입하여 비정상적인 미래 진화를 시뮬레이션하는 방식의 섭동 기반 패러다임을 따릅니다. 그러나 이러한 방법들은 서로 다른 변수와 맥락 간에 동일한 섭동을 공유하며, 결정론적 방식으로 과거에서 미래로의 진화를 학습합니다. 실제로 이상 현상의 진화는 변수와 상황에 따라 달라지며, 동일한 섭동이 한 변수나 맥락에서는 비정상적인 미래 동역학으로 증폭될 수 있는 반면, 다른 경우에는 정상적인 변동으로 흡수되기도 합니다.

진행 상황 및 관련 보도
arXiv cs.CL

상태 공간 인코딩을 이용한 선형 시간 컨텍스트 압축

arXiv:2610.33006v1 발표 유형: 신규 초록: 트랜스포머 기반 대규모 언어 모델(LLM)은 컨텍스트 크기가 증가함에 따라 상당한 연산 및 메모리 비용을 수반하므로, 추론 전에 컨텍스트를 더 짧은 표현으로 압축하는 방법이 필요합니다. 기존의 소프트 프롬프트 압축 방식은 일반적으로 목표 모델과 동일한 트랜스포머 백본을 사용하며, 압축된 표현을 생성하는 과정에서 상당한 지연 오버헤드가 발생합니다. 이로 인해 이러한 방식은 컨텍스트를 한 번 압축한 뒤 여러 쿼리에 걸쳐 재사용하는 오프라인 환경에만 제한됩니다. 우리는 Mamba 상태공간 모델(SSM)을 기반으로 한 플러그 앤 플레이형 온라인 컨텍스트 압축기인 Boa Compressor를 제안합니다. 이 압축기는 임의 길이의 컨텍스트를 단일 선형 시간 패스로 인코딩하여, 그 결과 얻은 표현을 바탕으로 우리가 조건부…

진행 상황 및 관련 보도
arXiv cs.CV

Nemotron 3.5 Bolt 74B-A9B 24GB: 로컬 AI를 위한 하이브리드 비전-언어 모델

arXiv:2610.33039v1 발표 유형: 신규 초록: 우리는 로컬 에이전트 워크로드를 위한 메모리 사용량 당 속도와 지능을 최적화하는 하이브리드 Mamba-Transformer 비전-언어 모델인 Nemotron 3.5 Bolt 74B-A9B 24GB를 소개합니다. Nemotron 3.5 Super VL 120B-A12B 모델 계열에서 파생된 Nemotron 3.5 Bolt 74B-A9B 24GB는 스타 엘라스틱 압축과 2비트 퀀타이제이션 기반의 학습-aware 디스틸레이션을 결합하여 메모리 제약 환경에서의 배포에 적합하도록 설계되었습니다. 이 모델은 추론, 에이전트 기반 도구 활용, 그리고 웹 및 터미널 상호작용에 최적화되어 있습니다. 또한, 목표한 추론 속도 달성을 위해 모델과 함께 공개되는 LiLiCorr 사양형 드래프터를 별도로 학습시켰습니다. 그 결과 생성된 모델은 일반적인 에이전트 작업에 대한 여러 벤치마크에서 유사한 메모리 크기와 속도를 갖는 주요 경쟁 모델들보다 높은 정확도를 달성했습니다.

新闻源配图 · arXiv cs.CV
진행 상황 및 관련 보도
arXiv cs.CV

증거를 통한 직관: 다중 모달 에이전트를 위한 적응형 이중 메모리

arXiv:2610.33019v1 발표 유형: 신규 초록: 다중 모달 에이전트가 지속적인 상호작용을 수행할 때, 장기 기억은 세부적 증거 회수와 전반적 이해를 위한 내재화된 해석이라는 두 가지 서로 다르지만 상호 보완적인 기능을 수행한다. 비록 일화 기억과 잠재 기억이 각각 명시적 역사 기록과 내재화된 경험을 통해 이러한 요구를 충족하긴 하지만, 일화 기억의 증거 범위와 통합에 대한 한계, 그리고 잠재 기억의 사실적 근거 마련에 대한 한계로 인해, 어느 한 패러다임만으로는 과제 간의 다양한 기억 특성들을 모두 포괄하기 어렵다. 이러한 격차를 해소하기 위해 우리는 모델 고유의 잠재 기억을 직관적인 사전으로 활용하고, 검색 조건에 따라 공동 정렬을 통해 정확한 증거 재구성을 가능하게 하는 다중 인덱스 기반 일화 기억을 결합한 이중 기억 프레임워크를 제안한다. At i

新闻源配图 · arXiv cs.CV
진행 상황 및 관련 보도
arXiv cs.DC

클라우드의 LLM: 아키텍처, 오케스트레이션 및 추론에 관한 논의

arXiv:2610.33475v1 발표 유형: 신규 초록: 클라우드 데이터센터 전반에 걸쳐 기반 대규모 언어 모델(LLM)이 광범위하게 배치됨에 따라, 무상태 딥러닝에서 분산형 메모리 집약적 생성 워크로드로의 근본적인 패러다임 전환이 이루어지고 있다. 그러나 엄격한 서비스 수준 목표(SLO) 하에서 대규모 기반 모델을 서비스하는 과정에서는 중요한 물리적 및 시스템 병목 현상이 드러난다. 이러한 과제에는 지속적인 고대역폭 메모리(HBM) 장벽, 연산 중심의 프리필링과 메모리 대역폭 중심의 디코딩 간의 운영 비대칭성, 폭발적으로 증가하는 키-값(KV) 캐시, 부담스러운 서버리스 콜드 스타트, 그리고 하드웨어 신뢰성 취약점 등이 포함된다. 기존 문헌 리뷰들은 여전히 계층별로 분리되어 있어, 저수준 가속기 가상화와 클러스터를 서로 분리하고 있다.

진행 상황 및 관련 보도
arXiv cs.CL

내 것인가, 네 것인가? 마음이 연결된 언어 모델들은 서로의 기억을 자신의 것으로 받아들인다

arXiv:2610.33020v1 발표 유형: 신규 초록: 만약 당신의 뇌가 다른 사람의 뇌와 직접 연결된다면, 여전히 어떤 생각이 자신의 것인지 알 수 있을까요? 우리는 하나의 언어 모델을 두 개 복제한 기능적 버전을 구축했습니다. 각각은 개인적인 규칙과 코드워드를 보유하며, 그중 한 복제본인 수신자는 상대방의 내부 기억에도 주목합니다. 수신자는 상대방에게 할당된 과제를 마치 자신이 받은 것처럼 인식했습니다. 상대방의 기억에 이중 가중치를 부여했을 때(연결 없을 경우는 제외), 어떤 규칙을 할당받았는지 묻는 질문에 대해 수신자는 97%의 확률로 상대방의 규칙을 자신의 것으로 답했으며, 공개 보고서에서도 상대방의 코드워드를 자신의 것으로 표기했을 뿐, 결코 상대방의 것이 아니라고 밝혔습니다. 소유권은 수신자가 상대방에게 할당된 내용을 얼마나 잘 파악하느냐와는 무관했습니다. 동등한 가중치 하에서는, 연결이 수신자가 상대방의 규칙을 약 절반 정도로 받아들이게 만들었습니다.

진행 상황 및 관련 보도
arXiv cs.DC

접두사 키와 값의 중요성은 늦게 드러난다: 루프형 언어 모델에서 자기-추론적 디코딩을 위한 RIPE 캐싱

arXiv:2610.34436v1 발표 유형: 신규 초록: 루프형 언어 모델은 토큰당 레이어 블록을 $R$번 실행하므로, 해당 모델의 키-값(KV) 캐시는 각 반복 레이어마다 $R$개의 평면을 저장하며, 자기-투기적 디코딩(몇 개의 루프로 초안을 생성하고 $R$개 모두로 검증)에서는 이 모든 평면을 읽어들입니다. 우리는 접두사 키와 값이 후반부에서 중요한 역할을 한다는 점을 발견했습니다. 동일한 섭동 크기에서도, 루프 25~32는 루프 2~9에 비해 $e^{15.0}$(Huginn-0125) 및 $e^{12.8}$(Raven-Llama) 배 더 민감하며, 각 루프마다 평면들은 기하급수적으로 마지막 평면에 접근하여, 각각 0.88과 0.81에 도달합니다. 이때 가장 깊은 평면 하나만으로 충분한지 여부는 후반부 평면들이 얼마나 성숙했는지에 따라 달라집니다. Raven에서는 이를 저장하는 것만으로도 bf16에서 fp32로 변경한 경우와 구별되지 않으며, Huginn에서는 전체 오차의 74%를 단 1%의 위치가 차지합니다. 우리는 이를 RIPE로 발전시켰으며, RIPE는 가장 깊은

진행 상황 및 관련 보도
arXiv cs.DC

듀얼페이스: LLM 서비스를 위한 분리형 스케줄링 및 협력적 GPU–CPU 디코딩

arXiv:2610.33501v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM) 서비스는 추론 처리량을 높이기 위해 배치 처리에 의존하지만, 키-값(KV) 캐시는 시퀀스 길이와 함께 증가하여 GPU 상주 동시성을 제한한다. CPU 오프로드를 통해 호스트 메모리를 활용하면 KV 용량을 확장할 수 있지만, 기존 시스템은 여전히 대부분 GPU 중심으로 작동한다: CPU 상주 요청은 GPU 스케줄러가 적절한 겹침 기회를 제공할 때에만 진행된다. 그 결과, 호스트 메모리와 CPU 연산은 독립적인 서비스 자원으로 작용하지 못하며, 이로 인해 부하 하에서 CPU 측 진행이 간헐적으로 발생하고 꼬리 부분의 토큰 간 지연(ITL)이 부풀어 오르게 된다. 우리는 호스트를 독립적으로 스케줄링되는 디코딩 엔진으로 전환하는 LLM 서비스 런타임인 DualPace를 제안한다. DualPace는 두 개의 엔진 간에 스케줄링 권한을 분리한다: GPU 엔진

진행 상황 및 관련 보도
arXiv cs.CL

매개변수형 세션 상태는 기록을 다시 재생하지 않고도 검색 의도를 복구합니다

arXiv:2610.33047v1 발표 유형: 신규 요약: 장기간 작동하는 어시스턴트는 종종 여러 번의 대화 전에 설정된 지시사항, 제약 조건 및 현재 목표를 포함한 후속 요청을 해석합니다. 따라서 핵심 과제는 단순히 문맥 길이가 아니라 검색 의도입니다. 예를 들어, “이전 구성 사용”과 같은 현재 쿼리는 관련 증거를 찾는 데 필요한 프로젝트, 엔터티, 버전 등의 용어를 생략할 수 있습니다. 장기 문맥 모델은 대화 기록을 재생하여 이러한 용어를 복구할 수 있지만, 반복적으로 이전 대화를 처리하는 비용을 부담해야 합니다. 기존의 검색 강화 생성(RAG) 방식은 비용이 더 저렴하지만, 정보가 충분한 쿼리라는 전제를 가집니다. 대화형 재작성 방식은 기록을 다시 읽거나 명시적으로 유지되는 텍스트 메모리에 의존합니다. 우리는 \emph{매개변수형 세션 상태}를 도입합니다

진행 상황 및 관련 보도
arXiv cs.CL

FlexA-Mem: LLM 에이전트를 위한 예산-적응형 에이전틱 메모리

arXiv:2610.33274v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM) 에이전트는 매우 다양한 메모리 요구 사항을 갖는 시나리오에서 작동합니다. 과거 대화에 관한 질문에는 해당 질문이 명시한 정확한 사실이 필요하며, 다단계 작업에서는 이미 수행된 단계들의 흐름과 다음 단계에서 명시할 수 없는 세부 정보가 함께 필요합니다. 기존의 메모리는 각각 특정한 시나리오에 맞춰 설계되고 검증되어 왔습니다. A-Mem과 같은 검색형 메모리는 현재 쿼리에서 표현되지 않은 단계들을 놓치고, 요약은 정확한 문자열을 잃어버리며, 두 가지를 결합하는 방식은 예산 분할 문제를 미리 고정해 버립니다. 우리는 FlexA-Mem을 제안합니다. 이는 모든 역사적 기록을 불변 저장소에 한 번씩 기록하고, 매 호출마다 새로운 메모리를 생성하는 범용 메모리입니다. 생성된 메모리는 기록의 간결한 타임라인과 고정된 규칙에 따라 처리되는 세부 정보로 구성됩니다.

진행 상황 및 관련 보도

arXiv cs.DC

InferSlice: 통신사 광역 네트워크에서 SLO 기반 LLM 추론을 위한 참조 아키텍처

arXiv:2610.32638v1 발표 유형: 신규 초록: LLM 추론은 기업 및 대화형 애플리케이션의 핵심 서비스로 점점 더 많이 도입되고 있지만, 주권, 규정 준수, 지연 시간 및 자원의 지역적 근접성 요구 사항으로 인해 중앙 집중식 클라우드 배포의 적합성이 제한될 수 있습니다. 통신사는 이러한 제약을 해결하기 위해 지리적으로 분산된 컴퓨팅 및 네트워크 인프라를 제공합니다. 그러나 기존의 LLM 서비스 프레임워크는 밀접하게 연동된 데이터 센터를 위해 설계되어 있어, 지리적으로 분산되고 이질적인 자원을 조율하는 데 대한 지원이 제한적입니다. 우리는 통신사 인프라 위에서 서비스 수준 목표(SLO) 기반 LLM 추론을 위한 참조 아키텍처인 InferSlice를 제시하며, 여기에는 네트워크 슬라이싱, GPU 파티셔닝, 탄력적 서비스 및 관찰성이 통합되어 있습니다.

InferSlice: A Reference Architecture for SLO-driven LLM Inference over a Telco Wide-Area Network
진행 상황 및 관련 보도
arXiv cs.DC

오픈 ISA 슈퍼컴퓨팅을 향하여: HPC 워크로드에 대한 RISC-V, Arm, x86 아키텍처 비교 연구

arXiv:2610.32632v1 발표 유형: 신규 초록: RISC-V는 고성능 컴퓨팅(HPC)의 후보 아키텍처로 부상하고 있지만, 기존의 x86 및 Arm 프로세서와의 경쟁력은 아직 평가하기 어렵습니다. 이는 기존 연구들이 서로 다른 플랫폼, 워크로드, 방법론을 사용하고 있으며, 에너지 효율성을 거의 고려하지 않기 때문입니다. 본 연구에서는 공통된 소프트웨어 스택과 방법론을 활용하여 최신 HPC용 RISC-V, Arm, x86 프로세서를 평가합니다. 우리는 Sophgo SG2044를 특성화하고, NVIDIA Grace CPU 슈퍼칩 및 Intel Xeon Platinum 8480+와 함께 STREAM, HPL, HPL-MxP, HPCG 등 네 가지 HPC 벤치마크와 iPIC3D, PLUTO, OpenFOAM, llama.cpp 등 네 가지 대표 애플리케이션에서 비교 분석을 수행했습니다. 본 연구에서 사용된 OpenBLAS 기반 HPL-MxP 버전은

Toward Open ISA Supercomputing: A Comparative Study of RISC-V, Arm, and x86 Architectures on HPC Workloads
진행 상황 및 관련 보도