제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
대한민국 과학기술정보통신부와 엔비디아는 코엑스에서 MSIT-엔비디아 AI 스타트업 파트너십 포럼을 개최했습니다. 과학기술정보통신부 류제명 차관은 엔비디아 경영진과 함께 기반 모델, 물리 AI, AI 인프라 및 AI 반도체 분야의 한국 스타트업 20여 곳을 만났습니다. 또한 엔비디아는 한국 스타트업 Point2에 투자한다고 발표했으며, […]
arXiv:2611.07105v1 발표 유형: 신규 초록: 온칩 캐시에 매개변수를 저장할 수 없는 충분히 큰 변환기 기반 대규모 언어 모델(LLM)의 경우, 멀티 소켓 CPU에서의 프리필 처리량은 최대 부동소수점 처리량이 아닌 지속 가능한 DRAM 대역폭에 의해 종종 제한됩니다. 표준 PyTorch 컴파일(즉, TorchInductor) 경로에서는 메모리 뱅크와 연산 코어 간의 연관성을 고려하지 않고 모델 가중치를 할당합니다. 이로 인해 가중치 접근의 상당 부분이 소켓 간 상호 연결을 통과하게 되어 각 소켓에서 사용할 수 있는 유효 메모리 대역폭이 크게 저하됩니다. 우리는 TorchInductor를 NUMA-aware로 만드는 컴파일러 수준의 솔루션을 통해 이러한 병목 현상을 해결합니다. 각 NUMA 소켓을 독립적인 텐서 병렬 파티션으로 취급하여 NUMA-aware Tensor Parallelism(NUMA-TP)을 도입합니다. 이 방법은 소켓 간에 가중치를 투명하게 분할하고 연산 커널을 스케줄링하여 스레드 풀과 메모리 할당이 CPU 연관성을 활용해 해당 소켓 내에서 엄격히 로컬로 유지되도록 합니다. 우리는 GPT-2(117M, 345M, 762M) 및 BERT(Small, Large)와 같은 표준 다중 헤드 주의와 MLP를 테스트하며, Multi-Query Attention과 GeGLU 게이트된 MLP를 결합한 Gemma 3 270M에서도 이 접근법을 평가합니다. 데이터 지역성을 엄격히 준수함으로써 우리의 접근법은 소켓 간 트래픽을 성공적으로 완화하여 듀얼 소켓 Haswell 플랫폼에서 최대 2.63배, 듀얼 소켓 Cascade Lake 플랫폼에서 최대 1.87배, 그리고 사중 소켓 Haswell-EX 플랫폼에서 최대 2.27배의 프리필 속도 향상을 달성했습니다.
기사 URL: https://github.com/llmbrake/llmbrake 댓글 URL: https://news.ycombinator.com/item?id=50386174 포인트: 2 # 댓글: 0
기사 URL: https://getcinnamon.ai/ 댓글 URL: https://news.ycombinator.com/item?id=50373233 포인트: 2 # 댓글: 1
AI 산업이 메모리 및 기타 부품을 대량으로 소비하면서 PC 가격이 상승하고 있는 가운데, 인텔은 PC 판매 부진으로 타격을 받고 있다.
arXiv:2610.38069v1 발표 유형: 신규 초록: 단시간 푸리에 변환(STFT)은 긴 신호의 짧은 지속 시간 창에 대해 푸리에 변환을 계산하며, 이를 통해 주파수가 시간에 따라 어떻게 변화하는지를 특성화한다. 푸리에 변환 알고리즘, 특히 고속 푸리에 변환(FFT) 알고리즘은 병렬 컴퓨팅을 활용하기 위해 잘 발전되어 왔지만, 병렬 단시간 푸리에 변환 알고리즘의 성능을 이해하는 데 관한 연구는 아직 제한적이다. 본 연구에서는 FFT 기반 알고리즘과 준병렬 피드포워드 알고리즘 두 가지를 구현하고, 서로 비교 분석하였다. 그 결과, 낮은 동시성 환경에서는 준병렬 알고리즘이 실행 시간 면에서 우수하지만, …
arXiv:2610.39222v1 발표 유형: 신규 초록: AI 가속기 아키텍처가 점점 더 다양해짐에 따라, 서로 다른 아키텍처를 통합한 단일 시스템 구현이 새로운 이종 컴퓨팅 패러다임으로 부상하고 있다. GPU와 WSE는 연산, 메모리, 통신 구조에서 상당히 차이를 보이며, 이로 인해 아키텍처 간 상호보완성과 추가적인 오버헤드가 동시에 발생하지만, 이러한 이질성을 실제 성능 향상으로 전환하는 방법은 아직 명확히 밝혀지지 않았다. 이 문제를 해결하기 위해 우리는 GPU–WSE 이종 실행 환경과 상호보완성을 활용할 수 있는 조건을 규명하는 계층적 벤치마킹 방법론을 제안하며, 또한 이질성이 시스템 차원의 성능 향상을 가져오는 경우와 병목 현상으로 작용하는 경우를 식별하는 분석적 성능 모델을 함께 제시한다.
DeepSeek, Google, 그리고 NVIDIA가 에이전트 스택을 구축하다
arXiv:2610.36523v1 발표 유형: 신규 초록: 에이전트들이 더 긴 작업을 협업하는 과정에서, 작업이 완료되기 전에 책임이 모델 간에 이양될 수 있습니다. 수신 모델은 남아 있는 요구사항을 해결하면서, 이전의 결정, 관찰 및 행동을 바탕으로 작업을 이어가야 합니다. 이러한 전환 과정을 평가하려면, 인수 이전에 보존된 정보와 수신 모델이 어떻게 작업을 계속해 나가는지 사이의 관계를 연결해야 하며, 이는 단순히 작업 성공률과 기억 유지 점수만으로는 포착할 수 없습니다. 우리는 인수 이행 상태 연속성 벤치마크(HSC-Bench)를 도입하며, 이는 작업 인수의 두 가지 상호보완적인 측면을 평가하는 1,039개의 과제로 구성되어 있습니다: 관련 저장소 증거를 복구하고, 이미 설정된 대화, 도구 및 파일 작업 상태에서 계속 진행하는 능력입니다. 여섯 개의 수신 모델 간 비교 결과에 따르면, 구조적…
많은 AI 워크로드는 GPU의 일부분만 필요로 합니다. 각 워크로드에 전체 GPU 장치를 할당하면 여유 용량이 발생할 수 있습니다. GPU를 공유함으로써 플랫폼 팀은 더 많은 워크로드를 처리할 수 있습니다...
IBM 리서치 유럽의 연구진은 “신경망에서 벡터 저장을 위한 중첩 아날로그 메모리”를 발표했다. 요약: 연구진은 여러 개의 AI 벡터를 중첩 상태로 저장하는 아날로그 상변화 메모리 아키텍처를 구현했으며, 조정 가능한 정확도와의 균형을 통해 실제 저장 밀도를 증가시켰다. 프로토타입 PCM 하드웨어를 대상으로 한 실험에서는 완전 정밀도 소프트웨어에 가까운 추론 정확도를 확인했다. 기술 논문은 여기에서 확인할 수 있다.... » 더 읽기 이 글은 ‘아날로그 중첩이 효과적인 PCM 저장 밀도를 높인다(IBM 리서치 유럽)’라는 제목으로 반도체 엔지니어링에 처음 게재되었다.
케이틀린 레스와 앤젤라 장이 Latent Space에 합류하여 Claude 플랫폼의 기술적 배경을 설명합니다: Opus 5.5 출시, 모델의 ‘뇌’와 에이전트의 ‘손’을 분리하고, API를 확장하며, 신뢰할 수 있는 관리형 에이전트를 구축하는 과정을 소개합니다. 새로운 서론...
팀이 신뢰 문제를 해결할 수 있다면, AI 에이전트는 왜 의미 계층을 더욱 견고하게 만들 수 있을까요?
LangChain이 Slack에서 브랜드에 맞는 동영상, 그래픽 및 프레젠테이션을 제작하는 오픈소스 디자인 에이전트인 Content Studio와 이를 구동하는 하네스를 어떻게 구축했는지.
NVIDIA RTX Spark는 슬림형 노트북과 컴팩트한 데스크톱에서 AI 개발, 제작 및 게임을 위한 새로운 Windows PC 플랫폼입니다. NVIDIA Blackwell RTX를 탑재한...
오늘날 전 세계에는 치매를 앓고 있는 사람이 5,700만 명에 달합니다. 이들을 돕기 위해 노력하는 연구자들에게 있어 걸림돌은 노력 부족이 아니라, 과도한 데이터와 이를 종합할 전문가의 부족, 그리고 질병의 진행 속도를 따라가지 못하는 발견의 속도입니다. 생물의학 연구 및 인공지능 분야 협력단은 […]
토큰을 더 빠르게 생성하려면 먼저 추론 성능을 제한하는 요인을 파악하는 것부터 시작합니다. NVIDIA에서 Inclusion AI의 Ling-3.0-flash를 대상으로 한 배치 크기 1 평가에서는...
로힛 파텔은 AI 평가와 강화학습 분야에서 8년간 근무한 뒤 메타를 떠난다고 테크크런치가 단독으로 확인했다. 그의 스타트업 엔닥(Ndoc)은 마이크로소프트 오피스 스위트에 도전하는 것을 목표로 한다.
SEAL과 지속적 적응의 아키텍처
