Import AI 470: 기계에 대한 권리는 없다; SPADE를 이용한 환경 생성 자동화; 그리고 Hawkeye로 더 나은 GPU 커널 구축
사이버, 수학, 그리고 AI의 차별적 가속
AI NEWS JOURNAL
전체 AI 소식
출처, 주제, 시간으로 전체 뉴스에서 관심 소식을 찾아보세요.
GPU 관리: 왜 이들 GPU 새로운 지상 항공기
GPU 관리: 왜 이들 GPU 새로운 지상 항공기
CUDA에서 MLX로: K-Search가 애플 실리콘에 수십 년간의 커널 전문 지식을 어떻게 가져오는가
그림 1: CUDA에서 MLX로의 최적화 변환 맵. CUDA 최적화 지식은 명령어 하나하나를 그대로 복사하는 방식이 아니라, 아키텍처에 맞는 MLX 전략으로 변환할 수 있습니다. 우리는 컴퓨팅의 새로운 시대에 직면해 있습니다. 하드웨어는 빠르게 변화하고 있으며, 단지 더 빠른 GPU뿐만 아니라 다양한 벤더의 칩들이 늘어나고 있고, 각각 고유한 아키텍처를 갖추며 종종 특정 AI 워크로드에 맞춰 설계됩니다. 소프트웨어도 그만큼 빠르게 변화하고 있으며, 이제 AI 코딩 도구들은 불과 몇 분 만에 몇 년 전에는 수개월의 노력이 필요했던 작업을 생성해냅니다. 오늘날 컴퓨팅의 많은 부분이 AI 중심으로 이동함에 따라, GPU 커널은 그 성공의 핵심 요소입니다. 이러한 커널은 GPU 내부에서 실행되는 저수준 프로그램으로, 이를 효율적으로 작성하는 일은 결코 당연한 일이 아닙니다—올바르게 구현하기 위해서는 수년간의 전문 지식이 필요합니다. 커널을 다른
Native-speed vLLM 변압기 모델링 백엔드
Native-speed vLLM 변압기 모델링 백엔드
지능은 무료입니다. 이제 무엇을 해야 할까요? 에이전트를 위한, 에이전트에 의한, 그리고 에이전트를 위한 데이터 시스템
… 국민의, 국민에 의한, 국민을 위한 정부 … — 에이브러햄 링컨, 게티스버그 연설(1863년) AI의 비용은 빠르게 하락하고 있습니다. 2023년 초에는 GPT-4 수준의 기능을 구현하는 데 약 백만 토큰당 30달러가 들었지만, 오늘날에는 같은 작업이 1달러 이하로 수행되며 일부 제공업체는 비용을 0.10달러 미만으로까지 낮추고 있습니다. 각종 벤치마크에서 추론 비용은 연간 9배에서 900배까지 하락했으며, 중앙값 기준으로는 약 50배 정도 감소했습니다. 심지어 최첨단 모델들조차 매 세대마다 비용이 극적으로 절감되고 있으며, 오픈소스 모델들도 이를 거의 따라가고 있습니다. 더욱 중요한 점은, 설령 ‘노벨상 수상급 천재 수준’의 지능은 아직 도래하지 않았다 하더라도, 대부분의 지식노동에 충분한 수준의 지능은 이미 오늘날 존재하며 매달 더 저렴해지고 있다는 것입니다. 이러한 속도라면 우리는 곧 사실상 무료인 시대에 접어들게 될 것입니다.
AI 464 가져오기: Fable은 GPU 커널 작성, AI 자동화 및 아날로그 계산을 수행합니다
이것이 새로운 세상의 시작일까요?
하나의 명령에서 HF 작업에 vLLM 서버를 실행
하나의 명령에서 HF 작업에 vLLM 서버를 실행