AI 뉴스 검색

Import AI 478: 정렬을 위한 수학; ProgramBench; 그리고 Mirendil은 RSI가 무엇을 의미하는지 보여줍니다

기계에게 ‘밤’이란 무엇일까요?

스탠퍼드 대학과 UC 버클리 대학의 연구진이 TokenGate를 발표했습니다: 토큰 기반 접근 제한 주의 메커니즘을 통해 장문 컨텍스트 사전 채우기가 최대 11.3배 더 빨라집니다.

스탠퍼드 대학교와 캘리포니아 대학교 버클리 캠퍼스의 연구진은 기존 대규모 언어 모델(LLM)에 적용 가능한 플러그 앤 플레이 방식의 학습형 토큰 가위 모듈인 TokenGate를 제안했습니다. 이 방법은 정확도를 유지하면서, 긴 컨텍스트를 사전 채워 넣는 첫 글자 생성 시간(TTFT)을 1.4배에서 최대 11.3배까지 가속화하고, 최대 메모리 사용량을 1.5배에서 최대 3.4배까지 절감합니다. 관련 코드와 체크포인트는 오픈소스로 공개되었습니다.

세바스티안 라슈카가 8개의 비디오 강좌 ‘제로부터 추론 모델 구축하기’를 발표했습니다.

세바스티안 라슈카는 2026년 10월 24일, Ahead of AI 매거진(magazine.sebastianraschka.com)에서 총 8강으로 구성된 11시간이 넘는 파이썬 및 파이토치 실습 동영상 강좌를 공개했으며, 추론 모델의 평가, 추론 시 확장, 강화학습(RLVR)과 지식 증류를 체계적으로 다루고, 모든 방법을 사전 훈련된 Qwen3-0.6B 모델을 기반으로 구현했습니다.

추천 이유：이 강좌는 저자가 ‘0부터 구축하는 대규모 언어 모델’에 이어 선보이는 심화 기술 교육 콘텐츠로, 현재 주류 LLM의 핵심 발전 방향인 추론 능력 강화에 초점을 맞추고 있습니다. 기초 환경 구축부터 GRPO 강화학습, 자기 증류 등까지 포괄하는 완전한 기술 체인을 다루며, 모든 구현은 ‘0부터 수작업으로 작성’되어 재현 가능하다는 점을 명시하고 있어 높은 교육적 가치와 엔지니어링 참고 가치를 갖습니다.

PyTorch 2.15는 MPS를 공식 지원하며, FP8, MoE 가속 및 Metal 커널이 전면적으로 업그레이드되었습니다.

PyTorch 2.15는 Apple Silicon 맥을 위한 주요 MPS 백엔드 업그레이드를 제공하며, macOS에서 처음으로 FP8 텐서 연산을 네이티브로 지원합니다. 또한 MoE 모델의 디코딩 속도가 5~6.5배 향상되고, 비디오 VAE 디코딩 시 최대 GPU 메모리 사용량이 270 GiB에서 8 GiB로 감소하며, 다수의 연산자들이 MPSGraph에서 전용 Metal 커널로 이전되었습니다.

PyTorch에서 직업 (2 부) : nn에서. 융합된 MLP에 선형

PyTorch에서 직업 (2 부) : nn에서. 융합된 MLP에 선형