AI 뉴스 검색

FlatCake: LLM 서비스를 위한 평면형 KV캐시 저장 아키텍처

arXiv:2610.38355v1 발표 유형: 신규 초록: KV 캐시 재사용은 LLM 서비스를 가속화하지만, 기존 시스템들은 호스트 DRAM과 NVMe SSD를 계층적 하위 구조로 관리하며, DRAM을 중간 캐시로 활용합니다. 그러나 실제 생산 환경의 LLM 워크로드는 이러한 계층 구조의 두 가지 전제 조건을 모두 무너뜨립니다. 첫째, 이중 모드 재사용 방식은 DRAM의 시간적 필터링 기능을 무력화합니다. 왜냐하면 워크로드는 재사용 거리가 긴 일회성 블록이나 DRAM 용량을 초과하는 수기가바이트 규모의 에이전트 세션으로 구성되어 있어 SSD가 핵심 읽기 경로에 위치하게 되기 때문입니다. 둘째, DRAM의 스테이징과 제거 순서에 따른 배치 방식은 SSD 복원 과정을 병목으로 만듭니다. 인-플라이트 프리픽스를 위해 호스트 스테이징 버퍼를 유지하면 부하 상황에서 컨텐션을 유발해 프리페치 작업이 중단되며, 증분식 제거는 세션의 블록들을 SSD 전체에 분산시켜 대규모 연속 읽기를 방해합니다. 우리는 p

접두사 키와 값의 중요성은 늦게 드러난다: 루프형 언어 모델에서 자기-추론적 디코딩을 위한 RIPE 캐싱

arXiv:2610.34436v1 발표 유형: 신규 초록: 루프형 언어 모델은 토큰당 레이어 블록을 $R$번 실행하므로, 해당 모델의 키-값(KV) 캐시는 각 반복 레이어마다 $R$개의 평면을 저장하며, 자기-투기적 디코딩(몇 개의 루프로 초안을 생성하고 $R$개 모두로 검증)에서는 이 모든 평면을 읽어들입니다. 우리는 접두사 키와 값이 후반부에서 중요한 역할을 한다는 점을 발견했습니다. 동일한 섭동 크기에서도, 루프 25~32는 루프 2~9에 비해 $e^{15.0}$(Huginn-0125) 및 $e^{12.8}$(Raven-Llama) 배 더 민감하며, 각 루프마다 평면들은 기하급수적으로 마지막 평면에 접근하여, 각각 0.88과 0.81에 도달합니다. 이때 가장 깊은 평면 하나만으로 충분한지 여부는 후반부 평면들이 얼마나 성숙했는지에 따라 달라집니다. Raven에서는 이를 저장하는 것만으로도 bf16에서 fp32로 변경한 경우와 구별되지 않으며, Huginn에서는 전체 오차의 74%를 단 1%의 위치가 차지합니다. 우리는 이를 RIPE로 발전시켰으며, RIPE는 가장 깊은

엣지 기반 LLM 훈련의 민주화: 도전 과제, 시스템 및 앞으로의 방향

arXiv:2610.32215v1 발표 유형: 신규 초록: 현대 GPU 데이터 센터의 컴퓨팅 파워 증가로 인해 일부 산업 거대 기업들이 대규모 데이터를 활용하여 대형 언어 모델(LLM)을 훈련하고 배포할 수 있게 되었습니다. 그러나 이러한 모델과 그 학습 데이터의 엄청난 규모는 중앙 집중식 개발을 점점 더 지속하기 어렵게 만들고 있으며, 동시에 관련된 개인 데이터를 보유하되 이에 상응하는 인프라를 갖추지 못한 소규모 기관들을 배제하고 있습니다. 본 논문에서는 분산형 LLM 훈련에 관한 우리의 입장을 사전 학습 및 미세 조정 패러다임을 중심으로 정리하고, 연합 학습, 분할 학습 및 탈중앙화 접근법을 다루며, 이들 방법이 이질적인 하드웨어와 신뢰성 낮은 연결성을 가진 지리적으로 분산된 환경에서 어느 정도 준비되어 있는지 평가합니다. 이어서 우리는 {\em 통합}된 시스템을 제시합니다

연구는 대형 언어 모델에서 의미의 국부적 기하학적 구조를 밝혀냈다.

2026년 10월 24일 arXiv에 게재된 논문(번호 2610.30715v1)은 다국어 프로브와 세분화 프로브를 통해 Gemma 4, Llama 3.2, Qwen 2.5 및 Pythia 등 네 가지 디코더 전용 대형 언어 모델에서 임베딩 공간 내의 의미적 의미의 국소 기하학적 특성을 규명하였다.

추천 이유：이 연구는 LLM 내에서 ‘동일한 의미 요인’의 내부에 존재하는 불변성, 가변성 및 세분화 메커니즘을 최초로 체계적으로 규명하고, ‘국부적 이방성 이웃’ 모델을 제안하였다. 또한 인간의 맹검 평가를 통해 검증된 결과로서, 본 방법은 엄밀하며 모델의 적용 범위가 다양하고, 그 결론은 아키텍처 간 일관성을 보장한다.

연구는 특이값 스펙트럼을 통한 간섭으로 대형 언어 모델의 능력 분포를 조절한다: Llama 및 Qwen 모델에 대한 실증 분석

2026년 10월 24일 arXiv(번호 2610.30676v1)에 게재된 한 AI 연구는 오픈소스 Llama 및 Qwen 지침微調 모델 다섯 가지에 대해 후속 특이값 스펙트럼 평활화와 첨두 섭동을 적용한 결과, 이러한 경량 간섭이 사실 지식, 언어 이해, 연역 추론의 세 가지 능력 간의 성과 균형을 체계적으로 재편할 수 있음을 밝혀냈다.

추천 이유：이 논문은 다중 모델 및 다중 작업 프레임워크 하에서 변환기의 전방향층 특이값 스펙트럼 구조가 하위 작업 성능에 미치는 인과적 영향을 최초로 실증적으로 검증함으로써, 성능 배치의 구조적 민감성 법칙을 규명하고 모델 성능의 해커팅 및 제어 가능한 편집을 위한 새로운 경로를 제시하였다. 모든 결론은 공개된 모델과 표준 평가 기준에 기반하며, 방법은 투명하고 평가 차원은 포괄적이다.

OpenAI의 최신 GPT-6 시리즈 모델이 Google Cloud와 Antigravity 플랫폼에 도입될 예정입니다.

OpenAI의 GPT-6 및 6.1 시리즈 최첨단 모델(Astra, Sol, Luna)은 향후 수주 내에 Google Cloud Model Garden에 출시되며, Google의 에이전트 기반 프로그래밍 도구인 Antigravity에도 통합될 예정입니다. 이로써 Google은 Gemini, Claude, GPT 등 세 가지 주요 폐쇄형 대규모 언어 모델을 동시에 제공하는 최초의 주류 클라우드 서비스 제공업체가 되었습니다.

FairStress: LLM의 의사결정에 대한 대칭적 로버스티티를 위한 새로운 공평성 평가 프레임워크

FairStress는 대규모 언어 모델(LLM)이 인구통계학적 정체성 교체 상황에서 내리는 의사결정의 안정성, 해석의 일관성, 그리고 내부 표현의 대칭성을 평가하는 새로운 벤치마크로, 모델에 ‘반고정관념식 과잉 보정’과 같은 체계적인 행동 편향이 존재함을 밝히며, 주류 평가 방법(예: BBQ)이 패러다임 차이로 인해 편향의 방향을 잘못 판단할 수 있음을 지적합니다.