AI 뉴스 검색

FlatCake: LLM 서비스를 위한 평면형 KV캐시 저장 아키텍처

arXiv:2610.38355v1 발표 유형: 신규 초록: KV 캐시 재사용은 LLM 서비스를 가속화하지만, 기존 시스템들은 호스트 DRAM과 NVMe SSD를 계층적 하위 구조로 관리하며, DRAM을 중간 캐시로 활용합니다. 그러나 실제 생산 환경의 LLM 워크로드는 이러한 계층 구조의 두 가지 전제 조건을 모두 무너뜨립니다. 첫째, 이중 모드 재사용 방식은 DRAM의 시간적 필터링 기능을 무력화합니다. 왜냐하면 워크로드는 재사용 거리가 긴 일회성 블록이나 DRAM 용량을 초과하는 수기가바이트 규모의 에이전트 세션으로 구성되어 있어 SSD가 핵심 읽기 경로에 위치하게 되기 때문입니다. 둘째, DRAM의 스테이징과 제거 순서에 따른 배치 방식은 SSD 복원 과정을 병목으로 만듭니다. 인-플라이트 프리픽스를 위해 호스트 스테이징 버퍼를 유지하면 부하 상황에서 컨텐션을 유발해 프리페치 작업이 중단되며, 증분식 제거는 세션의 블록들을 SSD 전체에 분산시켜 대규모 연속 읽기를 방해합니다. 우리는 p

접두사 키와 값의 중요성은 늦게 드러난다: 루프형 언어 모델에서 자기-추론적 디코딩을 위한 RIPE 캐싱

arXiv:2610.34436v1 발표 유형: 신규 초록: 루프형 언어 모델은 토큰당 레이어 블록을 $R$번 실행하므로, 해당 모델의 키-값(KV) 캐시는 각 반복 레이어마다 $R$개의 평면을 저장하며, 자기-투기적 디코딩(몇 개의 루프로 초안을 생성하고 $R$개 모두로 검증)에서는 이 모든 평면을 읽어들입니다. 우리는 접두사 키와 값이 후반부에서 중요한 역할을 한다는 점을 발견했습니다. 동일한 섭동 크기에서도, 루프 25~32는 루프 2~9에 비해 $e^{15.0}$(Huginn-0125) 및 $e^{12.8}$(Raven-Llama) 배 더 민감하며, 각 루프마다 평면들은 기하급수적으로 마지막 평면에 접근하여, 각각 0.88과 0.81에 도달합니다. 이때 가장 깊은 평면 하나만으로 충분한지 여부는 후반부 평면들이 얼마나 성숙했는지에 따라 달라집니다. Raven에서는 이를 저장하는 것만으로도 bf16에서 fp32로 변경한 경우와 구별되지 않으며, Huginn에서는 전체 오차의 74%를 단 1%의 위치가 차지합니다. 우리는 이를 RIPE로 발전시켰으며, RIPE는 가장 깊은

오픈 ISA 슈퍼컴퓨팅을 향하여: HPC 워크로드에 대한 RISC-V, Arm, x86 아키텍처 비교 연구

arXiv:2610.32632v1 발표 유형: 신규 초록: RISC-V는 고성능 컴퓨팅(HPC)의 후보 아키텍처로 부상하고 있지만, 기존의 x86 및 Arm 프로세서와의 경쟁력은 아직 평가하기 어렵습니다. 이는 기존 연구들이 서로 다른 플랫폼, 워크로드, 방법론을 사용하고 있으며, 에너지 효율성을 거의 고려하지 않기 때문입니다. 본 연구에서는 공통된 소프트웨어 스택과 방법론을 활용하여 최신 HPC용 RISC-V, Arm, x86 프로세서를 평가합니다. 우리는 Sophgo SG2044를 특성화하고, NVIDIA Grace CPU 슈퍼칩 및 Intel Xeon Platinum 8480+와 함께 STREAM, HPL, HPL-MxP, HPCG 등 네 가지 HPC 벤치마크와 iPIC3D, PLUTO, OpenFOAM, llama.cpp 등 네 가지 대표 애플리케이션에서 비교 분석을 수행했습니다. 본 연구에서 사용된 OpenBLAS 기반 HPL-MxP 버전은

arXiv의 새로운 논문은 증거 검증과 가중치 업데이트가 필요 없는 프롬프트 수정을 지원하는, 추적 가능한 다모달 감정 추론 에이전트 프레임워크를 제안합니다.

2026년 10월 26일, arXiv는 사전인쇄 논문(번호 2610.31685v1)을 발표하며, 동결된 대규모 모델 기반의 추적 가능한 다중모달 감정 추론 지능체 아키텍처를 제안했습니다. 이 아키텍처는 모달별 전용 인지 지능체, 통합 지능체, MLLM 비판자 및 증거 검증 단계를 통해 오류 귀속과 프롬프트 공간의 자율적 최적화를 구현하며, MER2025 데이터셋에서 여러 개방형 다중모달 대규모 모델(2B–38B 파라미터)의 감정 인식 F-스코어를 0.6~2.2점 향상시켰습니다.

추천 이유：이 연구는 현재 다중 모달 감정 추론 시스템에서 명령 미세조정 비용의 높음과 에이전트 파이프라인의 디버깅 불가능성 간의 모순을 해결하기 위해, 증거 인용, 확실성 검증, 실패 귀인 및 타깃형 프롬프트 수정을 통합한 최초의 전 과정 설명 가능한 프레임워크를 제안한다. 모든 개선 사항은 모델 가중치를 변경하지 않으며, 네 가지 서로 다른 규모의 오픈소스 MLLM에서 실증적으로 효과를 입증하여 방법론적 혁신성과 공학적 실용성을 갖추고 있다.

엣지 기반 LLM 훈련의 민주화: 도전 과제, 시스템 및 앞으로의 방향

arXiv:2610.32215v1 발표 유형: 신규 초록: 현대 GPU 데이터 센터의 컴퓨팅 파워 증가로 인해 일부 산업 거대 기업들이 대규모 데이터를 활용하여 대형 언어 모델(LLM)을 훈련하고 배포할 수 있게 되었습니다. 그러나 이러한 모델과 그 학습 데이터의 엄청난 규모는 중앙 집중식 개발을 점점 더 지속하기 어렵게 만들고 있으며, 동시에 관련된 개인 데이터를 보유하되 이에 상응하는 인프라를 갖추지 못한 소규모 기관들을 배제하고 있습니다. 본 논문에서는 분산형 LLM 훈련에 관한 우리의 입장을 사전 학습 및 미세 조정 패러다임을 중심으로 정리하고, 연합 학습, 분할 학습 및 탈중앙화 접근법을 다루며, 이들 방법이 이질적인 하드웨어와 신뢰성 낮은 연결성을 가진 지리적으로 분산된 환경에서 어느 정도 준비되어 있는지 평가합니다. 이어서 우리는 {\em 통합}된 시스템을 제시합니다

언더독 살루키 27B: GSQ-RCO 기반 2비트 Qwen3.8-27B 도구 호출 모델 기술 분석

이 글에서는 Underdog가 발표한 Saluki 27B 모델을 소개합니다. 이 모델은 7.9 GB 크기의 2비트 양자화 Qwen3.8-27B 변형으로, ISTA-DASLab의 GSQ-RCO 방법을 기반으로 구축되었으며, 120개의 작업에 대한 BFCL v4 도구 호출 벤치마크에서 원래의 54 GB 풀 정밀도 모델을 능가한다고 주장됩니다. 다만 모든 성능 관련 결론은 해당 개발자의 발표에 근거한 것으로, 독립적인 검증은 이루어지지 않았습니다.

ULME 프레임워크는 텍스트 임베딩과 언어 모델링을 진정으로 통합한다: arXiv의 새로운 논문이 예측 결합 메커니즘을 제안했다

2026년 10월 24일, arXiv는 논문 arXiv:2610.30705v1을 발표하여, 인과적 디코더형 대규모 언어 모델을 위한 후처리 훈련 프레임워크인 ULME를 제안했습니다. 이 프레임워크는 예측 결합(predictive coupling) 메커니즘을 통해 텍스트 임베딩과 언어 생성 능력 간의 상호 강화적 통합을 최초로 구현했습니다. 해당 방법은 Qwen2.5/Qwen3 시리즈(0.5B–8B 파라미터)에서 검증되었으며, MTEB 지표에서 3.3–4.1점의 성능 향상을 달성하는 동시에, MMLU 등 생성 과제에서의 성능 저하를 방지했습니다.

추천 이유：이 논문은 현재 다중모달 LLM의 능력이 분절되어 있는 핵심 문제를 정면으로 지적한다: 임베딩과 생성은 오랫동안 독립된 모델 또는 파라미터만 공유하는 ‘가짜 통합’ 모델에 의해 담당되어 왔다. ULME는 학습 가능한 슬롯과 세 가지 목표를 결합한 공동 학습(스톱그레이디언트 예측 손실 포함)을 통해 생성 과정이 임베딩 표현을 주도적으로 형성하도록 하였으며, 이는 아키텍처 차원에서의 실질적인 획기적 발전이다. 실험 범위가 광범위하고 기준선이 강력하며 지표가 포괄적이며, 권위 있는 사전출판 플랫폼에 발표되어 시의성과 기술적 엄밀성이 모두 갖추어져 있다.

연구는 대형 언어 모델에서 의미의 국부적 기하학적 구조를 밝혀냈다.

2026년 10월 24일 arXiv에 게재된 논문(번호 2610.30715v1)은 다국어 프로브와 세분화 프로브를 통해 Gemma 4, Llama 3.2, Qwen 2.5 및 Pythia 등 네 가지 디코더 전용 대형 언어 모델에서 임베딩 공간 내의 의미적 의미의 국소 기하학적 특성을 규명하였다.

추천 이유：이 연구는 LLM 내에서 ‘동일한 의미 요인’의 내부에 존재하는 불변성, 가변성 및 세분화 메커니즘을 최초로 체계적으로 규명하고, ‘국부적 이방성 이웃’ 모델을 제안하였다. 또한 인간의 맹검 평가를 통해 검증된 결과로서, 본 방법은 엄밀하며 모델의 적용 범위가 다양하고, 그 결론은 아키텍처 간 일관성을 보장한다.

임상의사 주도로 검증 가능한 안전 수칙 구축: 정신건강 챗봇을 위한 추적 가능한 보호 계층 설정

2026년 10월 24일, arXiv는 논문 arXiv:2610.30690v1을 발표하여, 두 명의 임상의사가 주도적으로 정의하고 최종 확정하며 판단을 내리는 네 가지 안전 검사 규칙 집합을 제안하였다. 이 규칙 집합은 형식적 검증을 거친 뒤, 정신건강 분야에서 사용되는 대규모 언어모델(LLM)의 출력에 대한 보호 계층으로 적용된다. 해당 보호 계층의 모든 판단은 하나의 명명 규칙과 열여섯 개의 사실 재현으로 구성되며, 이를 통해 안전성 판단의 해석 가능성과 검증 가능성을 높이는 것을 목표로 한다.

추천 이유：이 연구는 주류 프롬프트 엔지니어링, LLM-as-a-Judge 또는 헌법적 AI와는 차별화된 안전성 강화 방안을 제시하며, 핵심 혁신은 임상 의사결정을 구조화하고 형식화한 뒤 전 과정에 걸쳐 흔적을 남기는 데 있다. 모든 핵심 주장(예: 규칙 수, 검증 방법, 사실 기반의 규모, 대조 실험 데이터 및 비용 측정 등)은 원문에서 명확히 제시되었으며, 게시일자(2026-10-24)와 현재 UTC 날짜(2026-10-25)가 일치하여 시의성과 신뢰할 수 있는 근거를 갖추고 있다.

새로운 연구는 오픈북 평가가 주로 지식 저장보다는 읽기 행동을 측정한다는 점을 밝혀냈다.

2026년 10월 24일에 발표된 arXiv 논문(2610.31017v1)은 문서 수준의 LoRA 어댑터 평가에서 오픈북 스코어링이 어댑터가 해당 문서의 지식을 실제로 인코딩했는지 여부보다는 모델의 즉각적 읽기 능력에 크게 의존한다고 지적했다. 무작위 어댑터는 오픈북 과제에서 전문가용 어댑터의 우위를 82%까지 재현할 수 있었지만, 비소스 텍스트를 대상으로 한 클로즈 과제에서는 단 2%만 재현되었으며, 이는 통계적으로 영과 구별되지 않았다.

추천 이유：이 연구는 체계적인 제어 실험(위키백과 문서 150편, Llama-3.1-8B-Instruct 모델, 이중 작업 비교)을 통해 현재의 오픈북 평가 패러다임의 근본적 한계를 밝혀냈다. 즉, 이 패러다임은 ‘읽기’와 ‘암기’를 효과적으로 구분하지 못하며, 지식 편집 및 검색형 어댑터의 실제 효용성에 대한 방법론적 도전 과제를 제기한다. 또한 논문에서는 ‘깨끗하지만 잘못된 결과’를 초래하는 네 가지 침묵 오류를 보고하여 재현성 위험을 부각시켰다.

FusionEval 발표: 대규모 언어 모델 통합을 위한 새로운 벤치마크 테스트

2026년 10월 24일, 연구자들은 arXiv에 논문 arXiv:2610.30162v1을 발표하여, 대규모 언어 모델의 통합 방법 평가를 위해 설계된 최초의 통합 벤치마크인 FusionEval을 제안했다. 이 벤치마크는 추론 체인 길이, 도구 호출 등 취약한 부분을 포괄하며, 학습 기반 및 학습 불필요형 통합 방법 간의 비교도 지원한다.

추천 이유：이 벤치마크는 기존 평가에서 장기 체인 추론과 도구 활용에 대한 포괄성이 부족한 점을 보완하며, 평균 성능과 최악의 성능 간의 명확한 구분을 제공하고, Qwen3/Llama 기반의 재현 가능한 전문가 풀, GPU 메모리 및 실행 시간을 포함한 다차원 지표, 그리고 오픈소스 코드를 제공하여 강력한 실무 지침성을 갖추고 있습니다.

연구는 특이값 스펙트럼을 통한 간섭으로 대형 언어 모델의 능력 분포를 조절한다: Llama 및 Qwen 모델에 대한 실증 분석

2026년 10월 24일 arXiv(번호 2610.30676v1)에 게재된 한 AI 연구는 오픈소스 Llama 및 Qwen 지침微調 모델 다섯 가지에 대해 후속 특이값 스펙트럼 평활화와 첨두 섭동을 적용한 결과, 이러한 경량 간섭이 사실 지식, 언어 이해, 연역 추론의 세 가지 능력 간의 성과 균형을 체계적으로 재편할 수 있음을 밝혀냈다.

추천 이유：이 논문은 다중 모델 및 다중 작업 프레임워크 하에서 변환기의 전방향층 특이값 스펙트럼 구조가 하위 작업 성능에 미치는 인과적 영향을 최초로 실증적으로 검증함으로써, 성능 배치의 구조적 민감성 법칙을 규명하고 모델 성능의 해커팅 및 제어 가능한 편집을 위한 새로운 경로를 제시하였다. 모든 결론은 공개된 모델과 표준 평가 기준에 기반하며, 방법은 투명하고 평가 차원은 포괄적이다.

NVIDIA가 오픈소스 소형 언어 모델인 Nemotron 3.5 Bolt E4B 4GB를 발표했으며, 이는 로컬 음성 에이전트, 게임 NPC 및 로봇에 최적화되어 있습니다.

NVIDIA는 Google Gemma 4 E4B 모델을 기반으로, 강화학습(RL) 후 훈련만을 거쳐 Nemotron 3.5 Bolt E4B 4GB를 출시했습니다. 이는 총 매개변수 8B, 유효 매개변수 4B, 64K의 컨텍스트를 갖춘 오픈소스 소형 언어모델로, RTX 및 Jetson 등 엣지 디바이스에서 약 4GB VRAM으로 구동되며, 다중 라운드 도구 호출과 저지연 음성 상호작용을 지원합니다.

블랙 옥토버: AI 기반 사이버보안 위기의 집중적 폭발과 방어 대응 전경

2026년 10월 21일에서 22일을 전후한 약 48시간 동안, 전 세계적으로 고위험 AI 가속 취약점 및 침입 사건이 10여 건 이상 집중적으로 발생했으며, 이에는 PHP2Shell, GitLab RCE(CVSS 10), NGINX/HTTP/3 DoS, LiteLLM 비밀번호 탈취, eMudhra CA 키 유출, Quest Diagnostics 의료 데이터 노출 등이 포함된다. 또한 Storm-0940 등 국가 행위체는 ARTEX와 같은 오픈소스 지능형 침투 프레임워크를 활용해 대규모 공격을 감행했다. 같은 시기, 형식적 검증, 오픈소스 수정 에이전트, 에이전트 기술 표준화 및 하드웨어 수준 최적화 등을 포함한 AI 보안 방어 체계가 가속화되어 구축되고 있다.

자체 호스팅 대규모 모델 대 클라우드 API: 요청을 어떻게 지능적으로 라우팅할 것인가

이 글에서는 자체 호스팅 대규모 언어 모델과 클라우드 API 간의 데이터 프라이버시, 비용, 지연 시간 및 성능 측면에서의 균형을 비교하고, 오픈소스 배포 가능 모델의 하드웨어 요구 사항(예: VRAM 및 양자화)과 대표적인 기술 스택을 소개합니다. 또한 n8n을 예로 들어, 작업의 민감도, 복잡성 또는 규정 준수 요구사항에 따라 로컬 및 클라우드 모델 간에 요청을 동적으로 분산하는 혼합형 라우팅 워크플로를 구축하는 방법을 설명합니다.

AWS가 적응형 인텔리전스 에이전트 프레임워크 AAIF를 발표했습니다: Strands Agents를 기반으로 엣지와 클라우드 간 협업을 구현하는 계층형 AI 작업 스케줄링

AWS는 Adaptive Agentic Intelligence Framework(AAIF)를 제안하며, Strands Agents를 활용해 계층형 에이전트 아키텍처를 구축하고, 로컬 소형 언어 모델(SLM)을 통해 작업을 동적으로 라우팅합니다. 일반적인 IoT 원격 측정과 비전 분석은 엣지에서 처리되며, 복잡한 추론은 Amazon Bedrock 클라우드 대규모 모델로 위임됩니다. 이 프레임워크는 하이브리드 배포를 지원하고 비용을 통제할 수 있으며, 책임 있는 AI에 대한 제어 권장 사항도 통합되어 있습니다. 다만 현재는 개념 검증 수준에 머물러 있어, 제3자 검증이나 상용화된 실제 데이터는 제공되지 않습니다.

OpenAI의 최신 GPT-6 시리즈 모델이 Google Cloud와 Antigravity 플랫폼에 도입될 예정입니다.

OpenAI의 GPT-6 및 6.1 시리즈 최첨단 모델(Astra, Sol, Luna)은 향후 수주 내에 Google Cloud Model Garden에 출시되며, Google의 에이전트 기반 프로그래밍 도구인 Antigravity에도 통합될 예정입니다. 이로써 Google은 Gemini, Claude, GPT 등 세 가지 주요 폐쇄형 대규모 언어 모델을 동시에 제공하는 최초의 주류 클라우드 서비스 제공업체가 되었습니다.

NVIDIA는 GTC 베를린에서 로컬 AI 하드웨어 전 제품 라인업을 발표했습니다: RTX 스파크, DGX 스파크 및 DGX 스테이션의 유럽 진출

2026년 10월 베를린에서 열린 GTC 컨퍼런스에서 NVIDIA는 개인, 개발자 및 기업 사용자를 위한 세 가지 온프레미스 AI 하드웨어 플랫폼을 공식적으로 출시했습니다: RTX Spark(Windows PC용 개인형 인공지능 에이전트), DGX Spark(Linux 개발 클러스터) 및 DGX Station(최첨단 AI 워크스테이션)이며, 동시에 다수의 소프트웨어 업데이트, 모델 지원 및 생태계 통합을 발표했습니다.

VocabX: 비용 가중 어휘 전문화를 통해 도메인 특화 소형 언어 모델의 추론 비용을 77% 절감

Dharma-AI는 VocabX 방법을 제안하여, 포르투갈어 작문 자동 채점과 같은 특정 작업에 맞춰 언어 모델의 어휘표를 재구성함으로써 단어 빈도가 아닌 단어 비용을 최적화 목표로 삼습니다. 모델 구조, 파라미터 또는 학습 프로세스를 수정하지 않은 상태에서, 실험 결과 추론 비용이 77% 감소하는 동시에 평가 점수(bench score)가 0.703에서 0.810으로 향상되었습니다.

IBM, Granite Speech 5.0 시리즈 음성 모델 출시: 다국어 음성 문자 변환 및 번역, 화자 식별 기능 지원

IBM은 Granite Speech 5.0 시리즈의 세 가지 오픈소스 음성 모델—granite-speech-5.0-2b(고정확도 다국어 ASR/MT), granite-speech-5.0-470m-turboctc(초고속 엣지 기반 다국어 음성 전사) 및 업데이트된 granite-speech-4.1-2b-plus(향상된 다화자 대화 모델링)—를 출시했습니다. 이들 모두는 Apache 2.0 라이선스 하에 제공되며, 주요 추론 프레임워크를 지원합니다.