AI 뉴스 검색

FlatCake: LLM 서비스를 위한 평면형 KV캐시 저장 아키텍처

arXiv:2610.38355v1 발표 유형: 신규 초록: KV 캐시 재사용은 LLM 서비스를 가속화하지만, 기존 시스템들은 호스트 DRAM과 NVMe SSD를 계층적 하위 구조로 관리하며, DRAM을 중간 캐시로 활용합니다. 그러나 실제 생산 환경의 LLM 워크로드는 이러한 계층 구조의 두 가지 전제 조건을 모두 무너뜨립니다. 첫째, 이중 모드 재사용 방식은 DRAM의 시간적 필터링 기능을 무력화합니다. 왜냐하면 워크로드는 재사용 거리가 긴 일회성 블록이나 DRAM 용량을 초과하는 수기가바이트 규모의 에이전트 세션으로 구성되어 있어 SSD가 핵심 읽기 경로에 위치하게 되기 때문입니다. 둘째, DRAM의 스테이징과 제거 순서에 따른 배치 방식은 SSD 복원 과정을 병목으로 만듭니다. 인-플라이트 프리픽스를 위해 호스트 스테이징 버퍼를 유지하면 부하 상황에서 컨텐션을 유발해 프리페치 작업이 중단되며, 증분식 제거는 세션의 블록들을 SSD 전체에 분산시켜 대규모 연속 읽기를 방해합니다. 우리는 p

3, 7, 14, 17, 42: 지도 조정이 언어 모델의 숫자 선택 휴리스틱을 설치하고 날카롭게 만든다

arXiv:2610.36178v1 발표 유형: 신규 초록: 우리는 임의의 숫자를 요청받았을 때 언어 모델이 1부터 N까지의 각 정수에 부여하는 확률을 표본 오차 없이 측정한다. 고정된 프롬프트 하에서 모델은 하나의 확률 벡터를 정의하며, 이는 표본 추출로 추정하는 방식이 아니라 각 정수의 점수화된 표현을 모두 합산하여 계산함으로써 기존 연구들[1, 4]에서 제한되던 노이즈를 제거한다. 우리는 두 개의 추론 스택에서 N = 100까지의 다섯 가지 범위에 걸쳐 18개의 오픈 웨이트 모델 라인을 29가지 디코딩 구성하에 평가하였으며, 그 중 15개 모델은 사용 가능한 답변을 제공하는 기본 체크포인트와 지도 조정 체크포인트가 모두 일치하였다. 지도 조정은 이 15쌍 모두에서 분포를 보다 균일하지 않게 만들며, 하나의 휴리스틱인 ‘둥근 수 회피’를 도입하고 또 다른 휴리스틱인 ‘종점 회피’를 더욱 명확히 한다. 기본 체크포인트

SAGE 벤치마크와 GAR 프레임워크 발표: 다중 모달 의미 정합성 평가 촉진

2026년 10월 26일, arXiv은 논문 arXiv:2610.31838v1을 발표하여 Sense-Aligned Grounding Evaluation(SAGE)를 제안했습니다. 이는 통합된 10개의 후보 이미지 선택 기준이며, 명사, 동사 및 엔터티 중심의 다중모달 그라운딩 평가를 위한 학습 독립형 Gloss-Augmented Reasoning(GAR) 프레임워크와 함께 제공됩니다.

추천 이유：이 연구는 최초로 VWSD, VerSe 및 WikiDiverse 세 가지 유형의 과제를 용어 중심의 지상 검증 프로토콜로 통합하고, 혼동을 유발하는 어려운 음성 샘플과 문맥 교환 진단 메커니즘을 도입하며, 정의 강화와 제약 기반 추론의 상호작용이 Hits@1 지표를 크게 향상시킬 수 있음을 실증적으로 입증했습니다(65.90→71.22). 이를 통해 다모달 의미 정렬에 대해 보다 세밀하고 해석 가능한 평가의 새로운 패러다임을 제공합니다.

TRIAD 발표: 전모달 모호성 해소를 위한 최초의 다중모달 대규모 모델 평가 벤치마크

2026년 10월 24일, 연구자들은 arXiv에 논문 arXiv:2610.30841v1을 발표하여, 텍스트·이미지·오디오의 삼모달 협력적 모호성 해소 능력을 평가하기 위한 새로운 벤치마크인 TRIAD를 공식적으로 출시했습니다. 이 벤치마크는 327개의 수작업으로 구성된 삼모달 샘플을 포함하며, 86개의 시나리오 그룹과 18종의 교차모달 모호성 유형을 포괄합니다.

추천 이유：이 성과는 현재 다중모달 대규모 모델 평가의 핵심적 맹점을 정면으로 지적한다. 기존 벤치마크는 대부분 단일한 확정적 입력에 초점을 맞추어 인지 또는 추론을 평가해 왔으나, TRIAD는 최초로 ‘모달 상호보완에 의한 오류 해소’를 평가 목표로 체계적으로 접근했다. 엄격히 설계된 ‘남은 하나의 모달’ 반사실 시험을 통해, 특히 음성 데이터에 대한 모델의 활용 부족과 장면 수준에서의 취약한 로버스트성 등 핵심적인 결함을 드러내며, 차세대 전모달 모델 평가를 위한 재현 가능한 진단 프로토콜과 분류법을 제공한다.

라이트하우스: 미국 민권운동사를 위한 최초의 신뢰할 수 있는 디지털 비서 출시

논문 arXiv:2610.30158v1은 2026년 10월 24일에 발표되었으며, 사우스캐롤라이나주 아카이브 데이터를 기반으로 미국 민권운동 시기의 역사를 탐구하는 데 특화된 최초의 디지털 어시스턴트인 Lighthouse를 소개합니다. 이 프로젝트의 핵심 혁신은 신뢰할 수 있는 콘텐츠와 사용자 피해 완화를 설계 원칙으로 삼고, 대규모 언어 모델과 규칙 기반의 기호적 해결 방식을 결합한 신경-기호 하이브리드 아키텍처를 채택한 점입니다.

추천 이유：이 연구는 AI를 활용한 역사 탐구를 민권운동이라는 민감하고도 핵심적인 역사적 시기로 처음으로 집중시켰으며, 일반형 챗봇과 구별되는 ‘신뢰성’과 ‘피해 모델링’의 이중 제약을 명확히 제시했다. 또한 그 방법론(신경-기호 통합), 평가 방식(전문가 합의를 바탕으로 구성된 주관식 문항의 골드 스탠다드 포함) 및 데이터 규모(원본 기록 1만 8천여 건 이상) 모두 학술적 모범 사례로서의 가치를 지닌다.