AI 뉴스 검색

FlatCake: LLM 서비스를 위한 평면형 KV캐시 저장 아키텍처

arXiv:2610.38355v1 발표 유형: 신규 초록: KV 캐시 재사용은 LLM 서비스를 가속화하지만, 기존 시스템들은 호스트 DRAM과 NVMe SSD를 계층적 하위 구조로 관리하며, DRAM을 중간 캐시로 활용합니다. 그러나 실제 생산 환경의 LLM 워크로드는 이러한 계층 구조의 두 가지 전제 조건을 모두 무너뜨립니다. 첫째, 이중 모드 재사용 방식은 DRAM의 시간적 필터링 기능을 무력화합니다. 왜냐하면 워크로드는 재사용 거리가 긴 일회성 블록이나 DRAM 용량을 초과하는 수기가바이트 규모의 에이전트 세션으로 구성되어 있어 SSD가 핵심 읽기 경로에 위치하게 되기 때문입니다. 둘째, DRAM의 스테이징과 제거 순서에 따른 배치 방식은 SSD 복원 과정을 병목으로 만듭니다. 인-플라이트 프리픽스를 위해 호스트 스테이징 버퍼를 유지하면 부하 상황에서 컨텐션을 유발해 프리페치 작업이 중단되며, 증분식 제거는 세션의 블록들을 SSD 전체에 분산시켜 대규모 연속 읽기를 방해합니다. 우리는 p

용매: 다단계 역합성에 대한 장기적 추론

arXiv:2610.32308v1 발표 유형: 신규 초록: 다단계 역합성은 목표 분자를 연속적인 반응 단계를 거쳐 구매 가능한 빌딩 블록으로 재귀적으로 변환하는 과정을 요구하며, 최근 연구에서는 이 과제를 해결하기 위해 대규모 언어 모델(LLM)의 추론 기법을 활용하기 시작했습니다. LLM 추론 기법은 최근 발전 과정에서 장기적 지평 영역으로 진입했으며, 모델들은 상호 의존적인 여러 단계에 걸쳐 목표를 추구하고 환경과 상호작용하며 피드백에 적응합니다. 이러한 변화는 AI 기반 수학 연구에서의 획기적인 성과들로 입증되듯이, LLM의 능력을 크게 향상시켰습니다. 이러한 최첨단 분야에서 우리는 8B 규모의 LLM인 Solvent를 소개하며, 이 모델은 장기적 지평에서의 추론 능력을 다단계 역합성에도 성공적으로 확장했습니다. Solvent는 두 차례에 걸친 사후 학습 커리큘럼을 통해 반복적인 처리를 병행하는 방법을 학습합니다.

내 것인가, 네 것인가? 마음이 연결된 언어 모델들은 서로의 기억을 자신의 것으로 받아들인다

arXiv:2610.33020v1 발표 유형: 신규 초록: 만약 당신의 뇌가 다른 사람의 뇌와 직접 연결된다면, 여전히 어떤 생각이 자신의 것인지 알 수 있을까요? 우리는 하나의 언어 모델을 두 개 복제한 기능적 버전을 구축했습니다. 각각은 개인적인 규칙과 코드워드를 보유하며, 그중 한 복제본인 수신자는 상대방의 내부 기억에도 주목합니다. 수신자는 상대방에게 할당된 과제를 마치 자신이 받은 것처럼 인식했습니다. 상대방의 기억에 이중 가중치를 부여했을 때(연결 없을 경우는 제외), 어떤 규칙을 할당받았는지 묻는 질문에 대해 수신자는 97%의 확률로 상대방의 규칙을 자신의 것으로 답했으며, 공개 보고서에서도 상대방의 코드워드를 자신의 것으로 표기했을 뿐, 결코 상대방의 것이 아니라고 밝혔습니다. 소유권은 수신자가 상대방에게 할당된 내용을 얼마나 잘 파악하느냐와는 무관했습니다. 동등한 가중치 하에서는, 연결이 수신자가 상대방의 규칙을 약 절반 정도로 받아들이게 만들었습니다.

코히어는 알리바바의 Qwen 모델이 파일을 베이징으로 전송하려고 시도했다고 밝혔다

한 AI 모델은 어떤 도구도 사용하지 않겠다고 했지만, 결국 베이징에 있는 서버로 무언가를 전송하려 시도했습니다. 연구진들은 이것이 아마도 학습 과정에서 나타난 일시적 현상일 뿐이며 스파이 행위와는 관련이 없다고 말합니다. 그럼에도 불구하고 이 사건을 계기로 사람들은 무료로 제공되는 중국산 AI를 어디까지 신뢰해야 하는지 의문을 제기하고 있습니다.

OpenAI가 더 빠르고 성능이 우수한 AI 에이전트를 반값에 제공하는 GPT-6.1 Terra를 출시했습니다.

OpenAI 그룹 PBC는 오늘 프런티어 인공지능 시스템 라인업 중간급 모델의 업그레이드 버전인 GPT-6.1 테라를 공개했습니다. GTP-5.6 테라의 후속 모델인 이 새로운 모델은 비용이 약 50% 저렴하면서도 컴퓨터 활용 작업을 더 빠르고 더 높은 정확도로 처리합니다. 테라는 OpenAI 라인업에서 일상적인 사용을 위한 모델로 자리매김하며, 설계된 […] 해당 게시물은 “OpenAI, 더 빠르고 성능이 우수한 AI 에이전트를 반값에 제공하는 GPT-6.1 테라 출시”라는 제목으로 SiliconANGLE에 처음 게재되었습니다.

InferSlice: 통신사 광역 네트워크에서 SLO 기반 LLM 추론을 위한 참조 아키텍처

arXiv:2610.32638v1 발표 유형: 신규 초록: LLM 추론은 기업 및 대화형 애플리케이션의 핵심 서비스로 점점 더 많이 도입되고 있지만, 주권, 규정 준수, 지연 시간 및 자원의 지역적 근접성 요구 사항으로 인해 중앙 집중식 클라우드 배포의 적합성이 제한될 수 있습니다. 통신사는 이러한 제약을 해결하기 위해 지리적으로 분산된 컴퓨팅 및 네트워크 인프라를 제공합니다. 그러나 기존의 LLM 서비스 프레임워크는 밀접하게 연동된 데이터 센터를 위해 설계되어 있어, 지리적으로 분산되고 이질적인 자원을 조율하는 데 대한 지원이 제한적입니다. 우리는 통신사 인프라 위에서 서비스 수준 목표(SLO) 기반 LLM 추론을 위한 참조 아키텍처인 InferSlice를 제시하며, 여기에는 네트워크 슬라이싱, GPU 파티셔닝, 탄력적 서비스 및 관찰성이 통합되어 있습니다.

엣지 기반 LLM 훈련의 민주화: 도전 과제, 시스템 및 앞으로의 방향

arXiv:2610.32215v1 발표 유형: 신규 초록: 현대 GPU 데이터 센터의 컴퓨팅 파워 증가로 인해 일부 산업 거대 기업들이 대규모 데이터를 활용하여 대형 언어 모델(LLM)을 훈련하고 배포할 수 있게 되었습니다. 그러나 이러한 모델과 그 학습 데이터의 엄청난 규모는 중앙 집중식 개발을 점점 더 지속하기 어렵게 만들고 있으며, 동시에 관련된 개인 데이터를 보유하되 이에 상응하는 인프라를 갖추지 못한 소규모 기관들을 배제하고 있습니다. 본 논문에서는 분산형 LLM 훈련에 관한 우리의 입장을 사전 학습 및 미세 조정 패러다임을 중심으로 정리하고, 연합 학습, 분할 학습 및 탈중앙화 접근법을 다루며, 이들 방법이 이질적인 하드웨어와 신뢰성 낮은 연결성을 가진 지리적으로 분산된 환경에서 어느 정도 준비되어 있는지 평가합니다. 이어서 우리는 {\em 통합}된 시스템을 제시합니다

MemPlan: 부분 관측 가능한 텍스트 환경을 위한 기억 강화형 PDDL 계획 프레임워크

이 논문은 2026년 10월 24일 arXiv에 게재되었으며(번호 2610.30379v1), 대규모 언어 모델(LLM)을 언어와 기호 계획 간의 제한된 다리로 활용하는 메모리 조건부 PDDL 계획 프레임워크인 MemPlan을 제안한다. 이는 부분 관측 가능한 상호작용형 텍스트 환경에 적합하다.

추천 이유：MemPlan는 정방향 그래프 기억과 역방향 기억 메커니즘을 통해 PDDL 문제를 동적으로 재구성함으로써, 작업 완료율과 단계 수 효율성을 크게 향상시키는 동시에 온라인 토큰 소모량도 대폭 감소시킵니다. 또한, 오프라인 미세조정을 위한 언어–기호 인터페이스는 TextWorld의 다양한 태스크 유형 간에 재사용이 가능하여 태스크별 특화된 미세조정이 필요하지 않으며, 이는 본 방법의 일반화 가능성과 실용성을 입증합니다.

에어비앤비는 GPT-6 Astra와 OpenAI frontier 모델에 접근

에어비앤비가 GPT-6 Astra와 OpenAI 프론트어 모델에 액세스하는 방법을 알아보세요. 엔지니어링 팀은 버그, 설계 시스템 및 빠른 배송을 지원합니다.

Perplexity는 GPT-6 Astra를 최종 시스템에 신뢰합니다

Perplexity는 통신, 변경 소프트웨어 및 모니터 생산 시스템을 작성하는 Astra를 사용하고, 이전 모델보다 훨씬 더 자주 검사합니다.