본문으로 건너뛰기
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI 뉴스 검색

제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.

발행 시간순

SetPrint: 응답 변화의 집합적 대응을 통한 블랙박스 LLM 지문 추적

arXiv:2611.12950v1 발표 유형: 신규 초록: 블랙박스 LLM 지문 분석은 입력 쿼리에 대한 출력 응답만 관찰 가능한 상황에서 대상 모델이 소스 모델로부터 파생되었는지 여부를 판단하는 것을 목표로 합니다. 이러한 관계를 밝혀내는 한 가지 방법은 각 쿼리를 변형하고 두 모델의 결과 응답을 관찰하여 두 개의 상응하는 응답 변동 집합을 생성하는 것입니다. 이들 집합은 두 가지 상호 보완적인 정보원을 제공합니다: 각 집합 내 응답 변화 간의 관계와 두 집합 간 응답 변화의 대응성입니다. 그러나 기존 접근법들은 이 두 가지를 완전히 활용하지 못했습니다. 우리는 \textbf{SetPrint}을 제안하며, 이는 집합 내 관계와 집합 간 대응성을 동시에 포착하는 학습 불필요 방법입니다. SetPrint은 각 응답 변화를 해당 집합의 평균 변화에 대해 상대적으로 표현한 다음, 동일한 변형으로 유도된 두 모델의 변화를 비교합니다. LeaFBench에서 SetPrint은 기존의 학습 불필요 블랙박스 지문 분석 방법들을 일관되게 능가합니다. 추가 분석에 따르면 이러한 성과는 집합 내 관계와 집합 간 대응성 모두에 기인합니다.

AtariBench: Atari 게임 플레이에서 비전-언어 모델의 시공간 추론 평가

arXiv:2611.08755v1 발표 유형: 신규 초록: 비전-언어 모델(VLM)은 정적인 시각 이해 벤치마크에서 우수한 성능을 달성했지만, 동적 환경에서의 행동 능력에 대해서는 아직 잘 이해되지 않고 있습니다. 우리는 AtariBench를 제안하며, 이는 20개의 Atari 2600 게임을 대상으로 VLM을 평가하는 통제된 벤치마크로, 모델들이 고시간 해상도의 게임플레이 스트림에서 순차적 결정을 내려야 합니다. 게임 내 빠른 동역학과 실제 경과 시간 기반 추론 속도를 분리함으로써, AtariBench는 모델들이 급격한 시각적 상태 변화를 인지하고, 시공간적 동역학을 추론하며, 현재 관찰 결과에 기반하여 행동을 수행할 수 있는지를 중점적으로 평가합니다. 우리의 실험 결과는 최신 VLM들에 상당한 한계가 있음을 보여줍니다. 모델들은 종종 객체의 움직임과 방향을 추론하지 못하고, 취약한 순차적 의사결정을 보이며, 새로 추가된 시각적 피드백에도 불구하고 텍스트 상호작용 이력을 지나치게 의존하는 것으로 나타났습니다. 또한 우리는 모델 역량의 신뢰할 수 있는 신호를 제공하는 게임 내 점수가 무엇인지 파악하기 위해 분리 가능성 분석을 도입하고, 벤치마크를 활용하여 메모리 설계와 프롬프팅 전략이 성능에 미치는 영향을 연구합니다. 전반적으로 AtariBench는 수동적 시각 인식과 능동적 의사결정 사이에 여전히 존재하는 격차를 드러내며, 동적 환경에서 추론하고 행동할 수 있는 VLM 개발을 위한 가볍고 엄밀한 테스트베드를 제공합니다.

FilingLoop: 기업 공시 검토 및 수정을 위한 LLM 에이전트 평가 및 진화

arXiv:2610.37905v1 발표 유형: 신규 초록: SEC EDGAR와 같은 공시 저장소는 기업 공시에 대한 웹 접근을 통해 정보에 기반한 투자를 지원합니다. 이러한 문서의 검토를 언어 모델 기반 에이전트로 지원하려면, 관련 문서들 간의 미표명된 결함을 발견하고, 누락된 회사 정보를 확보하며, 요청된 수정 사항이 증거에 근거한 요구사항을 충족하는지 검증해야 합니다. 기존의 재무 관련 질문-답변 평가는 이러한 상호작용 능력에 대해 제한적인 근거만 제공합니다. 우리는 기업 공시 검토 및 수정을 위한 대화형 벤치마크이자 자체 진화형 에이전트 프레임워크인 \textbf{FilingLoop}을 소개합니다. FilingLoop은 미국 증권거래위원회의 역사적 서신을 바탕으로, 96개 기업의 주로 IPO 검토 과제 380개를 재구성합니다.

진행 상황 및 관련 보도

FlatCake: LLM 서비스를 위한 평면형 KV캐시 저장 아키텍처

arXiv:2610.38355v1 발표 유형: 신규 초록: KV 캐시 재사용은 LLM 서비스를 가속화하지만, 기존 시스템들은 호스트 DRAM과 NVMe SSD를 계층적 하위 구조로 관리하며, DRAM을 중간 캐시로 활용합니다. 그러나 실제 생산 환경의 LLM 워크로드는 이러한 계층 구조의 두 가지 전제 조건을 모두 무너뜨립니다. 첫째, 이중 모드 재사용 방식은 DRAM의 시간적 필터링 기능을 무력화합니다. 왜냐하면 워크로드는 재사용 거리가 긴 일회성 블록이나 DRAM 용량을 초과하는 수기가바이트 규모의 에이전트 세션으로 구성되어 있어 SSD가 핵심 읽기 경로에 위치하게 되기 때문입니다. 둘째, DRAM의 스테이징과 제거 순서에 따른 배치 방식은 SSD 복원 과정을 병목으로 만듭니다. 인-플라이트 프리픽스를 위해 호스트 스테이징 버퍼를 유지하면 부하 상황에서 컨텐션을 유발해 프리페치 작업이 중단되며, 증분식 제거는 세션의 블록들을 SSD 전체에 분산시켜 대규모 연속 읽기를 방해합니다. 우리는 p

진행 상황 및 관련 보도

Seq@K: 순차적 피드백 하에서 언어 모델 평가

arXiv:2610.37859v1 발표 유형: 신규 초록: 언어 모델 기반 에이전트는 맥락 속의 자연어로부터 학습할 수 있다는 점에서 기존 지능형 시스템과 근본적으로 다릅니다. 이러한 능력은 현대 에이전트 워크플로우에서 널리 사용되는 방식인, 피드백에 따라 답변을 반복적으로 개선해 나가는 것을 가능하게 합니다. 그러나 커뮤니티에서는 주로 Pass@1이나 Pass@K와 같은 지표로 모델을 평가해 왔으며, 이는 모델이 이전 시도에서 얻은 피드백을 어떻게 활용하는지를 포착하지 못합니다. 우리는 각각의 이전 시도가 실패했을 때마다 피드백을 제공받아, K번의 연속된 시도 내에 문제를 해결할 수 있는지 여부를 측정하는 자연스러운 평가 프로토콜인 Seq@K를 제안합니다. 장기 계획을 검토하는 다단계 에이전트 벤치마크와 달리, Seq@K는 개선이라는 핵심 역량을 분리하고 이를 정식화합니다.

진행 상황 및 관련 보도

이제 Gemini 채팅에서 Google 문서 파일을 직접 생성하고 편집할 수 있습니다.

이제 PDF, Google 문서, Google 스프레드시트, 프레젠테이션 자료, Markdown 파일, TXT 파일 및 코드를 Google Gemini 내에서 직접 생성하고 미리 보고 편집할 수 있습니다. 새로운 파일 편집 기능은 오늘부터 모든 Gemini 사용자에게 제공되며, PDF 미리 보기와 편집은 웹과 모바일 모두에서 지원되지만 다른 모든 파일 형식은 현재 웹 버전에서만 이용 가능합니다.

STK255_Google_Gemini_B_474198
진행 상황 및 관련 보도

프론티어 대규모 언어 모델에서의 애쉬 동조에 대한 정량적 접근

arXiv:2610.36668v1 발표 유형: 신규 초록: 애쉬 동조 실험은 최근 대규모 언어 모델(LLM)에서의 동조를 측정하는 방법으로 상당한 주목을 받고 있습니다. 기존 연구들이 LLM에서의 동조를 입증하는 데 집중해 왔다면, 우리 연구는 이 접근법에 추가적인 정량적 층을 더합니다. 우리는 프론티어 LLM을 여러 질문 세트에 대해 샘플링하는 대신, 단일 질문을 반복적으로 샘플링하여 LLM의 확률적 특성을 활용해 답변 분포를 생성합니다. 이를 통해 모델에 가공된 합의가 제시되기 전후의 답변 분포를 비교할 수 있습니다. 우리의 실험은 프론티어 LLM이 실제로 동조를 보임을 확인하며, 기존 문헌을 뒷받침하고, 분포 간 비교를 통해 추가적인 정보를 제공합니다.

진행 상황 및 관련 보도

‘높은 점수를 얻는 것’이 곧 ‘완전한 납품 가능성’을 의미하는 것은 아니다: AI 순위표가 신뢰 재평가의 시기를 맞고 있다

구 버전 순위의 점수는 만점에 근접했지만, 신규 버전의 실전 성적은 집단적으로 낙제점을 기록했다. 대형 모델 평가 자체가 하나의 비즈니스로 전환되면서, 기업들의 선택 기준은 이제 순위를 보는 데서 비용 계산으로 옮겨가고 있다.

진행 상황 및 관련 보도

바이두, 수백 페이지 문서 파싱을 위한 무제한 OCR 2 오픈소스 출시

바이두는 MIT 라이선스를 적용한 3B 규모의 OCR 모델인 ‘Unlimited OCR 2’를 출시했으며, 이 모델은 한 번의 요청으로 수백 페이지에 달하는 문서를 처리할 수 있습니다. 해당 모델의 SR-SWA 주의 메커니즘은 단계별 디코딩 비용을 거의 일정하게 유지하며, MarathonDocBench에서 77.1점의 성능을 기록했습니다. 본 글은 ‘바이두, 수백 페이지 문서 파싱을 위한 Unlimited OCR 2 오픈소스화’라는 제목으로 MarkTechPost에 처음 게재되었습니다.

新闻源配图 · MarkTechPost
진행 상황 및 관련 보도

Async-RBench: LLM 에이전트에서 비동기 작업 실행 성능 벤치마킹

arXiv:2610.32429v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM) 에이전트는 점점 더 비동기적으로 작업을 수행합니다. 주 에이전트는 하위 에이전트들이 실행되는 동안에도 계속 작업을 진행하며, 그 결과가 도착하기 전에 작업 상태가 변경될 수 있습니다. 이때 주 에이전트는 어떤 작업을 업데이트하거나 보존하고, 어떤 검사를 다시 수행할지 결정해야 하며, 동시에 금지된 변경 사항을 피해야 합니다. 최종 작업 성공 여부만으로는 이러한 결과가 올바르게 처리되었는지 여부를 확인하기 어렵고, 자연스러운 비동기적 도착 현상은 재현하기도 어렵습니다. 우리는 LLM 에이전트의 비동기적 작업 실행을 평가하는 벤치마크인 Async-RBench를 제안하며, 8가지 시나리오를 포괄하는 200개의 실행 가능한 작업을 제공합니다. 각 시나리오 컨트롤러는 미리 정의된 작업 상태 조건을 활용해 결과 전달을 관리하고, 이벤트 응답 계약(ERC)은 각 응답이 무엇을 의미하는지를 명시합니다.

진행 상황 및 관련 보도

소셜 월드 모델 평가 격차

arXiv:2610.33014v1 발표 유형: 신규 초록: 협상 어시스턴트는 상대방의 반응을 정확히 예측하지 않더라도 좋은 거래를 성사시킬 수 있다. 우리는 사회적 세계 모델에 대한 평가들이 이러한 예측을 직접적으로 검증하는지 여부를 묻는다. 1999년부터 2026년까지 발표된 113편의 연구를 검토한 결과, 9편의 주요 평가는 시스템이나 실험자가 선택한 행동에 대한 실제 사람의 반응을 측정한다. 이 중 단 2편만이 명시적인 반응 예측과 실제 반응을 비교하고 있다. 해당 연구들의 예측 모델은 행동이 선택될 때 이용 가능한 정보를 사용하며, 평가 대상 반응은 모델 학습 과정에서 제외되었다; 또한 두 연구 모두 개입 조건을 무작위화하였다. 언어 모델 관련 25편의 논문에 대한 별도의 전문 텍스트 검토에서는 이러한 조건을 충족하는 실험이 발견되지 않았다. 나머지 평가들은 현재 상태 추론, 과제 성공 또는 예측 f

진행 상황 및 관련 보도

용매: 다단계 역합성에 대한 장기적 추론

arXiv:2610.32308v1 발표 유형: 신규 초록: 다단계 역합성은 목표 분자를 연속적인 반응 단계를 거쳐 구매 가능한 빌딩 블록으로 재귀적으로 변환하는 과정을 요구하며, 최근 연구에서는 이 과제를 해결하기 위해 대규모 언어 모델(LLM)의 추론 기법을 활용하기 시작했습니다. LLM 추론 기법은 최근 발전 과정에서 장기적 지평 영역으로 진입했으며, 모델들은 상호 의존적인 여러 단계에 걸쳐 목표를 추구하고 환경과 상호작용하며 피드백에 적응합니다. 이러한 변화는 AI 기반 수학 연구에서의 획기적인 성과들로 입증되듯이, LLM의 능력을 크게 향상시켰습니다. 이러한 최첨단 분야에서 우리는 8B 규모의 LLM인 Solvent를 소개하며, 이 모델은 장기적 지평에서의 추론 능력을 다단계 역합성에도 성공적으로 확장했습니다. Solvent는 두 차례에 걸친 사후 학습 커리큘럼을 통해 반복적인 처리를 병행하는 방법을 학습합니다.

진행 상황 및 관련 보도

DMAIC-벤치: 다단계 분석 작업에서 에이전트의 자기성찰부터 자기절제까지

arXiv:2610.32305v1 발표 유형: 신규 초록: 다단계 분석 작업에서는 LLM 에이전트가 계속 진행할지, 경로를 변경할지, 또는 중단할지를 결정하기 위해 중간 단계의 근거를 활용해야 합니다. 에이전트가 자신의 출력을 비판하는 자기반성은 널리 연구되어 왔지만, 이러한 비판만으로는 근거가 다음 행동에 영향을 미쳤는지 여부를 확인할 수 없습니다. 우리는 이러한 능력을 ‘자기제약’이라고 부릅니다. 기존의 에이전트 벤치마크는 대부분 과제 완수 여부나 출력 품질만을 측정하며, 이 능력에 대한 검증은 이루어지지 않았습니다. DMAIC-Bench는 린 식스 시그마의 명시적인 통계적 전제 조건을 바탕으로, 4개 산업 분야에서 15개의 산업 사례에 걸쳐 97개의 초기 설정된 과제를 통해 이를 평가합니다. 쌍으로 구성된 역설적 변형 과제들은 동일한 워크플로우 위치에서 서로 반대되는 행동을 요구함으로써, 정당화된 제약과 무분별한 중단을 구분합니다. 우리는 실행 추적 정보를 통해

진행 상황 및 관련 보도

버스티 워크로드 하에서 서버리스 자동 스케일링 전략의 비교 평가를 위한 통합 큐잉 기반 프레임워크

arXiv:2610.35564v1 발표 유형: 신규 초록: 서버리스 컴퓨팅 플랫폼은 매우 버스티하고 예측 불가능한 워크로드에 적응하면서도 서비스 품질(QoS)을 유지해야 합니다. QoS 요구사항과 서비스 수준 계약(SLA)을 충족시키면서 워크로드 변동에 대응하기 위해, 이러한 플랫폼들은 자동 리소스 스케일링에 의존합니다. 상용 기능형-서비스(FaaS) 플랫폼들은 활성 함수 인스턴스 수와 가용 처리 용량을 동적으로 조정하기 위해 서로 다른 자동 스케일링 전략을 채택합니다. 본 연구에서는 대표적인 세 가지 자동 스케일링 전략인 요청당 스케일링(SPR), 동시성 레벨 스케일링(CLS), 그리고 메트릭 기반 스케일링(MBS)을 모델링하고 비교합니다. 독점적인 플랫폼별 구현에 의존하지 않는 체계적인 평가를 가능하게 하기 위해, 우리는 de

진행 상황 및 관련 보도

OpenAI가 더 빠르고 성능이 우수한 AI 에이전트를 반값에 제공하는 GPT-6.1 Terra를 출시했습니다.

OpenAI 그룹 PBC는 오늘 프런티어 인공지능 시스템 라인업 중간급 모델의 업그레이드 버전인 GPT-6.1 테라를 공개했습니다. GTP-5.6 테라의 후속 모델인 이 새로운 모델은 비용이 약 50% 저렴하면서도 컴퓨터 활용 작업을 더 빠르고 더 높은 정확도로 처리합니다. 테라는 OpenAI 라인업에서 일상적인 사용을 위한 모델로 자리매김하며, 설계된 […] 해당 게시물은 “OpenAI, 더 빠르고 성능이 우수한 AI 에이전트를 반값에 제공하는 GPT-6.1 테라 출시”라는 제목으로 SiliconANGLE에 처음 게재되었습니다.

진행 상황 및 관련 보도