AI 뉴스 검색

해설을 읽지 않고도 점수를 매기는 방법: 자동 해석 가능성 평가 데이터의 구조적 단축법

arXiv:2610.37676v1 발표 유형: 신규 요약: 자동 해석 가능성은 스파스-오토인코더(SAE) 특성에 대한 설명을 평가하기 위해, 모델에게 평가 예시들에서 해당 특성이 활성화되는 위치를 토큰별로 예측하도록 하거나, 표시된 토큰들이 그 특성에 부합하는지를 판단하도록 요청합니다. 우리는 평가 데이터의 표준 파이프라인이 생성한 결과를 설명을 읽지 않고도 점수 매길 수 있음을 발견했습니다. Neuronpedia에 저장된 GPT-2 소형 특성 500개에 대한 무작위 퍼징 실행 결과에 따르면, 활성화된 예시 중 91.3%가 중심 토큰에 최대값이 위치하도록 잘려 있으며, 중심 토큰이 표시되어 있을 때 “예”라고 판단하는 규칙은 저장된 LLM 점수 매기기 도구들(파이프라인 코드로부터 재구성된 표시 기반 판정 결과를 바탕으로 재산출)의 정확도 0.838에 비해 0.979의 균형 잡힌 정확도를 달성합니다. 또한 표시 개수만을 기준으로 판단하는 규칙은 0.969의 정확도를 보입니다. T

AdaptTok-Indic: 인도계 언어를 위한 스크립트 인식형 적응형 토큰화

arXiv:2610.33017v1 발표 유형: 신규 요약: 영어 중심의 말뭉치로 학습된 다국어 토큰라이저는 종종 인도계 언어를 과도하게 세분화하여, 결과적으로 더 긴 토큰 시퀀스와 각 스크립트 간의 토큰화 격차를 초래합니다. 우리는 AdaptTok-Indic을 제안합니다. 이는 유니코드 정규화 전처리와 명시적인 인도계 결합 처리, 스크립트 인식형 라우팅, 그리고 소규모 트랜스포머 언어 모델과 함께 공동 학습된 학습 기반 바이트 수준 경계 예측을 결합한, 인도계에 특화된 적응형 토큰라이저 확장입니다. 벵골어와 힌디어를 대상으로 평가했으며, 구자라트어, 타밀어, 텔루구어에 대해서도 추가 평가를 수행한 결과, AdaptTok-Indic은 인도계 지향 토큰라이저 베이스라인인 SentencePiece BPE 및 독립적으로 구현된 MAGNET 방식 베이스라인보다 낮은 토큰 비율을 달성했습니다. 다섯 가지 기록된

역사 문서 전사용 OCR 시스템의 엔터티 인식 기반 평가

arXiv:2610.33004v1 발표 유형: 신규 초록: 광학 문자 인식(OCR)은 역사 기록 보관소의 디지털화에 필수적이지만, 문자 오류율(CER)과 같은 표준 평가 지표만으로는 이름, 날짜, 식별자 등 의미 있는 정보가 제대로 유지되는지를 반드시 반영하지 못합니다. 본 연구에서는 역사 문서에서의 OCR 품질을 평가하는 데 있어 보완적인 관점으로서, OCR 오류를 엔터티 수준에서 분석하는 방법을 탐구합니다. 공개된 벤치마크 데이터셋인 Berrutti 아카이브의 175개 문서와, 게재 승인 시 공개될 5,209개의 수동으로 주석된 엔터티 언급을 추가하여, 시퀀스 인식 기반 OCR 시스템, OCR 전용 비전-언어 모델, 그리고 범용 비전-언어 모델을 비교합니다. 전역적 전사 정확도 외에도

듀얼페이스: LLM 서비스를 위한 분리형 스케줄링 및 협력적 GPU–CPU 디코딩

arXiv:2610.33501v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM) 서비스는 추론 처리량을 높이기 위해 배치 처리에 의존하지만, 키-값(KV) 캐시는 시퀀스 길이와 함께 증가하여 GPU 상주 동시성을 제한한다. CPU 오프로드를 통해 호스트 메모리를 활용하면 KV 용량을 확장할 수 있지만, 기존 시스템은 여전히 대부분 GPU 중심으로 작동한다: CPU 상주 요청은 GPU 스케줄러가 적절한 겹침 기회를 제공할 때에만 진행된다. 그 결과, 호스트 메모리와 CPU 연산은 독립적인 서비스 자원으로 작용하지 못하며, 이로 인해 부하 하에서 CPU 측 진행이 간헐적으로 발생하고 꼬리 부분의 토큰 간 지연(ITL)이 부풀어 오르게 된다. 우리는 호스트를 독립적으로 스케줄링되는 디코딩 엔진으로 전환하는 LLM 서비스 런타임인 DualPace를 제안한다. DualPace는 두 개의 엔진 간에 스케줄링 권한을 분리한다: GPU 엔진

LazyFlash: 가속화된 장문 컨텍스트 미세조정을 위한 전방 밀집·후방 희소 주의

arXiv:2610.31911v1 발표 유형: 신규 초록: 대규모 언어 모델(LLMs)이 점점 더 긴 시퀀스를 처리함에 따라, 주의 메커니즘은 주요 계산 병목으로 부각되고 있습니다. 희소 주의는 대부분 추론 단계에 초점을 맞추지만, 여전히 많은 방법들이 밀집형으로 학습되거나 희소 학습을 지원하지 못하며, 추가적인 복잡성으로 인해 희소성이 실제 월클럭 속도 향상으로 이어지기 어려워져 결국 실무에서는 밀집형 주의가 널리 사용되고 있습니다. 본 논문에서는 주의 학습이 후방 패스에 의해 주로 결정된다는 관찰에 기반한 전방 밀집·후방 희소 주의 방식인 LazyFlash를 제안합니다. LazyFlash는 전방 패스를 정확히 밀집형으로 유지하여, 학습된 모델이 vLLM과 같은 기존 시스템에서 아무런 변경 없이 서비스할 수 있는 표준 밀집형 모델로 남도록 합니다. 후방 패스에 대해서는 LazyFlash는 그라디언트-a를 제안합니다.

마이크로서비스 시스템을 위한 대규모 언어 모델 기반 자동회귀형 다중모달 이상 탐지

arXiv:2610.31722v1 발표 유형: 신규 초록: 마이크로서비스 시스템은 대규모 클라우드 애플리케이션의 주류 아키텍처로 자리잡아 빠른 배포와 탄력적 확장을 가능하게 합니다. 그러나 마이크로서비스 시스템의 신뢰성과 가용성을 보장하는 데는 효과적인 이상 탐지가 매우 중요하며, 장애나 성능 이상이 서비스 간에 빠르게 전파되어 종단 간 시스템 동작에 심각한 영향을 미칠 수 있습니다. 기존의 마이크로서비스 시스템용 다중모달 이상 탐지 방법들은 두 가지 근본적인 한계로 인해 어려움을 겪습니다: (i) 모달별 특성을 무시하고 교차 모달 융합에 치중하는 점과, (ii) 특징 재구성 과정에 영향을 미치는 ‘정체성 단축’ 문제입니다. 이러한 문제를 해결하기 위해 우리는 자동회귀형

baseVultra: 새로운 소형 비선형 순환 단위를 활용한 후보 생성으로, 소규모 시나리오에서 LSTM 및 GRU를 능가하는 성능을 보입니다.

arXiv는 2026년 10월 24일에 논문 arXiv:2610.30154v1을 발표하여 새로운 순환 신경망 단위인 baseVultra를 제안했다. 이 모델은 밀집된 순환 계산을 단일 H×H 후보 생성 행렬로 집중시키고, 전통적인 게이트 매트릭스 대신 O(H) 차원의 대각 상호작용을 도입함으로써, TinyShakespeare와 같은 컴팩트한 환경에서 그 효능을 검증하였다. 20만 개의 파라미터를 갖춘 단층 구조에서 검증된 손실값은 1.594로, 동일한 파라미터 수준의 LSTM(1.604) 및 GRU(1.616)보다 우수하며, 밀집 계산에 따른 오버헤드는 GRU의 약 54%에 불과하다.

추천 이유：이 연구는 순환 신경망 아키텍처 설계의 새로운 탐색 방향을 제시하며, 문맥 제어 중심에서 후보 생성 중심으로 전환하고 있다. 실험은 문자 단위 언어 모델링(TinyShakespeare, text8)과 형식 언어 프로브(Counter 임무)를 포괄하며, 그 결과는 특히 숨겨진 상태 용량이 제한된 컴팩트한 환경(H=16 등)에서 해당 접근법의 우위가 명확히 드러난다는 점을 보여준다. 이는 명확한 기술적 정위와 실증적 근거를 갖추고 있다.

연구는 서로 다른 긴 컨텍스트 모델 간의 증거 위치에 대한 민감성에서 나타나는 체계적인 차이를 밝혀냈다.

2026년 10월 24일 arXiv에 게재된 한 실증 연구(논문 번호 2610.31135v1)는 긴 컨텍스트 질문응답 과제에서 Transformer, 상태공간 모델(state-space) 및 혼합 Mamba 아키텍처 간의 위치 편향 현상을 비교한 결과, Transformer 모델은 대체로 시작 위치의 증거를 활용하는 데 유리한 특성을 보이는 반면, 상태공간 모델은 이러한 특성을 결여하고 있으며, 두 모델 모두 끝 위치의 증거를 선호한다는 점을 밝혀냈다.

추천 이유：이 연구는 통제된 실험 설계를 기반으로 하며(9개의 교란 문서를 고정하고, 단일 황금 문서를 이동시키는 방식), 최초로 통합 평가 프레임워크 하에서 세 가지 주요 시퀀스 모델링 아키텍처의 위치 민감성을 수평적으로 비교함으로써, 모델 성능과 아키텍처 유형, 프롬프트 엔지니어링, 작업 특성 간의 강한 상호 연관성을 규명하였다. 이는 긴 컨텍스트 AI 시스템의 설계와 디버깅에 있어 직접적인 참고 가치를 제공한다.