본문으로 건너뛰기
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI 뉴스 검색

제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.

발행 시간순

토큰 신뢰도는 과연 체인 길이에 불과한가? 추론 흔적에 대한 신호처리 분석

arXiv:2610.36709v1 발표 유형: 신규 초록: 추론 언어 모델은 수학 문제를 풀 때 긴 사고 체인을 작성하며, 문제당 여러 개의 체인을 샘플링한 뒤 다수결을 통해 정답을 도출하면 생성된 텍스트의 양이 크게 증가하는 대신 정확도가 향상된다. 이 비용을 줄이는 인기 있는 방법으로는, 모델이 각 토큰을 작성할 때 갖는 신뢰도를 기준으로 각 체인을 점수화하는 방식이 있다. 여기서 토큰은 단어 또는 단어의 일부를 의미한다. 이 방법에서는 2048개의 토큰으로 구성된 이동 평균 창을 사용해 해당 신뢰도를 평균화하고, 가장 낮은 평균값을 기준으로 체인을 유지하거나 중단한다. 우리는 토큰별로 기록된 이러한 신뢰도를 오디오나 라디오 신호의 맥락에서 하나의 신호로 간주하고, 스펙트럼 분석 및 갑작스러운 변화를 탐지하기 위한 통계적 검정 등 표준 신호처리 도구를 활용해 이 방법을 검토하였다. 우리는 다음과 같은 문제들로부터 각각 500개의 문제에 대해 16개의 체인을 샘플링했다.

진행 상황 및 관련 보도

야코비 렌즈에 대한 수학적 이론

arXiv:2610.31955v1 발표 유형: 신규 초록: Anthropic의 최근 연구에서는 자코비안 렌즈(J-lens, Gurnee 외, 2026)라는 새로운 해석 도구를 도입했습니다. 이 방법은 최첨단 언어 모델의 은닉 상태에서 작업 기억과 유사한 표현을 연상시키는 특성을 지닌 선형 방향을 식별해냈습니다. 그러나 이러한 특징들이 J-lens에 의해 탐지될 수 있는 기전적 특성이 무엇인지 명확히 밝혀지지는 않았습니다. 이에 따라 우리는 J-lens에 대한 수학적 이론을 제시하고, 이 이론이 특히 일관성 있는 특징들—즉, 공간적으로 정합적인 리아푸노프 모드와 유사하게 작용하는 방향들—을 우선적으로 식별함을 보여줍니다. 이러한 방향을 따라 작은 섭동이 층간에 걸쳐 증폭되며, 토큰 위치 간에도 대체로 일정하게 유지되고, 다양한 문맥에서도 일관성을 보입니다. 다만 w

新闻源配图 · arXiv cs.LG
진행 상황 및 관련 보도

신경망 광산 속 카나리아: 이미지 분류기의 조용하고 자신감 넘치는 오류 포착

arXiv:2610.33063v1 발표 유형: 신규 초록: 배포된 비전 모델들은 확신이 높은 예측을 자동으로 수용하므로, 고확신 오류가 조용히 확산된다. 표준 실패 예측기인 최대 소프트맥스 확률(MSP)에는 구조적 맹점이 있다: 분류기 헤드에서 읽어오는 스칼라 값으로서, 그 확신 경사와 직교하는 특징 변동에 대해 1차적으로 무방비 상태이다. 특징 공간 탐지기들의 인자 분석을 통해, 이들이 MSP를 보완하지 못하는 이유를 설명하는 조건부 중복성 원리를 규명한다: 이들이 측정하는 클래스 분리 기하학은 이미 MSP에 내장되어 있으며, 융합 과정에서 소멸된다. 그 결과로 남는 신호는 매니폴드 외부 잔여물 위의 클래스 조건부 전형성이며, 이러한 잔여물의 분포는 백본에 따라 가우시안에 가까운 형태에서 무거운 t-분포까지 다양하게 나타난다.

진행 상황 및 관련 보도

블로킹 없는 감시: 협력형 런타임을 위한 OTP 스타일의 장애 허용성에 대한 증거 기반 재설계

arXiv:2610.34521v1 발표 유형: 신규 초록: 주류 런타임의 액터 프레임워크들은 Erlang/OTP 스타일의 감시를 표방하지만, OTP의 일관성 계약은 동기식 단일 스레드 감시자를 전제로 하고 있으며, 포트 역시 이러한 가정이 결여된 상태를 검토되지 않은 위험으로 수용하고 있다. 우리는 모든 감시 보장 사항을 고정된 버전의 OTP 문서와 소스 코드를 그대로 해석한 결과, 추가로 세 가지 루스트 액터 프레임워크의 소스 코드를 기준으로, 그리고 액터 모델 관련 문헌과 비교하여 평가하였으며, 각 설계 결정의 근거를 기록하였다. 맹목적인 대립 심사와 프레임워크 간 비교 연구를 통해 24개의 결함 유형이 도출되었고, 이 중 여덟 개는 하나의 근본 원인으로 귀착된다: 즉, 동기식 감시자가 암묵적으로 확보하는 원자성을 명시적 메커니즘을 통해 재구성해야 한다는 점이다. 우리는 감시 런타임을 도입한다…

진행 상황 및 관련 보도

다양체 위의 흐름 매칭을 위한 호환 가능성

arXiv:2610.31981v1 발표 유형: 신규 초록: 가장 간단한 비유클리드 다양체인 1차원 평탄 원환면에서, 데이터 분포로부터 표본을 밀어내는 속도장에 의해 리만 기하학적 흐름 일치의 최근 제안된 확장이 전역적으로 최적화되는 분포를 제시한다. 우리는 이러한 실패 모드를 ‘호환성’이라고 부르는 성질로 추적하며, 우도 기반 흐름 일치 목적함수가 호환성이란, 그 인구 최소화자가 데이터와 결합에 의해 유도되는 주변 속도장을 복원할 수 있을 때를 의미한다. 우리는 호환성을 위한 일반적인 조건을 제시하고 이를 기존 방법들에 적용한 뒤, 호환성 하에서 소멸하는 잔여 성분의 관점에서 최악의 오차를 상한으로 규제한다. 다음으로, 기존의 호환 가능한 목적함수들은 컴팩트 다양체에서는 실현 불가능한 속도들에 대해 밀도를 부여한다는 점을 지적한다.

新闻源配图 · arXiv cs.LG
진행 상황 및 관련 보도

OpenAI가 세 가지 주요 과학적 발견과 학계와 협력하는 새로운 방식을 발표했습니다.

수년간 미해결이던 수학 문제의 해법을 담고 있다고 밝힌 수백 편의 원고를 대규모로 공개한 지 한 달도 채 되지 않아, OpenAI는 수학, 컴퓨터 과학, 물리학 분야에서 또다시 세 가지의 “중대한” 발견을 발표했습니다. 이번에는 특히, OpenAI가 ‘셰퍼드’라고 부르는 외부 전문가들이 결과를 안내하는 방식을 선택했다는 점이 다릅니다 […]

OpenAI announces three big science discoveries and a new way to work with academics
진행 상황 및 관련 보도

퀀텀 캐던스: 다수의 동시 제안자를 갖춘 포스트-양자 합의

arXiv:2610.32803v1 발표 유형: 신규 초록: 대부분의 고성능 블록체인에서 사용되는 합의 프로토콜은, 검증자 구성원들의 서명을 하나로 묶는 쿼럼 인증서를 활용합니다. BLS와 같은 서명 체계는 전체 쿼럼의 서명을 단일한 짧은 서명으로 집약할 수 있어, 이러한 인증서의 크기를 작게 유지합니다. 그러나 대규모 양자 컴퓨터가 등장하면 이러한 체계는 무력화되며, 현재까지는 동등한 집약 크기와 집약 시간을 갖는 포스트-양자 체계는 알려져 있지 않습니다. 집약이 없을 경우, 각 인증서에는 쿼럼 구성원 한 명당 하나의 대형 포스트-양자 서명이 포함되므로, 현대의 합의 프로토콜들이 종종 요구하는 바와 같이 각 검증자가 인증서를 네트워크에 전송하는 것은 사실상 불가능해집니다. 이에 우리는 다수의 동시 제안자를 갖춘 포스트-양자 합의 프로토콜인 퀀텀 캐던스를 제안하며,

진행 상황 및 관련 보도