제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
arXiv:2610.37881v1 발표 유형: 신규 초록: 딥페이크 탐지 모델은 전반적인 정확도는 높지만, 인구통계학적 집단 간 성능 격차가 크기 때문에 일부 집단에서는 다른 집단에 비해 훨씬 높은 거짓양성률을 경험하게 됩니다. 기존의 공정성 지향 방법들은 모델 출력을 제한하여 집단별 예측을 균등화하는 방식으로 이 문제를 해결하려 하지만, 근본적인 특징 수준의 편향에는 대응하지 못합니다. 그 결과, 모델들이 여전히 피부 질감과 같은 인구통계학적 특성을 조작된 콘텐츠를 탐지하는 간접적 단서로 활용할 수 있는 상황이 발생합니다. 이러한 문제를 해결하기 위해 우리는 모델 출력만을 조정하는 것이 아니라 특징 학습 자체를 개선하는 프레임워크인 교차적 불변 학습(IIL)을 제안합니다. IIL은 가장 어려운 인구통계학적 하위 집단을 식별하는 과정을 반복적으로 수행하며
arXiv:2610.37731v1 발표 유형: 신규 초록: 모델의 불일치로 인해 단일 교정 파라미터만으로는 전체 맥락 영역에서 물리적 반응을 재현할 수 없을 수 있습니다. 또한 관측값과 맥락의 불확실성은 교정에 영향을 미치며, 이를 반드시 고려하고 정량화해야 합니다. 우리는 목표 맥락에 대한 근접성에 따라 관측 가능성을 가중하는 방식으로 일련의 국소화된 사후 분포를 구성합니다. 가우시안 국소화 가중치는 공분산 확장을 통해 맥락 불확실성을 반영하며, 도메인 경계에서는 반사를 적용하고, 맥락 표본 채취가 고르지 않은 경우에 대비한 선택적 보정도 제공합니다. 조건부 정규화 흐름을 이용하여 변환된 변분 추론을 통해 이들 사후 분포의 집합을 근사합니다. 규정된 맥락 측도 하에 국소화된 사후 분포들을 통합하면
arXiv:2610.37682v1 발표 유형: 신규 초록: 리스트와이즈 선호도 피드백은 쌍대비교보다 대규모 언어 모델(LLMs) 정렬을 위한 더 풍부한 감독 정보를 제공하지만, 전체 순위는 더욱 민감한 사용자 선호까지 드러냅니다. 기존의 개인정보 보호형 정렬 방법들은 주로 쌍대비교 피드백에 집중해 왔으며, 로컬 차분적 개인 정보 보호(LDP) 하에서의 리스트와이즈 정렬은 아직 미탐구 상태입니다. LDP를 이러한 리스트와이즈 영역으로 확장하는 데에는 중대한 과제가 따릅니다: 전체 순위 공간의 높은 민감성으로 인해 과도한 노이즈가 발생하여 리스트와이즈 감독의 이점이 무력화될 수 있기 때문입니다. 이 문제를 해결하기 위해 우리는 하위 단계 학습에서 감독의 세분화 정도와 개인정보 보호 노이즈 간의 상호작용을 분석하고, 리스트와이즈 선호도를 개인화하는 랭크 인식 지수 메커니즘을 도입합니다.
arXiv:2610.37680v1 발표 유형: 신규 요약: 프런티어 모델과 소형 언어 모델 간의 격차를 해소하는 일반적인 접근법은 증류입니다. 즉, 소형 모델(학생)을 프런티어 모델(교사)의 출력에 대해 미세 조정함으로써 이전 작업을 학습 계산에 의존하게 만들고, 전달된 지식을 상당히 불투명하게 만듭니다. 우리는 아트팩트 증류를 제안합니다. 교사가 학습 사례를 해결하고 그 문제 해결 절차를 외부화하여 아트팩트 은행으로 저장하며, 학생은 추론 시 해당 은행을 조회합니다. 이 과정에서는 파라미터 업데이트가 전혀 발생하지 않습니다. 네 가지 LiveBench 과제에서, Claude Opus 4.5가 작성한 은행을 사용하면 Claude Haiku 4.5는 공간 추론에서 무보조 Claude Sonnet 4.5보다 60%의 비용으로 더 높은 점수(0.707 대 0.647)를 기록하며, 테이블 조인에서도 Sonnet 4.5 수준에 도달하는데 그 비용은 89%에 불과합니다. 동일한 원시 은행은
arXiv:2610.37788v1 발표 유형: 신규 초록: 언어 모델 기반 비서는 사용자가 잘못된 답변을 제시하면 때때로 올바른 답변을 수정하기도 한다. 이러한 행동은 ‘아첨’으로 불리며, 일반적으로 선호 기반 사후 학습에 기인한다고 여겨지지만, 초기 측정에서는 사전 훈련된 모델에서도 발견되었다. 우리는 이 현상이 어디에서 발생하는지 파악하기 위해 학습의 모든 가능한 단계에서 이를 측정하였다: 기본 모델부터 감독 학습, 선호도 최적화를 거쳐 출시에 이르기까지, 5개 계열의 오픈 체크포인트 13개를 대상으로 분석했다. 또한, 주입된 주장이 모델의 답변을 얼마나 변화시키는지와 답변이 얼마나 견고하게 유지되었는지를 구분하고, 주장의 주체와 그 신뢰도, 그리고 주장의 강도를 다양하게 설정하여 실험을 진행했다. 그 결과, 서로 다른 기원을 가진 두 가지 아첨 행동이 나타났으며, 이 두 행동 모두 다양한 데이터셋에서 재현되었다. 주장에 대한 복종은 i
arXiv:2610.39017v1 발표 유형: 신규 초록: 분산 합의 및 일관성 프로토콜은 이해하기 어렵지만 클라우드의 기반이 되므로, 배포 전에 종종 엄격한 증명과 형식 검증 과정을 거칩니다. 그러나 프로토콜 수정에는 이러한 수준의 엄밀성이 거의 적용되지 않으며, 생산 환경에서는 이러한 수정이 빈번히 발생해 안전성을 위협합니다. 본 논문에서는 수동 수정으로 인한 안전성 위반 위험을 제거하기 위해, 분산 프로토콜을 위한 자동 최적화 도구인 DistOptimize를 제안합니다. DistOptimize는 학술용 언어에서 개발된 처리량 최적화 기법을 실제 운영 환경에서 사용되는 프레임워크에 적용하고, Rocq 언어를 통해 재작성의 정확성을 검증하며, 교정과 ILP 기반 탐색을 결합하여 이를 자동으로 적용합니다.
arXiv:2610.36432v1 발표 유형: 신규 초록: 동형 문자 및 보이지 않는 문자 워터마킹은 편집 기반 워터마킹입니다. 모델이 텍스트를 생성하는 방식을 변경하는 대신, 텍스트가 작성된 후에 그 안에 신호를 숨기는 방식입니다. 이들은 외관상 같거나 매우 유사하지만 서로 다른 유니코드 코드 포인트를 갖는 동형 문자로 일부 문자를 교체하거나, 표시되지 않는 문자를 삽입함으로써, 해당 텍스트를 작성한 모델에 대한 접근 권한 없이도 작동합니다. 생성 시점 워터마킹은 토크나이저가 텍스트를 분할하는 방식 때문에 자원이 부족한 언어에서는 성능이 떨어집니다. 개별 문자 단위로 작동하기 때문에 이러한 워터마킹은 토크나이저에 전혀 영향을 미치지 않으며, 따라서 이 격차를 피할 수 있는지 여부를 검토합니다. 24개의 문자 체계에 속한 40개의 언어 변종을 대상으로, 각 문자가 숨길 수 있는 비트 수(용량)와 그 비율을 측정하였습니다.
파리스 스마라그디스 교수는 음성 인식, 음악 이해, 환경 모니터링 등 다양한 분야에 활용될 초인간 수준의 청력을 갖춘 컴퓨터를 개발하고 있습니다.
arXiv:2610.36709v1 발표 유형: 신규 초록: 추론 언어 모델은 수학 문제를 풀 때 긴 사고 체인을 작성하며, 문제당 여러 개의 체인을 샘플링한 뒤 다수결을 통해 정답을 도출하면 생성된 텍스트의 양이 크게 증가하는 대신 정확도가 향상된다. 이 비용을 줄이는 인기 있는 방법으로는, 모델이 각 토큰을 작성할 때 갖는 신뢰도를 기준으로 각 체인을 점수화하는 방식이 있다. 여기서 토큰은 단어 또는 단어의 일부를 의미한다. 이 방법에서는 2048개의 토큰으로 구성된 이동 평균 창을 사용해 해당 신뢰도를 평균화하고, 가장 낮은 평균값을 기준으로 체인을 유지하거나 중단한다. 우리는 토큰별로 기록된 이러한 신뢰도를 오디오나 라디오 신호의 맥락에서 하나의 신호로 간주하고, 스펙트럼 분석 및 갑작스러운 변화를 탐지하기 위한 통계적 검정 등 표준 신호처리 도구를 활용해 이 방법을 검토하였다. 우리는 다음과 같은 문제들로부터 각각 500개의 문제에 대해 16개의 체인을 샘플링했다.
프라바 자는 MIT 오픈 러닝의 고위 임원 대상 프로그램에서 얻은 경험을 바탕으로, 자신의 직장인 버라이즌을 위해 인공지능 솔루션을 개발하고 한 권의 책을 집필했습니다.
arXiv:2610.33065v1 발표 유형: 신규 초록: 두피 기록은 잡음이 많고 공간적 해상도가 낮으며 실험 조건과 피실험자 간에 변동성이 크기 때문에 EEG를 통한 시각적 해독은 여전히 어려운 과제로 남아 있습니다. 대부분의 시스템은 각 실험을 고밀도 이미지 임베딩과 정렬하지만, 이러한 임베딩은 의미적 내용과 개별 사례에 특화된 질감, 자세, 배경 등을 혼합하고 있습니다. 이는 EEG에서 제공되지 않는 세부 정보를 요구할 뿐만 아니라, 예측을 뒷받침하는 시각적 요인들에 대한 명시적인 설명도 제공하지 않습니다. 우리는 \textbf{ProtoEEG}라는 프로토타입 기반 프레임워크를 제안합니다. 이 프레임워크는 EEG와 이미지 간의 정렬 문제를 공유 가능한 학습 가능한 시각 코드북 위에서 이루어지는 소프트한 합성으로 재구성합니다. 학습 가능한 EEG 인코더와 고정된 시각 교사가 동일한 $K=64$개의 프로토타입에 대한 할당 분포를 생성하며, 이들의 가중치를 적용한 재구성 결과는 구조화된 표현을 형성합니다
arXiv:2610.32101v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM)은 출력 분포가 익숙한 의미적 패턴에 집중되는 모드 붕괴 현상을 보입니다. 다양성이 사라지면, 반복적인 샘플링은 발견이 아니라 의미적 반복으로 변하게 되어 흔하지는 않지만 더 강력한 해결책들이 드러나기 어려워지고, 자가 진화와 지속적 학습을 유지하기도 어렵게 됩니다. 대부분의 해결책들은 추론 단계에서만 개입하여 샘플을 조정할 뿐, 다양성을 모델의 핵심 역량으로 만들지는 않습니다. 우리는 훈련 시점에서 다양성을 모델 내부에 내재화하는 프레임워크인 PRISM을 제안합니다. PRISM은 (i) 각 프롬프트에 대해 다양하면서도 정확한 다중 교사 솔루션을 매칭하는 부분모듈러 큐레이션과, (ii) 특수 토큰 변형을 임플로…
arXiv:2610.32997v1 발표 유형: 신규 초록: OpenAI의 Whisper와 같은 자동 음성 인식(ASR) 모델은 음성 인식 품질을 크게 향상시켰지만, 특히 대량의 문자화된 오디오 데이터가 존재하는 경우에도 미세조정 비용이 여전히 높습니다. 이로 인해 많은 실무자들이 이러한 모델을 새로운 언어나 도메인에 맞게 적용하는 데 어려움을 겪고 있습니다. 본 연구에서는 ASR 미세조정을 위한 더 작은 교육 세트를 선택하기 위해 임베딩 기반 서브셋 선택 방법을 제안합니다. Whisper의 사전훈련된 인코더를 사용하여 각 오디오 샘플을 고정 차원의 임베딩 공간으로 매핑하고, 탐욕적 k-센터 알고리즘을 적용하여 교육 데이터에서 다양하고 대표적인 서브셋을 선별합니다. 우리는 이 접근법을 히브리어와 덴마크어 두 언어에 대해 평가한 결과, k-센터 선택 방식이 종종 …
arXiv:2610.32189v1 발표 유형: 신규 초록: 비지도형 다변량 시계열 이상 탐지(AP)는 현재 관측값을 바탕으로 향후 이상 위험을 추정하여, 복잡한 시스템에서 선제적 개입과 유지보수를 위한 조기 경고 신호를 제공하는 것을 목표로 합니다. 기존의 비지도형 AP 방법들은 정해진 또는 무작위적인 섭동을 과거 창에 주입하여 비정상적인 미래 진화를 시뮬레이션하는 방식의 섭동 기반 패러다임을 따릅니다. 그러나 이러한 방법들은 서로 다른 변수와 맥락 간에 동일한 섭동을 공유하며, 결정론적 방식으로 과거에서 미래로의 진화를 학습합니다. 실제로 이상 현상의 진화는 변수와 상황에 따라 달라지며, 동일한 섭동이 한 변수나 맥락에서는 비정상적인 미래 동역학으로 증폭될 수 있는 반면, 다른 경우에는 정상적인 변동으로 흡수되기도 합니다.
arXiv:2610.33006v1 발표 유형: 신규 초록: 트랜스포머 기반 대규모 언어 모델(LLM)은 컨텍스트 크기가 증가함에 따라 상당한 연산 및 메모리 비용을 수반하므로, 추론 전에 컨텍스트를 더 짧은 표현으로 압축하는 방법이 필요합니다. 기존의 소프트 프롬프트 압축 방식은 일반적으로 목표 모델과 동일한 트랜스포머 백본을 사용하며, 압축된 표현을 생성하는 과정에서 상당한 지연 오버헤드가 발생합니다. 이로 인해 이러한 방식은 컨텍스트를 한 번 압축한 뒤 여러 쿼리에 걸쳐 재사용하는 오프라인 환경에만 제한됩니다. 우리는 Mamba 상태공간 모델(SSM)을 기반으로 한 플러그 앤 플레이형 온라인 컨텍스트 압축기인 Boa Compressor를 제안합니다. 이 압축기는 임의 길이의 컨텍스트를 단일 선형 시간 패스로 인코딩하여, 그 결과 얻은 표현을 바탕으로 우리가 조건부…
arXiv:2610.31981v1 발표 유형: 신규 초록: 가장 간단한 비유클리드 다양체인 1차원 평탄 원환면에서, 데이터 분포로부터 표본을 밀어내는 속도장에 의해 리만 기하학적 흐름 일치의 최근 제안된 확장이 전역적으로 최적화되는 분포를 제시한다. 우리는 이러한 실패 모드를 ‘호환성’이라고 부르는 성질로 추적하며, 우도 기반 흐름 일치 목적함수가 호환성이란, 그 인구 최소화자가 데이터와 결합에 의해 유도되는 주변 속도장을 복원할 수 있을 때를 의미한다. 우리는 호환성을 위한 일반적인 조건을 제시하고 이를 기존 방법들에 적용한 뒤, 호환성 하에서 소멸하는 잔여 성분의 관점에서 최악의 오차를 상한으로 규제한다. 다음으로, 기존의 호환 가능한 목적함수들은 컴팩트 다양체에서는 실현 불가능한 속도들에 대해 밀도를 부여한다는 점을 지적한다.
arXiv:2610.33018v1 발표 유형: 신규 초록: 학술 지식 그래프(SKG)는 문헌 검색, 과학적 발견 및 에이전트 지원 연구를 지원합니다. 그러나 SKG 구축을 위한 대부분의 접근법은 일반적으로 학술 개체나 기여 수준의 진술로 명명되는 표현할 지식 단위를 사전에 규정하고, 해당 단위를 통해 표현 가능한 출판 내용만을 유지합니다. 이러한 선택은 두 가지 주요하면서도 서로 다른 패러다임을 낳습니다: 개체와 지역적 관계를 보존하는 개념 중심 SKG와 문장 단위의 고차원 담론을 포착하는 진술 중심 SKG입니다. 두 경우 모두, 그래프는 논문이 지식을 구성하고 전달하는 방식이 아니라 선택된 추출 목표를 반영합니다. 우리는 SUDO, 즉 학술 상위 담론 온톨로지를 제안하며, 이는 지식이 어떻게
arXiv:2610.32104v1 발표 유형: 신규 초록: 변환기 아키텍처의 능력과 한계를 규명하기 위해 여러 가지 형식적 이론들이 개발되어 왔으며, 각 이론은 아키텍처의 서로 다른 특징을 포착하는 다양한 추상화 방식을 사용한다. 이러한 이론들은 기본 가정과 개념적 틀의 차이로 인해, 변환기가 어떤 과제를 쉽게 또는 어렵게 여길지에 대한 예측에서 서로 상충될 수 있다. 우리는 변환기 능력에 관한 일곱 가지 이론(Star-free, $\mathsf{AC}^0$, $\mathsf{TC}^0$, C-RASP, MPC, BAPO, 그리고 Sensitivity)을 정리하고, 이를 다양한 계산 구조를 포괄하는 여러 과제 세트에 걸쳐 공통적인 예측 매트릭스로 변환하였다. 또한 이 매트릭스를 완성하기 위한 새로운 이론적 결과를 제시한다. 이후 우리는 이론적…
arXiv:2610.31687v1 공지 유형: 신규 요약: 대규모 언어 모델은 설문조사와 같은 목적으로 인간 행동을 시뮬레이션하고 탐구하는 데 점점 더 많이 활용되고 있습니다. 이러한 응용에서 핵심적인 성질은 출력이 분포적 정합성을 만족한다는 점입니다. 즉, 모델의 출력 분포가 특정 기준(이 경우 인간) 분포와 일치해야 합니다. 분포적 정합성을 달성하는 데 있어 큰 장애물은 소규모 학습 데이터로부터의 일반화입니다. 본 연구에서는 (1) LLM을 어떻게 분포적으로 정합시킬 수 있는지, 그리고 (2) 정합된 LLM이 미처 보지 못한 샘플들 및 관련 없는 주제와 과제들로까지 어떻게 일반화될 수 있는지를 탐구합니다. 두 개의 대규모 벤치마크를 사용하여, LLM이 실제로 분포적 정합성을 달성할 수 있으며 동일한 도메인 내의 미처 보지 못한 질문들에 대해서도 일반화 가능하다는 사실을 확인했습니다. 주제 간 일반화는 각 주제 간의 관계에 따라 달라집니다(예:
