제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
arXiv:2610.37881v1 발표 유형: 신규 초록: 딥페이크 탐지 모델은 전반적인 정확도는 높지만, 인구통계학적 집단 간 성능 격차가 크기 때문에 일부 집단에서는 다른 집단에 비해 훨씬 높은 거짓양성률을 경험하게 됩니다. 기존의 공정성 지향 방법들은 모델 출력을 제한하여 집단별 예측을 균등화하는 방식으로 이 문제를 해결하려 하지만, 근본적인 특징 수준의 편향에는 대응하지 못합니다. 그 결과, 모델들이 여전히 피부 질감과 같은 인구통계학적 특성을 조작된 콘텐츠를 탐지하는 간접적 단서로 활용할 수 있는 상황이 발생합니다. 이러한 문제를 해결하기 위해 우리는 모델 출력만을 조정하는 것이 아니라 특징 학습 자체를 개선하는 프레임워크인 교차적 불변 학습(IIL)을 제안합니다. IIL은 가장 어려운 인구통계학적 하위 집단을 식별하는 과정을 반복적으로 수행하며
arXiv:2610.37680v1 발표 유형: 신규 요약: 프런티어 모델과 소형 언어 모델 간의 격차를 해소하는 일반적인 접근법은 증류입니다. 즉, 소형 모델(학생)을 프런티어 모델(교사)의 출력에 대해 미세 조정함으로써 이전 작업을 학습 계산에 의존하게 만들고, 전달된 지식을 상당히 불투명하게 만듭니다. 우리는 아트팩트 증류를 제안합니다. 교사가 학습 사례를 해결하고 그 문제 해결 절차를 외부화하여 아트팩트 은행으로 저장하며, 학생은 추론 시 해당 은행을 조회합니다. 이 과정에서는 파라미터 업데이트가 전혀 발생하지 않습니다. 네 가지 LiveBench 과제에서, Claude Opus 4.5가 작성한 은행을 사용하면 Claude Haiku 4.5는 공간 추론에서 무보조 Claude Sonnet 4.5보다 60%의 비용으로 더 높은 점수(0.707 대 0.647)를 기록하며, 테이블 조인에서도 Sonnet 4.5 수준에 도달하는데 그 비용은 89%에 불과합니다. 동일한 원시 은행은
arXiv:2610.36353v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM)은 종종 모호한 입력에 대해 하나의 의도된 의미만 있는 것처럼 답변합니다. 이는 문제가 되는데, 입력의 모호성은 불확실성의 상류 원천이기 때문입니다. 즉, 프롬프트가 여러 가지 타당한 해석을 허용할 때, 핵심 질문은 모델이 과연 직접 답변을 해야 하는지 여부입니다. 기존의 입력 불확실성 처리 방법들은 종종 LLM이 생성한 문장이나 명확화에 의존하지만, 이러한 변환 과정 자체가 모호성을 측정하기 전에 이미 입력을 해석해 버릴 수 있습니다. 우리는 입력 모호성 감지를 위한 라벨 보존형 페르투베이션 프레임워크를 제안하며, 이 프레임워크에서는 페르투베이션이 원래 입력에 가까운 상태로 유지되면서 동시에 해당 입력의 라벨을 보존합니다. 우리는 이 원칙을 두 가지 감지기로 구현했습니다: 블랙박스 기반 규칙 기반 페르투베이션 라이브러리와
arXiv:2610.36339v1 발표 유형: 신규 초록: 전문가 병렬 혼합-전문가(MoE) 서비스에서 디스패치는 토큰을 해당 토큰이 선택한 전문가를 호스팅하는 가속기로 이동시키고, 결합은 각 토큰의 소유자에게 전문가 출력을 다시 모아줍니다. 두 작업 모두 핵심 경로에 위치해 다노드 배포 환경에서 MoE 레이어의 지연 시간을 주도할 수 있습니다. 우리는 INC-MoE를 제안합니다. 이는 디스패치와 결합 작업을 네트워크 스위치로 오프로드하고, 두 집단 수렴을 서로 및 전문가 계산과 겹치도록 설계된 전문가 병렬 MoE 레이어입니다. 디스패치는 스위치 측 멀티캐스트를 통해 네트워크 내 AllGather를 사용하며, 결합은 스위치 측 감축을 통해 네트워크 내 ReduceScatter를 사용합니다. 두 집단 수렴 모두 최종 호스트와 스위치 간의 메시지 세미틱을 활용합니다. 네트워크 내 집단 수렴은 서로 반대 방향으로 로드되기 때문에
arXiv:2610.32101v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM)은 출력 분포가 익숙한 의미적 패턴에 집중되는 모드 붕괴 현상을 보입니다. 다양성이 사라지면, 반복적인 샘플링은 발견이 아니라 의미적 반복으로 변하게 되어 흔하지는 않지만 더 강력한 해결책들이 드러나기 어려워지고, 자가 진화와 지속적 학습을 유지하기도 어렵게 됩니다. 대부분의 해결책들은 추론 단계에서만 개입하여 샘플을 조정할 뿐, 다양성을 모델의 핵심 역량으로 만들지는 않습니다. 우리는 훈련 시점에서 다양성을 모델 내부에 내재화하는 프레임워크인 PRISM을 제안합니다. PRISM은 (i) 각 프롬프트에 대해 다양하면서도 정확한 다중 교사 솔루션을 매칭하는 부분모듈러 큐레이션과, (ii) 특수 토큰 변형을 임플로…
arXiv:2610.33012v1 발표 유형: 신규 초록: 도구 사용 기능을 갖춘 대규모 언어 모델(LLM) 에이전트는 동일한 초기 상태에서 독립적인 실행 간에 일관되지 않은 행동을 보이며, 서로 다른 도구를 호출하거나 상충되는 출력을 생성하거나 서로 다른 전략을 추구합니다. 이러한 변동성은 시간이 지나면서 누적되어 배포의 신뢰성을 저해합니다. 기존 평가 지표들은 주로 완료 기반 점수를 통해 작업 정확도를 측정할 뿐, 여러 실행에 걸친 에이전트 행동의 일관성을 포착하지 못합니다. 또한, 에이전트의 행동은 확률 분포를 이용한 토큰 수준 또는 의미 클러스터링을 활용한 단일 응답 수준에서 각각 분석되지만, 어느 방법도 궤적의 향후 단계들로 일관성 부족이 어떻게 전파되는지를 파악하지 못합니다. 우리는 재귀적 의미 발산(RSD)이라는 비정식
arXiv:2610.33442v1 발표 유형: 신규 요약: 대규모 언어 모델(LLMs)은 환각 및 추론 오류를 포함한 신뢰성 문제에 취약하다고 보고되고 있습니다. 기존의 품질 감지기는 내부 표현을 기반으로 비교적 높은 정확도로 신뢰할 수 없는 출력을 예측할 수 있습니다. 그러나 이러한 감지기를 학습시키기 위해서는 종종 상당한 양의 도메인 특화된 라벨링 데이터가 필요하며, 이는 새로운 도메인에 대한 적용 가능성을 제한합니다. 우리는 이와 같은 과제를 해결하기 위해 관련 도메인 간에 표현 서명을 전이하는 방법을 제안합니다. 구체적으로, 각 도메인에 대해 저차원 서명을 먼저 추출한 다음, 교차 피팅을 통해 도메인별 예측기의 구성 가중치를 학습하는 통계적 프레임워크를 구축합니다. 이 가중치는 각 소스 도메인의 예측 관련성에 따라 적응됩니다.
arXiv:2610.32305v1 발표 유형: 신규 초록: 다단계 분석 작업에서는 LLM 에이전트가 계속 진행할지, 경로를 변경할지, 또는 중단할지를 결정하기 위해 중간 단계의 근거를 활용해야 합니다. 에이전트가 자신의 출력을 비판하는 자기반성은 널리 연구되어 왔지만, 이러한 비판만으로는 근거가 다음 행동에 영향을 미쳤는지 여부를 확인할 수 없습니다. 우리는 이러한 능력을 ‘자기제약’이라고 부릅니다. 기존의 에이전트 벤치마크는 대부분 과제 완수 여부나 출력 품질만을 측정하며, 이 능력에 대한 검증은 이루어지지 않았습니다. DMAIC-Bench는 린 식스 시그마의 명시적인 통계적 전제 조건을 바탕으로, 4개 산업 분야에서 15개의 산업 사례에 걸쳐 97개의 초기 설정된 과제를 통해 이를 평가합니다. 쌍으로 구성된 역설적 변형 과제들은 동일한 워크플로우 위치에서 서로 반대되는 행동을 요구함으로써, 정당화된 제약과 무분별한 중단을 구분합니다. 우리는 실행 추적 정보를 통해
arXiv:2610.33062v1 발표 유형: 신규 초록: 통합 대규모 다중 모달 모델(ULMM)은 텍스트-이미지 교차 생성을 통해 시각적 추론을 수행할 수 있지만, 명시적인 중간 이미지를 생성하는 데에는 상당한 계산 부하가 발생합니다. 시각 잠재 공간 추론이 이 문제를 해결하긴 하지만, 기존의 대부분 방법은 시각 생성이 불가능한 시각-언어 모델(VLM)에 의존하고 있습니다. 우리는 ULMM에서 잠재적 시각 추론을 가능하게 하는 새로운 프레임워크인 Oddin을 제안합니다. Oddin은 중간 이미지를 간결한 잠재 토큰으로 대체하며, 이를 이해 분기에서 전적으로 처리하도록 하고, 생성 분기는 최종 출력 이미지 생성에만 할애합니다. 우리는 세 가지 목표—최종 이미지 생성 손실, 텍스트 증류 손실, 그리고 교차 엔트로피 손실—을 포함한 오프라인 자기 증류 방식으로 모델을 학습합니다.
arXiv:2610.31946v1 발표 유형: 신규 초록: 세 명의 학생이 같은 시험 문제를 손으로 작성했다: “행복이란 무엇인가? 당신은 행복한가?” 수집 당시 기록된 이들의 나이는 17세, 28세, 45세이다. 열일곱 살 학생의 답은 조심스럽고 형식적으로 표현되어 있다. 각 답안을 나이와 성별 라벨에 맞추도록 요청했을 때, 대부분의 최첨단 언어 모델은 이를 성인에게 확신을 가지고 배정한다. 본 논문은 Claude Fable 5, Gemini 3.1 Pro, GPT-5.6 Sol, Grok 4.5, GPT-4o (2024), 그리고 DeepSeek V4 등 여섯 개 모델에서 발생한 이러한 실패를 구조화된 사례 연구로 보고한다. 우리는 프레임 설정, 공개 형식, 그리고 청중 인식 지침을 조작하는 여섯 가지 실험 조건 하에 1,081회의 API 세션을 진행하고, 총 3,225개의 응답을 점수화하였다. 여섯 개 모델 중 세 개는 매칭 과제에서 우연 수준(1/3)에 근접하거나 그에 가까운 성과를 보이는 반면, 73~88%의 정확도를 보고한다.
arXiv:2610.31966v1 발표 유형: 신규 요약: 문맥 내 학습을 위한 시연은 종종 의미적 유사성을 기준으로 검색되며, 이는 구조화된 예측에서의 관련성을 제대로 대표하지 못할 수 있습니다. 우리는 Universal Dependencies 파싱을 위한 시연 선택 방식을 연구하며, 품사 통계를 가중치로 표현하고 라벨링된 교육 세트에서 길이가 호환되는 골드 라벨 해석 사례 3개를 검색하는 POS 서명 정책을 적용합니다. 우리는 미세조정 없이 두 개의 오픈 웨이트 언어 모델을 UD 영어 웹 트리뱅크 테스트 세트의 총 2,077개 문장에 대해 평가하며, 해당 정책을 샷 및 형식이 일치하는 고정 및 의미적 3샷 기반과 비교하고, 또한 제로샷, 사고 체인, 비평-정제 시스템과도 비교합니다. POS 서명 검색은 가장 높은 라벨링 성과를 달성합니다.
arXiv:2610.31819v1 발표 유형: 신규 초록: 추측적 디코딩은 더 빠르고 낮은 품질의 초안 모델로부터 샘플링을 수행함으로써 자동회귀형 대규모 언어 모델(LLM)의 추론 속도를 가속화하는 기법입니다. 전통적으로, 추측적 디코딩의 근본적인 특성은 검증자 분포에 대해 무손실이라는 점으로, 품질을 희생하지 않고 속도를 보장한다는 것입니다. 이는 최근 개발된 디퓨전 LLM(dLLM)과는 달리, 덜 많은 디퓨전 작업으로 출력의 품질을 저하시킴으로써 상당한 속도 향상을 달성할 수 있다는 점에서 차별됩니다. 디퓨전 모델은 토큰을 병렬로 생성하여 자동회귀 모델보다 더 빠르게 샘플링할 수 있기 때문에, 추측적 디퓨전에서 초안 모델로서 강력한 후보로 간주됩니다. 널리
arXiv:2610.31687v1 공지 유형: 신규 요약: 대규모 언어 모델은 설문조사와 같은 목적으로 인간 행동을 시뮬레이션하고 탐구하는 데 점점 더 많이 활용되고 있습니다. 이러한 응용에서 핵심적인 성질은 출력이 분포적 정합성을 만족한다는 점입니다. 즉, 모델의 출력 분포가 특정 기준(이 경우 인간) 분포와 일치해야 합니다. 분포적 정합성을 달성하는 데 있어 큰 장애물은 소규모 학습 데이터로부터의 일반화입니다. 본 연구에서는 (1) LLM을 어떻게 분포적으로 정합시킬 수 있는지, 그리고 (2) 정합된 LLM이 미처 보지 못한 샘플들 및 관련 없는 주제와 과제들로까지 어떻게 일반화될 수 있는지를 탐구합니다. 두 개의 대규모 벤치마크를 사용하여, LLM이 실제로 분포적 정합성을 달성할 수 있으며 동일한 도메인 내의 미처 보지 못한 질문들에 대해서도 일반화 가능하다는 사실을 확인했습니다. 주제 간 일반화는 각 주제 간의 관계에 따라 달라집니다(예:
arXiv:2610.31810v1 발표 유형: 신규 초록: 심지어 꼼꼼히 교정된 논문이라도 증명 과정이나 명시된 가정에 작은 허점이 남아 있을 수 있습니다. 우리는 PaperFormalizer를 소개합니다. 이는 Lean 기반의 에이전트형 파이프라인으로, 저자가 자신의 논문에서 이러한 허점을 찾아 메우고 각 논문을 Lean 검증 버전으로 전환할 수 있도록 지원합니다. LaTeX 소스를 기반으로 PaperFormalizer는 논문을 진술들의 의존 관계 그래프로 변환한 뒤, 각 자연어 표현을 대상으로 진실성, 모호성 및 정확성을 검토하고, 이후 Lean에서 Mathlib, 선택적 도메인 라이브러리 및 저자의 개인 도구 세트를 활용해 해당 진술들을 형식화하고 증명합니다. 어떤 진술이 무엇을 의미하는지, 그리고 결과에 존재하는 형식화상의 허점을 어떻게 가장 잘 해결해야 하는지는 오직 저자만이 알고 있습니다. 따라서 이 파이프라인은 중단되어 저자에게 요청합니다.
arXiv:2610.31911v1 발표 유형: 신규 초록: 대규모 언어 모델(LLMs)이 점점 더 긴 시퀀스를 처리함에 따라, 주의 메커니즘은 주요 계산 병목으로 부각되고 있습니다. 희소 주의는 대부분 추론 단계에 초점을 맞추지만, 여전히 많은 방법들이 밀집형으로 학습되거나 희소 학습을 지원하지 못하며, 추가적인 복잡성으로 인해 희소성이 실제 월클럭 속도 향상으로 이어지기 어려워져 결국 실무에서는 밀집형 주의가 널리 사용되고 있습니다. 본 논문에서는 주의 학습이 후방 패스에 의해 주로 결정된다는 관찰에 기반한 전방 밀집·후방 희소 주의 방식인 LazyFlash를 제안합니다. LazyFlash는 전방 패스를 정확히 밀집형으로 유지하여, 학습된 모델이 vLLM과 같은 기존 시스템에서 아무런 변경 없이 서비스할 수 있는 표준 밀집형 모델로 남도록 합니다. 후방 패스에 대해서는 LazyFlash는 그라디언트-a를 제안합니다.
