AI 뉴스 검색

아트팩트 증류: 프런티어 모델에서 소형 언어 모델로의 학습 없이 이전하기

arXiv:2610.37680v1 발표 유형: 신규 요약: 프런티어 모델과 소형 언어 모델 간의 격차를 해소하는 일반적인 접근법은 증류입니다. 즉, 소형 모델(학생)을 프런티어 모델(교사)의 출력에 대해 미세 조정함으로써 이전 작업을 학습 계산에 의존하게 만들고, 전달된 지식을 상당히 불투명하게 만듭니다. 우리는 아트팩트 증류를 제안합니다. 교사가 학습 사례를 해결하고 그 문제 해결 절차를 외부화하여 아트팩트 은행으로 저장하며, 학생은 추론 시 해당 은행을 조회합니다. 이 과정에서는 파라미터 업데이트가 전혀 발생하지 않습니다. 네 가지 LiveBench 과제에서, Claude Opus 4.5가 작성한 은행을 사용하면 Claude Haiku 4.5는 공간 추론에서 무보조 Claude Sonnet 4.5보다 60%의 비용으로 더 높은 점수(0.707 대 0.647)를 기록하며, 테이블 조인에서도 Sonnet 4.5 수준에 도달하는데 그 비용은 89%에 불과합니다. 동일한 원시 은행은

FinLLM-KG: 알고리즘 트레이딩에서의 금융 감성 분석을 위한 지식 그래프 강화형 LLM

arXiv:2610.36083v1 발표 유형: 신규 초록: 생성형 AI의 최근 발전은 사후 학습된 금융 전용 대규모 언어 모델(LLMs)을 통해 금융 감성 분석을 크게 향상시켰습니다. 그러나 기존 접근법들은 각 기사의 감성을 개별적으로 예측하는 데에 그치고, 흑백 상자와 같은 방식으로 작동하여 맥락 이해를 제한하고 고위험 금융 의사결정에의 적용을 저해합니다. 이에 따라 우리는 FinLLM-KG를 제안합니다. 이는 모델에 독립적인 프레임워크로, 인과적 LLM과 금융 지식 그래프를 결합하여, 모델 가중치를 업데이트하지 않고도 추론 시 SEC 10-K 서류로부터 시간적 근거를 갖춘 기업 수준의 지식을 주입할 수 있도록 설계되었습니다. FinLLM-KG 내에서는 맥락이 자연어로 작성된 기업 프로필 또는 소규모 관계 집합의 형태로 제공됩니다.

토큰 신뢰도는 과연 체인 길이에 불과한가? 추론 흔적에 대한 신호처리 분석

arXiv:2610.36709v1 발표 유형: 신규 초록: 추론 언어 모델은 수학 문제를 풀 때 긴 사고 체인을 작성하며, 문제당 여러 개의 체인을 샘플링한 뒤 다수결을 통해 정답을 도출하면 생성된 텍스트의 양이 크게 증가하는 대신 정확도가 향상된다. 이 비용을 줄이는 인기 있는 방법으로는, 모델이 각 토큰을 작성할 때 갖는 신뢰도를 기준으로 각 체인을 점수화하는 방식이 있다. 여기서 토큰은 단어 또는 단어의 일부를 의미한다. 이 방법에서는 2048개의 토큰으로 구성된 이동 평균 창을 사용해 해당 신뢰도를 평균화하고, 가장 낮은 평균값을 기준으로 체인을 유지하거나 중단한다. 우리는 토큰별로 기록된 이러한 신뢰도를 오디오나 라디오 신호의 맥락에서 하나의 신호로 간주하고, 스펙트럼 분석 및 갑작스러운 변화를 탐지하기 위한 통계적 검정 등 표준 신호처리 도구를 활용해 이 방법을 검토하였다. 우리는 다음과 같은 문제들로부터 각각 500개의 문제에 대해 16개의 체인을 샘플링했다.

EKT-라우터: 신체화된 비전-언어 모델을 위한 전문가-증거 정합

arXiv:2610.33044v1 발표 유형: 신규 초록: 체화된 시각-언어 모델은 부분적이고 변화하는 관찰로부터 제시된 질문에 답해야 한다. 이들의 성공 여부는 선택된 추론 능력과 해당 모델이 활용할 수 있는 증거 양 측면에 모두 달려 있다. 전문 라우터는 내부 계산을 조정하는 반면, 도구를 보강한 시스템은 외부 증거를 확보한다; 두 가지 접근 방식을 독립적으로 선택하면 적합한 전문가가 필요한 증거를 갖추지 못하는 상황이 발생할 수 있다. 우리는 EKT-Router를 제안하며, 이는 능력 전문가, 선택적 지식, 그리고 인지 도구를 함께 선택하는 제한된 프레임워크이다. 결과 기반 서명은 일반적 전문가, 공간 추론 전문가, 그리고 시공간 전문가의 중복되는 강점을 나타낸다. 공동 효용 함수는 호출 예산 하에서 완전한 전문가-증거 경로를 평가한다. 수집 후, 패킷 검증기는 유효한 것을 인정한다

행동에 대한 처벌을 언제 중단해야 할까요? VLA 강화학습을 위한 마팅게일 GRPO

arXiv:2610.32431v1 발표 유형: 신규 초록: 비전-언어-행동(VLA) 롤아웃이 실패했다고 해서 모든 행동이 실패에 기여했다는 의미는 아니다. 그러나 그룹 상대 정책 최적화(GRPO)에서는 롤아웃 내 모든 행동에 대해 단일 궤적 수준의 이득이 할당된다. 이로 인해 잠재적으로 유용한 복구 시도가, 그것이 바로잡으려는 오류와 함께 처벌받을 수 있다. 실패 피드백을 위한 이상적인 중단 조건은 성공 확률 및 정책 점수 마팅게일을 활용하여 규명된다. 이러한 중단 시점에서는, 제거된 그라디언트 기여의 조건부 기대값이 유지된 정보를 조건으로 하여 영이 된다. 따라서 절단은 기준 GRPO 그룹 그라디언트 추정량의 기대값을 보존하고 그 공분산을 줄일 수 있다. 이러한 중단 중 하나는 성공의 조건부 확률이

문맥 내 의존성 파싱을 위한 POS 서명 시연 검색

arXiv:2610.31966v1 발표 유형: 신규 요약: 문맥 내 학습을 위한 시연은 종종 의미적 유사성을 기준으로 검색되며, 이는 구조화된 예측에서의 관련성을 제대로 대표하지 못할 수 있습니다. 우리는 Universal Dependencies 파싱을 위한 시연 선택 방식을 연구하며, 품사 통계를 가중치로 표현하고 라벨링된 교육 세트에서 길이가 호환되는 골드 라벨 해석 사례 3개를 검색하는 POS 서명 정책을 적용합니다. 우리는 미세조정 없이 두 개의 오픈 웨이트 언어 모델을 UD 영어 웹 트리뱅크 테스트 세트의 총 2,077개 문장에 대해 평가하며, 해당 정책을 샷 및 형식이 일치하는 고정 및 의미적 3샷 기반과 비교하고, 또한 제로샷, 사고 체인, 비평-정제 시스템과도 비교합니다. POS 서명 검색은 가장 높은 라벨링 성과를 달성합니다.

온라인 3D 박스 패킹을 위한 공간 휴리스틱 전략 기반 확산 강화 학습

arXiv:2610.32241v1 발표 유형: 신규 초록: 전통적인 휴리스틱 방법들은 공간 활용도와 레이아웃의 콤팩트성 등 3D 박스 패킹의 핵심 목표에 대해 인위적으로 설계된 규칙 기반 논리를 바탕으로 오랜 경험을 축적해 왔습니다. 그러나 이들 방법은 일반화 능력과 동적 시나리오에 대한 적응력에서 명백한 한계를 보입니다. 강화 학습의 공간 탐색 능력과 확산 학습의 데이터 분포 모델링 능력을 통합한 확산 강화 학습은 행동 분포 모델링 및 의사결정 준수 제약 조건 측면에서 일정한 성과를 거두었습니다. 그럼에도 불구하고 3D 박스 패킹에서의 공간 위상 구조에 대한 인식 부족과 레이아웃 최적화 능력의 제한 등의 문제는 여전히 남아 있습니다.

새로운 연구는 오픈북 평가가 주로 지식 저장보다는 읽기 행동을 측정한다는 점을 밝혀냈다.

2026년 10월 24일에 발표된 arXiv 논문(2610.31017v1)은 문서 수준의 LoRA 어댑터 평가에서 오픈북 스코어링이 어댑터가 해당 문서의 지식을 실제로 인코딩했는지 여부보다는 모델의 즉각적 읽기 능력에 크게 의존한다고 지적했다. 무작위 어댑터는 오픈북 과제에서 전문가용 어댑터의 우위를 82%까지 재현할 수 있었지만, 비소스 텍스트를 대상으로 한 클로즈 과제에서는 단 2%만 재현되었으며, 이는 통계적으로 영과 구별되지 않았다.

추천 이유：이 연구는 체계적인 제어 실험(위키백과 문서 150편, Llama-3.1-8B-Instruct 모델, 이중 작업 비교)을 통해 현재의 오픈북 평가 패러다임의 근본적 한계를 밝혀냈다. 즉, 이 패러다임은 ‘읽기’와 ‘암기’를 효과적으로 구분하지 못하며, 지식 편집 및 검색형 어댑터의 실제 효용성에 대한 방법론적 도전 과제를 제기한다. 또한 논문에서는 ‘깨끗하지만 잘못된 결과’를 초래하는 네 가지 침묵 오류를 보고하여 재현성 위험을 부각시켰다.

연구에서는 정치적 논쟁 담화에서 미명시된 논증(엔티메) 식별에 관한 주석상의 이견 문제를 해결하기 위해 새로운 평가 방법과 모델을 제안하였다.

이 논문은 백신 접종과 이민 문제에 관한 트윗 데이터를 기반으로 하며(각 트윗은 다섯 명의 주석자가 독립적으로 주석을 달음), 기존 미세조정 모델들이 엔티메메 검출 과제에서 F1 점수가 항상 약 0.67에 머무는 현상을 발견했다. 이에 따라 저자들은 단일 레이블 평가 패러다임을 포기하고, 대신 주석자의 의견 분포를 정확히 표현할 수 있는 새로운 지표를 도입하며, 해당 분포를 직접 예측할 수 있는 모델을 설계함으로써 F1 점수를 낮추지 않으면서도 인간 판단의 이견을 보다 잘 포착할 수 있다고 제안한다.

추천 이유：이 논문은 NLP 분야에서 오랫동안 간과되어 온 ‘주석자 간 이견이 본질적 특징이다’라는 현실을 정면으로 다룬다—특히 정치적으로 민감한 맥락에서는 엔티메의 식별이 주관적 추론에 크게 의존한다. 그 방법론적 전환(점예측에서 분포예측으로)과 담화 구조의 한계를 실증적으로 드러낸 점은 콘텐츠 검열 시스템 설계에 분명한 경고를 제공한다: 다수결 기반 학습 모델은 깊이 있는 맥락 추론이 필요한 은닉된 논증을 체계적으로 간과할 수 있다.

저자원 언어에서의 연구 진전 및 언어적 포용성 측정

arXiv:2610.30296v1 발표 유형: 신규 초록: 대규모 언어 모델(LLMs)은 저자원 및 다국어 NLP에 대한 연구를 가속화했지만, 이들이 공평한 연구 환경을 조성하는 데 얼마나 효과적인지는 아직 명확히 규명되지 않았습니다. 우리는 2020년부터 2025년까지 출판된 1,158편의 동료 심사 오픈 액세스 논문을 분석하여, 저자원 언어(LRLs)에 대한 연구 관심도와 언어 및 사용자 집단 전반에 걸친 표현 수준을 검토합니다. 출판 건수 외에도 언어적 포용성을 평가하기 위해, 우리는 언어적 포용성 프레임워크(LIF)를 도입합니다. 이는 연구 성장, 표현 확대, 표현 지속성, 그리고 분포적 형평성 등 네 가지 차원에서 언어적 포용성을 측정하는 다차원적 체계입니다. 연간 출판물 수는 52건에서 415건으로 5.4배 증가했으며, ACL Antholo