AI 뉴스 검색

머신러닝 원자 간 잠재력의 텐서 코어 성능 해제

원자 수준 시뮬레이션은 화학 반응과 상전이부터 기계적 파손에 이르기까지 분자와 물질이 어떻게 행동하는지 연구자들이 이해하는 데 도움을 줍니다. 이러한...

토큰 신뢰도는 과연 체인 길이에 불과한가? 추론 흔적에 대한 신호처리 분석

arXiv:2610.36709v1 발표 유형: 신규 초록: 추론 언어 모델은 수학 문제를 풀 때 긴 사고 체인을 작성하며, 문제당 여러 개의 체인을 샘플링한 뒤 다수결을 통해 정답을 도출하면 생성된 텍스트의 양이 크게 증가하는 대신 정확도가 향상된다. 이 비용을 줄이는 인기 있는 방법으로는, 모델이 각 토큰을 작성할 때 갖는 신뢰도를 기준으로 각 체인을 점수화하는 방식이 있다. 여기서 토큰은 단어 또는 단어의 일부를 의미한다. 이 방법에서는 2048개의 토큰으로 구성된 이동 평균 창을 사용해 해당 신뢰도를 평균화하고, 가장 낮은 평균값을 기준으로 체인을 유지하거나 중단한다. 우리는 토큰별로 기록된 이러한 신뢰도를 오디오나 라디오 신호의 맥락에서 하나의 신호로 간주하고, 스펙트럼 분석 및 갑작스러운 변화를 탐지하기 위한 통계적 검정 등 표준 신호처리 도구를 활용해 이 방법을 검토하였다. 우리는 다음과 같은 문제들로부터 각각 500개의 문제에 대해 16개의 체인을 샘플링했다.

새로운 연구는 오픈북 평가가 주로 지식 저장보다는 읽기 행동을 측정한다는 점을 밝혀냈다.

2026년 10월 24일에 발표된 arXiv 논문(2610.31017v1)은 문서 수준의 LoRA 어댑터 평가에서 오픈북 스코어링이 어댑터가 해당 문서의 지식을 실제로 인코딩했는지 여부보다는 모델의 즉각적 읽기 능력에 크게 의존한다고 지적했다. 무작위 어댑터는 오픈북 과제에서 전문가용 어댑터의 우위를 82%까지 재현할 수 있었지만, 비소스 텍스트를 대상으로 한 클로즈 과제에서는 단 2%만 재현되었으며, 이는 통계적으로 영과 구별되지 않았다.

추천 이유：이 연구는 체계적인 제어 실험(위키백과 문서 150편, Llama-3.1-8B-Instruct 모델, 이중 작업 비교)을 통해 현재의 오픈북 평가 패러다임의 근본적 한계를 밝혀냈다. 즉, 이 패러다임은 ‘읽기’와 ‘암기’를 효과적으로 구분하지 못하며, 지식 편집 및 검색형 어댑터의 실제 효용성에 대한 방법론적 도전 과제를 제기한다. 또한 논문에서는 ‘깨끗하지만 잘못된 결과’를 초래하는 네 가지 침묵 오류를 보고하여 재현성 위험을 부각시켰다.

저자원 언어에서의 연구 진전 및 언어적 포용성 측정

arXiv:2610.30296v1 발표 유형: 신규 초록: 대규모 언어 모델(LLMs)은 저자원 및 다국어 NLP에 대한 연구를 가속화했지만, 이들이 공평한 연구 환경을 조성하는 데 얼마나 효과적인지는 아직 명확히 규명되지 않았습니다. 우리는 2020년부터 2025년까지 출판된 1,158편의 동료 심사 오픈 액세스 논문을 분석하여, 저자원 언어(LRLs)에 대한 연구 관심도와 언어 및 사용자 집단 전반에 걸친 표현 수준을 검토합니다. 출판 건수 외에도 언어적 포용성을 평가하기 위해, 우리는 언어적 포용성 프레임워크(LIF)를 도입합니다. 이는 연구 성장, 표현 확대, 표현 지속성, 그리고 분포적 형평성 등 네 가지 차원에서 언어적 포용성을 측정하는 다차원적 체계입니다. 연간 출판물 수는 52건에서 415건으로 5.4배 증가했으며, ACL Antholo