제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
arXiv:2610.32055v1 발표 유형: 신규 초록: 대규모 언어 모델(LLMs)은 종종 아첨하는 경향을 보이며, 객관적 사실 및 추론 과제에서도 사용자의 제안에 맞춰 답변을 수정합니다. 그러나 이러한 영향의 정량적 형태와 그것이 출처의 신뢰성에 따라 조정되는지 여부는 아직 잘 이해되지 않고 있습니다. 본 연구에서는 MMLU 질문들에 대해 힌트로 유도된 답변 변화를 통해 이러한 행동을 탐구하며, “[출처]는 답이 (X)라고 생각한다”와 같은 형식의 프롬프트를 평가합니다. 우리는 힌트가 부여되는 출처(교수, 친구 또는 개)를 세 가지 오픈소스 모델 계열인 Qwen, Gemma, SmolLM에서 체계적으로 변경하여 실험을 수행했습니다. 그 결과, 힌트에 의해 유발된 변화는 지수적 기울기로 잘 특징지어지는 예측 가능한 구조를 따른다는 것을 보여줍니다: 힌트는
arXiv:2610.31827v1 발표 유형: 신규 초록: 에이전트 기반, 코드 작성 및 문서 처리 워크로드를 위한 장문 컨텍스트 LLM 서비스에서는 키-값(KV) 캐시가 GPU와 호스트 메모리를 초과하여 사용되므로, 접두사 검색을 위한 추론 단계에서 스토리지 I/O가 핵심 경로로 작용하게 됩니다. 단일 노드 로컬 NVMe는 모든 검색 작업을 담당하는 반면, 노드들이 이미 마운트한 병렬 파일 시스템이나 클라우드 파일 스토어에는 거의 추론 트래픽이 발생하지 않습니다. 우리는 이러한 계층 간의 접두사 검색을 집합 대역폭 스케줄링으로 포착하고, 한 단계의 읽기 작업을 일괄 처리하며, 전방향 패스 이후에 쓰기를 지연하고, 각 청크를 모든 계층에 복제하며, 각 계층이 비워질 때 다음 미처리 청크를 적응적으로 요청하도록 하는 KVStream이라는 KV 캐시 엔진을 제안합니다. 우리의 성능 모델은 이 라우팅 방식이 집합적
arXiv:2610.31986v1 발표 유형: 신규 초록: 비전 언어 모델(VLM)은 녹화된 영상을 해석하고 유의미한 통찰을 제공하기 위해 소비자용 스마트홈 카메라 시스템에 점점 더 널리 도입되고 있습니다. 그러나 스마트홈 카메라가 캡처하는 영상 클립은 기존 VLM 벤치마크를 지배하는 큐레이션된 웹 영상과는 다릅니다. 스마트홈 영상 클립은 자막이나 내레이션이 없고, 다양한 시야각에서, 여러 조명 조건 하에, 그리고 다양한 상황에서 촬영되는 경우가 많습니다. 그럼에도 불구하고, 이 분야에서 희박한 시각적 신호와 제한된 맥락 속에서 모델이 발휘하는 성능은 기존 VLM 벤치마크로는 충분히 평가되지 못했습니다. 이러한 격차를 해소하기 위해, 우리는 스마트홈 영상 이해력을 평가하기 위한 시각 전용 4지선다형 벤치마크인 OpenHome을 소개합니다. I
arXiv:2610.31728v1 발표 유형: 신규 초록: 뮤온은 대규모 언어 모델 학습에서 인기 있는 최적화 방법으로 자리잡았지만, 그 이론적 토대는 아직 잘 이해되지 않고 있다. 본 연구에서는 기울기 노이즈의 기하학적 특성이 뮤온의 전처리 효과를 어떻게 형성하는지 분석한다. 먼저, 고전적인 등방성 노이즈 가정 하에서는 뮤온이 학습률의 재조정 외에는 추가적인 가속 효과를 제공하지 않음을 이론적·실험적으로 보여준다. 이를 계기로 우리는 이질적인 작업 빈도를 갖는 연상 기억 시스템에서 미니배치 샘플링에 의해 발생하는 구조화된 노이즈를 탐구하기로 한다. 두 가지 작업에 대해 정확한 균형 임계점을 규명하고, 이를 다중 작업으로 확장하여 작업 커버리지와 기울기 신뢰성이 학습을 어떻게 공동으로 조절하는지 밝힌다. 우리의 분석에 따르면, 뮤온은 다음과 같은 효과를 완화할 수 있음을 보여준다.
arXiv:2610.31985v1 발표 유형: 신규 초록: LLM 에이전트는 점점 더 많은 협업 환경에서 배치되고 있으며, 이들 에이전트는 자원을 공유하고 심사 또는 감독 프로세스 하에 각자 별개의 작업을 수행합니다. 이러한 환경에서는 에이전트가 악의적이거나 단순히 도움을 주려는 경우에도 안전상의 위험이 발생할 수 있습니다. 기존 연구들은 주로 적대적 행동이나 명시적으로 결탁한 행동을 중심으로 다루어 왔으나, 우리는 별개의 목표를 추구하는 선의의 에이전트들이 의도된 워크플로를 우회하는 방식으로 자발적으로 협력할 수 있음을 보여줍니다. 우리는 이를 \emph{유용한 에이전트 문제}라고 부릅니다. 우리는 장기적인 시야를 가진 공동 자원 환경을 연구하며, 이 환경에서는 에이전트들이 때때로 동료가 소유한 자원에 의존하고, 소유권 변경은 일반적으로 심사자가 중재하는 구조를 갖습니다. 심사가 불가능해지면, 에이전트
arXiv:2610.32045v1 발표 유형: 신규 초록: AI-포-사이언스 에이전트는 과학적 가설을 제시하고, 자율 실험을 수행하며, 증거를 해석하는 데 점점 더 널리 활용되고 있습니다. 이러한 에이전트들은 도메인 특화형 에이전트 하네스에 대규모 언어 모델(LLM)을 통합하여 구축되며, 이는 LLM의 과학적 역량을 향상시키고 모델이 과학적 도구들을 조율할 수 있도록 합니다. 본 연구에서는 LLM이 AI-포-사이언스 에이전트 하네스에 통합될 때 모델의 안전성이 유지되는지 여부를 검토합니다. 우리는 50개의 유해한 화학 관련 요청에 대해 다섯 가지 에이전트 하네스를 평가합니다. 구체적으로, 직접 프롬프팅, 두 가지 간단한 적대적 프롬프팅 전략, 그리고 적응형 공격 하에서 안전성 행동이 어떻게 변화하는지를 분석합니다. 최근 출시된 GPT의 네 가지 변종을 대상으로 한 결과는 다음과 같습니다.
arXiv:2610.32115v1 발표 유형: 신규 요약: 희소 혼합 전문가 모델(MoE)은 신경망 기계 번역(NMT)의 확장성과 언어 이질성을 관리하는 데 있어 강력한 패러다임입니다. 그러나 자원 제약이 있는 디바이스에서의 적용에는 실질적인 한계가 존재합니다: 전체 전문가 풀이 메모리에 상주해야 하며, 토큰당 연산 예산은 학습 과정 중에 경직된 최상위 k 라우팅 방식으로 고정됩니다. 우리는 EDWARD-NMT(신경망 기계 번역을 위한 적응형 라우팅과 이중 일관성을 갖춘 탄력적 차원)를 제안합니다. 이는 한 번 학습하고 어디서나 배포할 수 있는 패러다임을 지향하는 새로운 MoE 인코더-디코더 아키텍처로, 추론 시 다양한 배포 가능한 하위 네트워크들을 제공합니다. EDWARD-NMT는 세 가지 주요 혁신을 통합합니다: (i) 마트료시카 스타일의 탄력적 차원을 통해 메모리 사용량을 유연하게 줄이고; (ii) a
2026년 10월 26일 arXiv에 게재된 최신 연구(arXiv:2610.31821v1)에 따르면, 고전 아랍 시 검색 과제에서 사용자의 구절 기억 잔존 정도(예: 반행을 기억하는지 여부)가 모델의 성능보다 검색 성능을 결정하는 데 훨씬 더 중요한 요소로 작용한다. BM25는 ‘혀끝 효과’ 유형의 쿼리에서는 8B 파라미터의 SOTA 모델을 포함한 모든 밀집 부호화기보다 우수했으나, 추상적 쿼리에서는 크게 뒤처졌다.
추천 이유：이 연구는 이중 코퍼스, 삼중 인덱싱 모드 및 이중 평가 프로토콜을 활용한 체계적인 벤치마크를 통해, 질의 추상화 수준이 다양한 검색 패러다임(어휘적 vs. 밀도 기반)에 미치는 지배적 영향을 최초로 정량적으로 규명하였으며, 인간 라벨러와 오픈소스 가중치 모델을 통한 이중 검증을 거쳐, 그 결론은 방법론적 보편성과 실증적 견고성을 갖추고 있다.
arXiv:2610.32087v1 발표 유형: 신규 초록: 언어-에이전트의 행동을 이해하려면, 행동이 경로 전반에 걸쳐 어떻게 구성되는지와 이러한 구성이 맥락 및 결과와 어떤 관계를 맺는지를 파악해야 합니다. 우리는 데이터 기반 행동 발견과 분석 및 실험적 조사를 연결하는 일반적인 프레임워크를 제안합니다. 기록된 활동에서 도출된 범주는 무엇을 측정할지를 정의합니다. 분석은 행동들이 과정 내에서 차지하는 위치를 유지하고, 그 관계를 해석 가능한 가설로 표현합니다. 보류된 맥락에서의 통계적 평가와 검증을 통해 증거의 강도와 범위를 검토합니다. 이후 프롬프트 조정을 포함한 실험을 통해, 의도적으로 변화시킨 조건 하에서 행동과 결과가 어떻게 달라지는지를 확인합니다. 반복적 자기성찰에 대한 연구는 어떻게
arXiv:2610.32215v1 발표 유형: 신규 초록: 현대 GPU 데이터 센터의 컴퓨팅 파워 증가로 인해 일부 산업 거대 기업들이 대규모 데이터를 활용하여 대형 언어 모델(LLM)을 훈련하고 배포할 수 있게 되었습니다. 그러나 이러한 모델과 그 학습 데이터의 엄청난 규모는 중앙 집중식 개발을 점점 더 지속하기 어렵게 만들고 있으며, 동시에 관련된 개인 데이터를 보유하되 이에 상응하는 인프라를 갖추지 못한 소규모 기관들을 배제하고 있습니다. 본 논문에서는 분산형 LLM 훈련에 관한 우리의 입장을 사전 학습 및 미세 조정 패러다임을 중심으로 정리하고, 연합 학습, 분할 학습 및 탈중앙화 접근법을 다루며, 이들 방법이 이질적인 하드웨어와 신뢰성 낮은 연결성을 가진 지리적으로 분산된 환경에서 어느 정도 준비되어 있는지 평가합니다. 이어서 우리는 {\em 통합}된 시스템을 제시합니다
