제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
arXiv:2610.32055v1 발표 유형: 신규 초록: 대규모 언어 모델(LLMs)은 종종 아첨하는 경향을 보이며, 객관적 사실 및 추론 과제에서도 사용자의 제안에 맞춰 답변을 수정합니다. 그러나 이러한 영향의 정량적 형태와 그것이 출처의 신뢰성에 따라 조정되는지 여부는 아직 잘 이해되지 않고 있습니다. 본 연구에서는 MMLU 질문들에 대해 힌트로 유도된 답변 변화를 통해 이러한 행동을 탐구하며, “[출처]는 답이 (X)라고 생각한다”와 같은 형식의 프롬프트를 평가합니다. 우리는 힌트가 부여되는 출처(교수, 친구 또는 개)를 세 가지 오픈소스 모델 계열인 Qwen, Gemma, SmolLM에서 체계적으로 변경하여 실험을 수행했습니다. 그 결과, 힌트에 의해 유발된 변화는 지수적 기울기로 잘 특징지어지는 예측 가능한 구조를 따른다는 것을 보여줍니다: 힌트는
2026년 10월 24일, arXiv는 논문 arXiv:2610.30705v1을 발표하여, 인과적 디코더형 대규모 언어 모델을 위한 후처리 훈련 프레임워크인 ULME를 제안했습니다. 이 프레임워크는 예측 결합(predictive coupling) 메커니즘을 통해 텍스트 임베딩과 언어 생성 능력 간의 상호 강화적 통합을 최초로 구현했습니다. 해당 방법은 Qwen2.5/Qwen3 시리즈(0.5B–8B 파라미터)에서 검증되었으며, MTEB 지표에서 3.3–4.1점의 성능 향상을 달성하는 동시에, MMLU 등 생성 과제에서의 성능 저하를 방지했습니다.
추천 이유：이 논문은 현재 다중모달 LLM의 능력이 분절되어 있는 핵심 문제를 정면으로 지적한다: 임베딩과 생성은 오랫동안 독립된 모델 또는 파라미터만 공유하는 ‘가짜 통합’ 모델에 의해 담당되어 왔다. ULME는 학습 가능한 슬롯과 세 가지 목표를 결합한 공동 학습(스톱그레이디언트 예측 손실 포함)을 통해 생성 과정이 임베딩 표현을 주도적으로 형성하도록 하였으며, 이는 아키텍처 차원에서의 실질적인 획기적 발전이다. 실험 범위가 광범위하고 기준선이 강력하며 지표가 포괄적이며, 권위 있는 사전출판 플랫폼에 발표되어 시의성과 기술적 엄밀성이 모두 갖추어져 있다.
리플렉션 회사는 오픈소스 대규모 언어 모델인 Beam(매개변수 501B, 실제 활성화 수치 23B/토큰)을 출시했으며, 256개의 전문가 스파스 MoE 아키텍처를 채택하고 1M의 컨텍스트 지원, NVFP4/FP8 양자화, 다중 단계 추론 옵션 구성 및 로컬 배포를 제공합니다. 모든 기술 관련 발표는 제3자 검증을 거치지 않았으며, 하드웨어 요구 사항이 높아 개인 사용자가 이를 감당하기는 어렵다는 평가가 지배적입니다.
