저장한 도구도구 추천
FOXAI SEARCH

전체 검색

뉴스 기사 505

inference-systems

b11879

CUDA: fuse FFN gate/up matmuls and GLU in MMQ with interleaved gate/up rows (#29948) * cuda: fuse FFN gate/up and GLU in MMQ with interleaved gate/up rows For prompt processing, run the gate and up matmuls of a dense FFN as one mul_mat_q launch and apply the GLU in the write-back. - The loaders take the gate weights as a second pointer and fill the weight tile with up and gate rows interleaved in chunks of 8, so each thread holds an up value and the matching gate value (rows r and r + 8 of an MMA tile). - The MMA loop is unchanged: same tile, warp layout, vec_dot and one sum[] per thread. The fused write-back computes the GLU from registers and writes half the rows. - The fused path uses the regular tiling (no stream-k) with the column tiles innermost so that neighbouring blocks share weig

번역 서비스가 일시 중지되어 원문을 표시합니다.
llama.cpp 릴리스
rag-methods

Semantically Rich, Metrically Affect-Blind: A Geometric Blind Spot in Modern Text Embedders

arXiv:2610.32122v1 Announce Type: new Abstract: We report a systematic dissociation in modern text embedders: sentiment is almost perfectly decodable from their embeddings, yet almost entirely absent from their metric. Across eleven frozen encoders spanning 2021 to 2026, including 2026-generation models and the 4B-parameter LLM embedder Qwen3-Embedding-4B, a linear probe recovers sentence polarity at up to 91.3% accuracy while cosine similarity separates polarity by a margin of only 0.003-0.064. Qwen3-Embedding-4B, the strongest probe in the panel, reaches 91.3% probe accuracy but only 64.3 retrieval MAP. Because retrieval, clustering, deduplication, and retrieval-augmented generation operate on the metric rather than on a trained probe, these systems are effectively blind to information t

번역 서비스가 일시 중지되어 원문을 표시합니다.
arXiv cs.CL
copyright-privacy

실내 무선 지도 추정을 위한 협력적 인컨텍스트 학습

arXiv:2610.31702v1 발표 유형: 신규 초록: 실내 무선 지도 추정(RME)은 커버리지 계획, 위치 파악, 네트워크 배치 등 무선 응용 분야에서 필수적입니다. 그러나 기존 방법의 대부분은 비용이 많이 드는 라벨링된 데이터와 작업별 모델 학습을 요구하는 지도학습 패러다임을 따릅니다. 또한 실내 환경에는 건물 구조나 배치와 같은 개인정보에 민감한 정보가 포함되어 있어 이를 중앙 집중화하기 어려운 경우가 많습니다. 이러한 도전 과제를 해결하기 위해 우리는 실내 RME를 협력적 인컨텍스트 학습(ICL) 문제로 처음으로 정식화하고자 합니다. 우리는 다수의 클라이언트가 모델 업데이트 없이 대규모 자동회귀 시각 모델(LAVMs)을 활용해 ICL을 수행하는 프레임워크인 폴리-리플을 제안합니다. 각 클라이언트는 자신의 개인적인 시연 데이터를 통해 프롬프트를 받습니다.

arXiv cs.LG
업계 뉴스

케빈 루스는 AGI에 사로잡혔다. 당신은 왜 그렇지 않은가?

오늘은 AI 산업의 최근 급격한 변화를 상세히 다룬 신간 『AGI 연대기』의 저자이자 기자인 케빈 루스와 이야기를 나눕니다. 케빈은 오랜 기간 뉴욕타임스의 기자로 활동해 왔으며, 인기 팟캐스트 ‘하드 포크’의 진행자이기도 합니다. 그러나 그는 이 프로그램의 친구인 케이시 뉴턴과 함께 최근 […]을 떠났습니다.

더 버지 · AI
연구 동향

Context or Knowledge: How LLMs Attribute Their Own Answers

arXiv:2610.32109v1 Announce Type: new Abstract: Language models can answer a question from a supplied document or from their parametric knowledge. When later asked where the answer came from, what determines their source report? We study this by intervening on the model's key-value (KV) cache after the answer is generated and before the source question is asked. On a controlled factual task with four models (7B-32B), changing or removing the document's cache never changes the report. In contrast, transplanting the question-and-answer (Q+A) cache between runs with identical question and answer tokens transfers it: every eligible report follows the donor, while the recipient's document is unchanged. On the two smaller models, steering Q+A values along directions fitted before any source ques

번역 서비스가 일시 중지되어 원문을 표시합니다.
arXiv cs.CL
모델 업데이트

뮤온의 전처리는 언제, 어떻게 이루어지는가? 구조화된 기울기 노이즈의 역할

arXiv:2610.31728v1 발표 유형: 신규 초록: 뮤온은 대규모 언어 모델 학습에서 인기 있는 최적화 방법으로 자리잡았지만, 그 이론적 토대는 아직 잘 이해되지 않고 있다. 본 연구에서는 기울기 노이즈의 기하학적 특성이 뮤온의 전처리 효과를 어떻게 형성하는지 분석한다. 먼저, 고전적인 등방성 노이즈 가정 하에서는 뮤온이 학습률의 재조정 외에는 추가적인 가속 효과를 제공하지 않음을 이론적·실험적으로 보여준다. 이를 계기로 우리는 이질적인 작업 빈도를 갖는 연상 기억 시스템에서 미니배치 샘플링에 의해 발생하는 구조화된 노이즈를 탐구하기로 한다. 두 가지 작업에 대해 정확한 균형 임계점을 규명하고, 이를 다중 작업으로 확장하여 작업 커버리지와 기울기 신뢰성이 학습을 어떻게 공동으로 조절하는지 밝힌다. 우리의 분석에 따르면, 뮤온은 다음과 같은 효과를 완화할 수 있음을 보여준다.

arXiv cs.LG
open-models

Can Test-Time Memory Evolution Outperform Test-Time Training for Scientific Discovery?

arXiv:2610.32046v1 Announce Type: new Abstract: Recent \emph{test-time training} (TTT) frameworks have enabled open-weight large language models (LLMs) to outperform inference-only frameworks powered by frontier models on scientific discovery tasks. However, TTT introduces additional computational cost for online weight updates during the discovery process, making computational efficiency an important consideration when scaling to larger models. This motivates us to explore an efficient \emph{test-time adaptation} method for scientific discovery. We introduce \emph{Test-Time Memory Evolution} (TTME), a plug-and-play test-time adaptation method, as an alternative to TTT. TTME continually updates the external memory by distilling the experience to guide subsequent discovery without updating

번역 서비스가 일시 중지되어 원문을 표시합니다.
arXiv cs.AI
image-generation

추측적 디퓨전은 두 가지 절충의 이야기입니다

arXiv:2610.31819v1 발표 유형: 신규 초록: 추측적 디코딩은 더 빠르고 낮은 품질의 초안 모델로부터 샘플링을 수행함으로써 자동회귀형 대규모 언어 모델(LLM)의 추론 속도를 가속화하는 기법입니다. 전통적으로, 추측적 디코딩의 근본적인 특성은 검증자 분포에 대해 무손실이라는 점으로, 품질을 희생하지 않고 속도를 보장한다는 것입니다. 이는 최근 개발된 디퓨전 LLM(dLLM)과는 달리, 덜 많은 디퓨전 작업으로 출력의 품질을 저하시킴으로써 상당한 속도 향상을 달성할 수 있다는 점에서 차별됩니다. 디퓨전 모델은 토큰을 병렬로 생성하여 자동회귀 모델보다 더 빠르게 샘플링할 수 있기 때문에, 추측적 디퓨전에서 초안 모델로서 강력한 후보로 간주됩니다. 널리

arXiv cs.LG