保存済みツールを推薦
FOXAI SEARCH

サイト内検索

ニュース記事 907

Semantically Rich, Metrically Affect-Blind: A Geometric Blind Spot in Modern Text Embedders

arXiv:2610.32122v1 Announce Type: new Abstract: We report a systematic dissociation in modern text embedders: sentiment is almost perfectly decodable from their embeddings, yet almost entirely absent from their metric. Across eleven frozen encoders spanning 2021 to 2026, including 2026-generation models and the 4B-parameter LLM embedder Qwen3-Embedding-4B, a linear probe recovers sentence polarity at up to 91.3% accuracy while cosine similarity separates polarity by a margin of only 0.003-0.064. Qwen3-Embedding-4B, the strongest probe in the panel, reaches 91.3% probe accuracy but only 64.3 retrieval MAP. Because retrieval, clustering, deduplication, and retrieval-augmented generation operate on the metric rather than on a trained probe, these systems are effectively blind to information t

翻訳サービスが停止中のため原文を表示しています。
arXiv cs.CL

屋内無線地図推定のための協調的文脈内学習

arXiv:2610.31702v1 発表タイプ:新規 要旨:屋内無線地図推定(RME)は、カバレッジ計画、位置推定、ネットワーク展開などの無線通信アプリケーションにおいて不可欠である。しかし、既存の手法の多くは、高コストなラベル付きデータとタスク固有のモデル学習を必要とする教師あり学習パラダイムに従っている。さらに、屋内環境には建物のレイアウトや構造といったプライバシーに関わる情報が含まれており、これらを集中管理することはしばしば困難である。これらの課題に対処するため、私たちは初めて、屋内RMEを協調的文脈内学習(ICL)問題として定式化する試みを行った。提案するPoly-Rippleは、複数のクライアントがモデルの更新なしに大規模自己回帰型視覚モデル(LAVM)を用いてICLを行うフレームワークである。各クライアントは、自身のプライベートなデモンストレーションによってプロンプトを与えられる。

arXiv cs.LG

ケビン・ルースはAGIに取り憑かれている。あなたはどうしてそうならないのだろうか?

今日は、AI業界の最近の劇的な変革を詳述した新刊『The AGI Chronicles』の著者でジャーナリストのケビン・ルースとお話しします。ケビンは長年ニューヨーク・タイムズの記者を務め、人気ポッドキャスト「Hard Fork」のホストでもありました。しかし彼と、同番組の友人であるケイシー・ニュートンは、先日[…]を去りました。

ザ・バージ・AI

文脈または知識:大規模言語モデルが自らの回答をどのように帰属させるか

arXiv:2610.32109v1 発表タイプ:新規 要旨:言語モデルは、与えられた文書や自身のパラメトリックな知識に基づいて質問に答えることができる。では、後になってその回答の出所を問われた際、どのような基準で出所を報告するのか?本研究では、回答生成後かつ出所に関する質問が提示される前に、モデルのキーバリュー(KV)キャッシュに介入することでこの問題を検討した。4つのモデル(7B~32B)を用いた制御された事実確認タスクにおいて、文書のキャッシュを変更または削除しても、出所の報告内容には一切影響が見られなかった。一方で、同一の質問と回答トークンを用いた複数回の実行間で質問と回答のキャッシュを移植すると、その報告内容は受け渡され、寄贈元の出所報告に従う一方で、受領側の文書内容は変化しなかった。さらに、比較的小規模な2つのモデルでは、出所に関する質問が提示される前に適合させた方向へQ&A値を操作することで、出所の報告内容を意図的に制御することも可能であった。

arXiv cs.CL

ミュオンの前処理はいつ、どのように行われるのか?構造化された勾配ノイズの役割

arXiv:2610.31728v1 発表タイプ:新規 要旨:ミュオンは大規模言語モデルの学習において人気の最適化手法となっているが、その理論的基盤は依然として十分に解明されていない。本研究では、勾配ノイズの幾何学的特性がミュオンの前処理による利点をどのように形成するかを検討する。まず、古典的な等方性ノイズ仮定のもとでは、ミュオンは学習率の再スケーリング以上の加速効果をもたらさないことを理論的および実験的に示す。これを受けて、私たちは異種タスクの発生頻度を持つ連想記憶におけるミニバッチサンプリングから生じる構造化されたノイズについて調査を開始した。二つのタスクに対する正確なバランス閾値を導出し、さらに複数タスクへの拡張を通じて、タスクカバレッジと勾配の信頼性がいかに協働して学習を形作るかを明らかにする。我々の分析によれば、ミュオンは…を緩和できることが示される。

arXiv cs.LG

Can Test-Time Memory Evolution Outperform Test-Time Training for Scientific Discovery?

arXiv:2610.32046v1 Announce Type: new Abstract: Recent \emph{test-time training} (TTT) frameworks have enabled open-weight large language models (LLMs) to outperform inference-only frameworks powered by frontier models on scientific discovery tasks. However, TTT introduces additional computational cost for online weight updates during the discovery process, making computational efficiency an important consideration when scaling to larger models. This motivates us to explore an efficient \emph{test-time adaptation} method for scientific discovery. We introduce \emph{Test-Time Memory Evolution} (TTME), a plug-and-play test-time adaptation method, as an alternative to TTT. TTME continually updates the external memory by distilling the experience to guide subsequent discovery without updating

翻訳サービスが停止中のため原文を表示しています。
arXiv cs.AI

Speculative Diffusion is a Tale of Two Tradeoffs

arXiv:2610.31819v1 Announce Type: new Abstract: Speculative decoding is a technique that accelerates the inference speed of autoregressive large language models (LLMs) by sampling from a faster, lower quality draft model. Traditionally, a fundamental characteristic of speculative decoding is that it is lossless with respect to the verifier distribution, guaranteeing speed without sacrificing quality. This differs from recently developed diffusion LLMs (dLLMs), which are notably able to achieve substantial speedups by degrading the quality of their outputs with less diffusion effort. Because diffusion models are able to sample faster than autoregressive models by generating tokens in parallel, they are considered strong candidates for draft models in speculative diffusion. While it is widel

翻訳サービスが停止中のため原文を表示しています。
arXiv cs.LG