本文へ移動
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

研究では、特異値スペクトルによる介入を通じて大規模言語モデルの能力分布を調整する手法を検討しており、LlamaおよびQwenモデルに対する実証分析を行っています。

2026年10月24日付のarXiv(番号2610.30676v1)に掲載されたあるAI研究では、5種類のオープンソースLlamaおよびQwenの指令微調整モデルに対して、後処理として特異値スペクトルの平滑化と尖鋭部の摂動を施したところ、この軽量な介入が、事実知識、言語理解、演繹的推論という3つの能力に関する性能のトレードオフを体系的に再構築することを明らかにしました。

AI 自動翻訳

『Spectral Smoothing and Spiking Perturbations Reconfigure Capability Profiles and Selective Task Performance in Large Language Models』という題名の研究が、2026年10月24日付でarXivに掲載されました(ID: 2610.30676v1)。本研究は、トランスフォーマーモデルのフィードフォワード層におけるup_projおよびdown_proj行列の特異値スペクトル構造に着目し、それが大規模言語モデルの下流における挙動に与える因果的影響を探究しています。

研究では、二種類の後処理による干渉手法を提案している。正の擾乱(spiking)は、特異値が幾何平均からどれだけ離れるかを引き伸ばし、最大値を拡大し最小値を圧縮する。一方、負の擾乱(smoothing)はその逆の効果をもたらす。いずれの操作も特異ベクトルを不変に保ち、特異値の幾何平均を一定に維持する。

実験では、5種類のオープンソースLlamaおよびQwenの指令微調整モデルを対象に、能力ラベリングのサブタスク、標準的およびチェーン・オブ・シンキング推論ベンチマーク、人間による評価における真実性・ハルシネーション・安全性の各タスク、さらにTRAIT人格プローブなど、多面的な評価項目において擾乱効果を検証し、応答の変化を「事実知識—言語理解—演繹的推論」という3次元の能力基盤に照らして解釈しました。

結果は、能力の変化がランダムではなく構造的であることを示している。大きな正の擾乱は、言語理解および演繹的推論のパフォーマンスを広く抑制する一方で、適度な負の擾乱は、一部の評価項目において事実性や局所的なタスクの性能を向上させることがある。また、感度はモデルファミリーや評価モジュールの種類、さらには各層間のスペクトル不均衡の程度に大きく依存することが明らかになった。本研究では、スペクトル擾乱を軽量かつ解釈可能な能力組織の検出ツールとして位置付けている。

情報源

arXiv cs.CL

関連テーマ

← すべてのニュースへ