見出し・要約・本文から、情報のつながりを探します。
arXiv:2610.31894v1 発表タイプ：新規 要旨：近年のスパースオートエンコーダ（SAE）は、大規模言語モデル（LLM）の表現を解釈可能な特徴量に分解し、符号化された知識の精密な読み出しと制御を可能にしています。しかし、既存のSAEでは各特徴量が独立した単位として扱われており、実世界の知識は多くの場合、階層的に分類されています。その結果、読み出しには分類学的な整合性が保証されず、制御においても編集の適用範囲を細かく指定する粒度が欠けています。そこで私たちは、is-a（上位語―下位語）関係に基づき、分類学的情報をSAEの特徴空間に明示的に符号化するTaxoSAEを提案します。TaxoSAEは、分類体系を模倣して各分類レベルごとに1つのSAEを配置し、さらに各概念が対象となる分類レベルで活性化されるよう学習させるための分類学的アライメント損失を導入します。
Google CloudとNVIDIAは、Vera Rubinアーキテクチャを基盤とするA5Xインスタンスを来月から正式に商用提供すると発表しました。第一弾は米国で展開され、その後欧州へと拡大される予定です。このプラットフォームは、NVL72 GPU、ConnectX-9 SuperNIC、Virgoネットワーク、および第4世代の液冷技術を統合しており、大規模強化学習や生成型エージェントの推論など、高密度な計算負荷が求められるシナリオに特化して設計されています。
AWSチームは、Amazon SageMaker HyperPod上でGPT‑OSS‑20Bを用いた多言語推論の微調整実験を実施し、LoRAによるパラメータ効率的微調整を採用しました。SFTでは、英語・フランス語・ドイツ語・スペイン語・イタリア語の5言語における推論の言語正答率を22％から100％に引き上げましたが、回答言語の正答率は62％にとどまりました。GRPOはこれを踏まえ、回答言語の正答率をさらに70％まで向上させましたが、推論言語の性能には影響を与えませんでした。ただし、その効果は言語によって異なり、例えばスペイン語では30ポイント上昇する一方で、イタリア語では20ポイント低下しました。実験は、GRPOがゼロから新たな能力を創出することはできず、既存の偶発的な振る舞いを最適化するにすぎないことを明確に示しています。
