本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

大規模言語モデルのアライメント向け、ランキングを考慮した差分プライバシーによるリストワイズな好みの公開

arXiv:2610.37682v1 公告タイプ:新規 要旨:リストワイズな好みフィードバックは、ペアワイズ比較に比べて大規模言語モデル(LLMs)のアライメントにおいてより豊かな監督情報を提供しますが、完全なランキングはさらに機密性の高いユーザーの嗜好も明らかにしてしまいます。既存のプライバシー保護型アライメント手法は主にペアワイズなフィードバックに焦点を当てていますが、ローカル差分プライバシー(LDP)下でのリストワイズなアライメントは未だ十分に探求されていません。このリストワイズな領域へLDPを拡張することは、重大な課題を提起します。すなわち、完全なランキング空間の高い機密性のために過剰なノイズが必要となり、結果としてリストワイズな監督の利点が無効化されてしまうのです。この課題に対処するため、我々は下流の学習における監督の粒度とプライバシー・ノイズの相互作用を分析し、リストワイズな好みをプライバシー保護するランク-awareな指数関数メカニズムを提案します。

経緯と関連報道

OmniBrain-0:身体を備えた知能のための統一されたエージェントモデル

arXiv:2610.36013v1 発表タイプ:新規 要旨:汎用的な身体を備えた知能は、ロボットが長期間にわたり多様なスキルを連携させ、タスクの進行状況を追跡し、障害から回復できるよう求められる。専門的なポリシーだけではタスクレベルでの信頼性を確保できず、強力なマルチモーダルエージェントも、コンパクトなモデルでは再現が難しい高コストな推論や外部経験に依存している。そこで私たちは、共有の高レベルな意思決定モデルを通じて操作とナビゲーションを協調させ、タスク理解、計画、進行状況の追跡、フィードバックに基づく回復を統合する、軽量で統一された身体を備えたエージェントであるOmniBrain-0を提案する。当社の段階的学習フレームワークは、身体を備えた事前学習、ドメイン特化型エージェントの蒸留、およびマルチティーチャーによるオンポリシー蒸留(MOPD)を組み合わせている。これにより、強

経緯と関連報道

リアルタイムの分割制御におけるゼロショット協調のための認知的に制約されたパートナー

arXiv:2610.31726v1 発表タイプ:新規 要旨:効果的な人間と機械のチーム編成には、予測不可能な人間のパートナーと協調できるエージェントが必要である。実際の人間からのフィードバックや大規模な行動データセットを用いた強化学習はコストが高く、一方でシミュレーションのみによる訓練では人工的な慣例に過剰適合し、現実の人間とのゼロショット協調において失敗してしまう。我々は、認知的に制約されたパートナーに対してチーム編成エージェントを訓練するためのフレームワークを提案する。このフレームワークでは、報酬設計や過去の訓練チェックポイントではなく、人間の生理学的文献に基づく手続き上の制約(特に反応遅延や知覚限界)から生じる多様性を持つシミュレートされたパートナーを用いる。改良版のルナランダー環境において、これらのパートナーはより…のように振る舞うことを示す予備的な証拠を報告する。

Cognitively Constrained Partners for Zero-Shot Coordination in Real-Time Partitioned Control
経緯と関連報道

アクター・クリティックベースのエージェント向けの金融コンテキスト豊富な戦略:株式取引における深層強化学習アプローチ

arXiv:2610.32237v1 発表タイプ:新規 要旨:現代の金融市場において、大口取引の4分の3以上は、従来の人間トレーダーに比べて高い精度と速度を実現するための高度な取引戦略に基づくアルゴリズム取引によって執行されています。従来の価格ベースの指標に依存した戦略では、社会的センチメントや政治的不安定性、あるいは急激な経済変動といった現実世界の出来事から生じる市場のダイナミズムを捉えるには不十分です。深層強化学習(DRL)の台頭とデータの入手可能性に伴い、こうした外部要因を取引戦略に組み込める、より効率的なアルゴリズムが求められています。DRLは、現実世界のシナリオのシミュレーションや複雑な意思決定の簡素化において有望な成果を示しており、DRLエージェントは自動的に

経緯と関連報道

TaxoSAE:分類学的論理によるスパースオートエンコーダの再考

arXiv:2610.31894v1 発表タイプ:新規 要旨:近年のスパースオートエンコーダ(SAE)は、大規模言語モデル(LLM)の表現を解釈可能な特徴量に分解し、符号化された知識の精密な読み出しと制御を可能にしています。しかし、既存のSAEでは各特徴量が独立した単位として扱われており、実世界の知識は多くの場合、階層的に分類されています。その結果、読み出しには分類学的な整合性が保証されず、制御においても編集の適用範囲を細かく指定する粒度が欠けています。そこで私たちは、is-a(上位語―下位語)関係に基づき、分類学的情報をSAEの特徴空間に明示的に符号化するTaxoSAEを提案します。TaxoSAEは、分類体系を模倣して各分類レベルごとに1つのSAEを配置し、さらに各概念が対象となる分類レベルで活性化されるよう学習させるための分類学的アライメント損失を導入します。

経緯と関連報道

オンライン3Dビンパッキングにおける空間ヒューリスティック戦略に基づく拡散強化学習

arXiv:2610.32241v1 発表タイプ:新規 要旨:従来のヒューリスティック手法は、空間利用率やレイアウトのコンパクトさといった3Dビンパッキングの核心的な目標において、人為的に設計されたルールベースの論理に依存することで成熟した経験を蓄積してきました。しかし、一般化能力や動的シナリオへの適応性には明らかな限界が見られます。一方、強化学習の空間探索能力と拡散学習のデータ分布モデリング能力を統合した拡散強化学習は、行動分布のモデリングや意思決定の遵守制約の面で一定の進展を遂げています。それでもなお、3Dビンパッキングにおける空間的トポロジー構造の十分な把握や、レイアウト最適化能力の限定といった課題が残されています。

経緯と関連報道

GPT-OSS-20B多言語推論の微調整実験:SFTによりゼロベースでの行動習得が可能となり、GRPOは確率ヘッド空間が存在する場合にのみ効果的に性能を向上させる

AWSチームは、Amazon SageMaker HyperPod上でGPT‑OSS‑20Bを用いた多言語推論の微調整実験を実施し、LoRAによるパラメータ効率的微調整を採用しました。SFTでは、英語・フランス語・ドイツ語・スペイン語・イタリア語の5言語における推論の言語正答率を22%から100%に引き上げましたが、回答言語の正答率は62%にとどまりました。GRPOはこれを踏まえ、回答言語の正答率をさらに70%まで向上させましたが、推論言語の性能には影響を与えませんでした。ただし、その効果は言語によって異なり、例えばスペイン語では30ポイント上昇する一方で、イタリア語では20ポイント低下しました。実験は、GRPOがゼロから新たな能力を創出することはできず、既存の偶発的な振る舞いを最適化するにすぎないことを明確に示しています。

経緯と関連報道