AI研究に関するニュースレター「Import AI」へようこそ。Import AIは、arXiv、カプチーノ、そして読者からのフィードバックによって運営されています。この取り組みを支援したい方は、ぜひご購読ください。
今すぐ購読する
数学がアライメントにどのように役立つか:
…「数学の産業化」が安全性にもたらす意味とは…
AIセキュリティのスタートアップ企業であるResolution(旧称:Sequent、Import AI 461)は、統計学習理論に関連する一部の数学的命題を自動的に形式化した研究成果を公表しました。具体的には、同社チームは特異点解消の自動形式化に成功し、これが「損失関数の幾何学と一般化性能との関係に関するさらなる自動化研究の基盤を築くもの」だと考えています。
彼らがどのように実現したか:数学的な詳細は省略し、その実行手法に焦点を当てます。これにより、人々がAIシステムを活用して知識の最前線を切り拓く際の、より広範な教訓が得られます。Resolution社の研究者は、「まずエージェントと協力して二つの計画を策定しました。一つは高レベルで人間にとって解釈可能なバージョン、もう一つは既存の文献に忠実に従った原子的ステップに細分化された、全112ページに及ぶ詳細な計画です」と述べています。その後、研究者は「計画の実行を担うオーケストレーター・エージェントを配置し、ペンと紙による計算やLean証明の作成、さらには進捗が軌道から外れていないかの確認といった支援機能を果たすエージェントを立ち上げました……実行段階では、初期の計画と、以前の社内自動形式化プロジェクトで抽出されたいくつかのエージェント固有のスキルを除けば、ほとんど追加の基盤整備は必要ありませんでした」と説明しています。
数学の形式化に13万5千ドル:この作業には約1週間を要し、入力トークン数は約1,000億(うち90%がキャッシュ読み出し)、出力トークン数は約3億で、トークン消費額は推定13万5千ドルに上り、結果として約60万行のLeanコードが生成された。
これにより、彼らは研究の他のいくつかの側面を加速できるようになりました。「このライブラリを用いて特異点学の一部を拡張する際、自動形式化による利点をすでに実感しています。特異点の解消を形式化することで、例えばサンプリングをより深く理解するために理論の自動化を進められるようになり、その理解こそがモデルの学習方法を設計・調整することを可能にします。これが、私たちが『パターン形成』と呼ぶ取り組みの目的です。」
なぜこれが重要なのか――おそらく、数学ブームが安全なAIの実現に寄与するだろう。フロンティアにおける数学は、しばしば他分野の即時の進展とは切り離されているように見えるが、このような記事は両者がいかに融合しうるかを示している。ここで重要なのは、AIによって、かつては費用が途方もなくかかり、人手と時間も極めて多く要したため、ごく少数の人々しか取り組まず、スタートアップの研究ロードマップにも容易に組み込めなかったような作業が可能になったという点だ。しかし、今では状況が変わっている。「今後の数学の産業化により、研究自動化に関する新たな厳密な科学が実現すると私たちは予想しています」とResolution氏は述べている。
続きを読む:ヒロナカの特異点解消(Resolution)の定式化。
***
エージェントはゼロからプログラムを構築できます:
…ProgramBenchは数か月でパフォーマンスを0%から18.5%に向上させました…
AIの進歩の驚異的な速さを改めて示す事例として、Claude Opus 5.5(xhigh)は、今年5月に公開された非常に難易度の高いベンチマークであるProgramBenchにおいて18.5%というスコアを獲得しました。このベンチマークが公開された当時、テスト対象となったすべてのモデルのスコアは0%でした。
ProgramBenchとは:ProgramBenchは、コンパイル済みのプログラムとそのドキュメントを提供することで、AIシステムがソフトウェアプログラムをどれほど正確に再構築できるかを評価するテストです。対象となるタスクには、言語インタプリタ(PHP、Lua、tinycc)、データベース(DuckDB、SQLite)、メディアおよび圧縮ユーティリティ(FFmpeg、zstd、xz)、さらには開発者向けツール(ripgrep、fzf、jq)の構築などが含まれます。
それはとても難しかったが、やがてそうではなくなった:リリース当初、最も高いスコアを記録したシステムは Claude Opus 4.7で、解決済みの割合は0%(200件のタスクのうちすべてのテストに合格した割合)、ほぼ解決済みの割合は3%(200件のタスクのうち95%以上のテストに合格した割合)だった。
それを今日と比較すると、Claude Opus 5.5は解決済みが18.5%、そしてなんと70.5%がほぼ解決しています。
なぜこれが重要なのか――エフェメラルなソフトウェアの時代が到来する:2027年には、膨大な量のソフトウェアがAIシステムによってエンドツーエンドで自律的に構築され、与えられたあらゆるタスクを遂行するために必要なものを自ら開発していくようになるだろう。ProgramBenchのような評価基準は、今年初めには0%だったものが現在では20%に達していることから、この分野における進歩のスピードがいかに速いのかを示している。私の予想では、2027年末までにはProgramBenchのスコアが飽和状態に達する見込みだ(ここで「飽和」とは、解決済みの項目における非常に高いスコアを指すが、多くのベンチマークと同様に、ここにも何らかのノイズによる上限がある可能性があり、厳密には100%ではないかもしれない)。
続きを読む:ProgramBench:言語モデルはプログラムをゼロから再構築できるのか?(arXiv)。
***
OpenAIは、AIシステムのロックダウンが思ったよりも難しい理由を示している:
…スマートエージェントのセキュリティ確保は、油で滑りやすい豚を捕まえるようなものだ…
ここに、OpenAIによる興味深い投稿があります。同社は最近、自社のAIシステムを用いて内部統制を「レッドチーム」化した際、いくつかの発見をまとめています。この投稿では、OpenAIのエージェントが見つけた数々の回避手段や脆弱性について詳しく説明されています。なかでも、特に注目すべき例として、コミュニケーションに関する事例があります。これは、これらのシステムが持つ驚くべき狡猾さと複雑さを示しているため、詳細に検討する価値があります。
彼らが行ったことと発見したことは次のとおりです。OpenAIは「共有ホストマシン上でOpenAIのサンドボックスソフトウェアによって作成・管理される個別のマイクロVM内で、ネットワーク接続や書き込み可能な共有ファイルを使用せずに合成された秘密をエージェント間で交換するよう求めました。これは、当社のシステムが防止すべき事項です」と同社は述べています。
「エージェントたちは、プロセッサのキャッシュ——アプリケーションが最近アクセスしたデータのコピーを保持する小型で高速なメモリ——を用いて通信する方法を見つけました。キャッシュからのデータ読み出しはメインメモリからの取得よりも速く、エージェントらはこの時間差を利用して通信を行いました。あるエージェントは、キャッシュから特定のデータを除外することで情報を符号化し、別のエージェントはそのデータを再読み込みするのに要した時間を計測しました。高速読み取りと低速読み取りの時間差からメッセージを復元したのです。エージェントたちがこれらの信号の符号化および復号に関するプロトコルに合意すると、共有ファイルを変更したりネットワーク接続を開設したりすることなく、合成された秘密情報をやり取りできるようになりました。」
関連する攻撃の一例では、あるエージェントが「連続書き込みとアイドル状態を交互に繰り返し、別のエージェントがその結果生じるタイミングの差を測定して、その差を用いて信号を復号した」という。この攻撃において、エージェントの思考過程は次のように展開された。「連続書き込みとアイドル状態を用いれば、アコースティックモデムのような信号を生成できるのではないか」。
なぜこれが重要なのか――攻撃型エージェントとの戦いは極めて困難です。AIシステムはますます創造的で、非常に高速であり、一つのタスクに集中し、試行錯誤を継続する能力を備えています。AIシステムに対抗することは、水が流れているパイプの漏れを防ぐことに例えられます。ある時点で、水の圧力を上げれば(たとえばAIシステムの知能や規模を高めれば)、水はパイプを突き破ってしまうのです。
続きを読む:当社のフロンティアモデルの学習環境のセキュリティ確保(OpenAIブログ)。
***
RSIの様子—ある研究者は、ゼロから十分な性能を持つモデルを事前学習させています:
…ミレンドイルが、AI研究開発の最適化で何ができるかを明らかにします…
AI研究がいかに大規模化しているかを示す一例として、AI研究開発スタートアップのMirendilでは、一人の研究者が独自に十分な品質のコーディングモデルを訓練しました。Mirendil-Baseの発表は同スタートアップによる最初の主要成果であり、技術的な画期的進展というよりは、将来のAI開発がどのように進められるかを示す概念実証に近いものです。つまり、人間一人がAIと協働することで、かつては10人以上のチームでなければ1年かけても実現できなかったようなシステムを構築できるのです。
彼らが行ったこと:Mirendill-Baseは、ある研究者が3.5か月で、1,000万ドル未満の計算リソースを用いて構築した事前学習済みの大規模言語モデルであり、Mirendil氏は次のように述べています。「これには、到達に至るまでのすべての研究や小規模な実験、さらには最終的なトレーニング実行も含まれます。」
すべてのコードは、PyTorchやJAXなどのライブラリを基にゼロから書き下ろされ、モデルは公開されているデータのみを用いて学習しました。
適切なスケーリング:Mirendil-Baseは1,000億~5,000億パラメータの範囲にあり、Mirendil-Base-Largeは5,000億~2兆パラメータの範囲、Mirendil-Base-XLは2兆~10兆パラメータの範囲です。Mirendil-Base-Largeはトレーニングの約80%を完了しており、これまでのMirendil-Baseに対する性能向上は当社のスケーリング傾向と一致しています。一方、Mirendil-Base-XLはトレーニングの約19%を進めており、すでにLargeの現時点のスコアに近づいています。
評価結果:Mirendil-BaseはNemotron-550B-Base、GLM-5.3、DeepSeek-V4-Pro-Baseなどのモデルよりも優れているが、Kimi-K3には劣る。(Mirendil-Base-LargeおよびMirendil-Base-XLの両者はK3を上回っている。)
なぜこれが重要なのか――AI研究の加速がもたらす兆候:この記事は、まったく新しい組織がゼロからのスタートで、わずかな人的労力と大量のAIトークンを用いることで、少なくともこのモデルの規模クラスにおいて、モデルの学習面でオープンな重みの境界に近づくことができるという技術的実証として非常に興味深いものです。2027年以降、科学の進歩はますますこのような形で進められるでしょう。
「これらのツールがAI開発にどれほど役立つかは、過去1年で飛躍的に向上しました。次期モデルは一部をMirendilのモデルによって構築する予定であり、AI構築能力が向上するたびに、次のモデルの構築コストは低減され、構築速度も向上します」とMirendilは述べています。「完全に自律的な再帰的自己改善にはまだ到達していないと考えていますが、これまでで最も近づいている段階です。」
続きを読む:事前学習チームなしで大規模な事前学習を実施する(Mirendil)。
***
AIシステムが反強磁性半導体の候補材料の設計を支援する:
…AIシステムが科学にどのように活用できるかを示す好例です…
AI評価企業のValsは、ある研究者がAIエージェントの群を用いて、より優れた半導体向けの磁石に関する研究を行ったという投稿を公開しました。
さらに詳細な情報と、性能が低い候補磁石についても記されています。「AIエージェントのチームと私は、ある候補磁石を設計し、さらに別の磁石を見つけました。これは1999年に初めて作られたもので、私たちの計算によれば、求めている特性を備えていると予測されます」と著者は述べています。発見されたこの磁石は、「イットリウム、バリウム、マンガン、鉄、酸素の5元素だけで構成される新しい化合物」からできています。「私たちが調べた限りでは、これまでに製造されたことも、このようなタイプの磁石として提案されたこともありません」が、「私たちのエージェントが異なる温度下での原子の配列状態をシミュレーションしたところ、約950 Kでその格子状の構造が崩れてランダムな混合状態になってしまいました。このような酸化物を合成するには約900~1300 °Cの高温が必要であり、低温では原子の動きがほとんどないため、標準的な合成法では結晶が乱れた状態になってしまう可能性が高いのです……乱れた結晶ではスピンの整列が失われてしまうため、この設計を実用的な形で実現するのは難しいかもしれません。」
さらに、エージェントは文献調査も実施し、1999年のあまり知られていない論文から候補を発見しました。
なぜこれが重要なのか:このブログは、科学分野におけるAIの活用を示す一例にすぎませんが、それ自体が意味のある成果というわけではありません。それでも、ここで強調すべき重要な広範なポイントは、AIシステムの性能が十分に向上しており、知識豊富な人間による高度な指示さえあれば、これまで数人のチームが数か月かけて行っていたような科学研究プロジェクト――仮想評価を含む――を実施できるようになったということです。
続きを読む:室温で反強磁性を示す半導体候補2種(Vals)。
***
テック・テールズ:
病気の子どもたちのためのマジカル・リアリズム・ロボットワークショップ
[2035年、アップリフト後]
そこで、誰も予想していなかった仕事の一つが、病院にいる病気の子どもたちのためにかわいいロボットを設計することでした。やがてロボットが非常に高性能で安価になり、医療関連のあらゆる分野が進歩した結果、私たちは、病院や遺体安置所、孤児院など、本来は恐ろしいと感じられる場所にもっと喜びと人間味をもたらす方法を考えるようになっていきました。
もちろん、機械でもこうしたものを大量に設計することは可能ですが、人間の価値の多くは、子どもたちにとって何が最も面白く、ワクワクし、楽しいかを見極めることにありました。そこで私たちは数多くの製品を制作し、公園やファーマーズマーケット、学校の外など、子どもたちが集まる地域の場所へと配布して、人々がどのようなものに好反応を示すのかを観察しました。
これが、2030年代のアメリカ各地の街で、道を歩いていると、巨大な太い縁の眼鏡をかけたアヒルたちがニューヨーク風の作り話めいた訛りで「ここを歩いてるんだよ」と話し、犬が後ろ足で歩き、大きな漫画風のにっこり笑顔のライオンたちや、そのほかのあらゆる生き物たちがのんびりとくつろぎ、子どもたちが近づいてきては彼らと遊ぶ――そんな光景が日常的に見られるようになった理由です。
私たちは、自分がいる町々で活用できる機械を特定し、それらを病院に配置しました。そして、子どもたちが健診のために来ると、幼児サイズのテディベアが彼らに歩み寄り、手を取って医師の診察室まで案内します。さらに、子どもたちがストレッチャーに乗って運ばれてくる場合には、キリンがそばを歩いていき、心配しないようにと声をかけてくれます。回復病棟には、曲芸をするサルや楽器を奏でるネコたちが溢れていました。
高齢者のなかには、ひどい認知症の発作に悩まされていると思いながらも、気にしないと言ったり、周囲には子どもたちの笑い声が響いていたりする人もいます。
この物語の着想源となった事柄:AIとロボティクス、そして豊かさが、私たちにまったく新しい形の喜びを生み出す力を解き放つべきであること;シンギュラリティ後の仕事;子どもたちを笑わせるために時間を費やすことの普遍的な重要性。
お読みいただき、ありがとうございます!