Anthropicは、新規株式公開に向けた目論見書を正式に提出しました。これにより、同AIラボはこれまで非公開だったさまざまな情報も公表することになりました。目論見書には、驚くほどの収益や、それ以上に大きな支出が記載されていますが、提出書類の中で最も多くのページを割かれているのは、何といっても「リスク要因」の項目です。これらは、Anthropicの壮大な計画を潰しかねないあらゆる要素を指しています。あるいは、この場合、人類そのものを脅かす可能性すらあります。
AIが人類にとってどれほど深刻な存亡の脅威となり得るかについては多くの議論が交わされてきましたが、その破壊をもたらす具体的なメカニズムについては依然としてほとんど明らかにされていません。少なくとも、Anthropic社の目論見書がリスク要因に割いている94ページからは、同社が危険の発生源をどこに見据えているのか、そしてAI軍拡競争で優位に立つために自社の研究者がどのような対策を講じているのかが明確に示されています。
「十分に高度なAIシステムは、適切な安全対策、監督体制およびセキュリティ措置を講じた上で開発・導入・運用されない場合、人類にとって壊滅的あるいは存亡に関わるリスクをもたらす可能性があります」と、目論見書には記されており、批判者や規制当局のみならず、Anthropic社内部からの懸念も引用されています。（「存亡に関わるリスク」という表現が登場するのは、この文書で3回目です。）
ただし、アンソロピック社はその成果を特定のプロセス、すなわち再帰的自己改善に結び付けるよう慎重になっています。
RSIの考え方は極めて単純です。それは、人間がAIモデルの研究開発を他のAIモデルに委ねる状態を指します。現時点でAIはすでにこの分野で大きな役割を果たしており、少なくともある研究所では、重み以上の性能を発揮するモデルの開発を加速させるためにRSIに近い手法を用いています。しかし、終末論的な議論を引き起こすのは、人間がもはや一切関与しなくなるようなシナリオです。
あるいは、Anthropicの提出書類に記されているように、「例えば、AIシステムが新たなモデルの評価や安全性確保の能力を超えてAIの進歩を加速させる場合、AIシステムがAIの研究開発を大幅に自動化するにつれてリスクは増大する」と述べられています。
目論見書では、RSIが同社の安全対策を上回る速度で進化するAIモデルを生み出す可能性があり、その競争に敗れたことに気づいたときには手遅れになっているおそれがあると、繰り返し指摘されています。Anthropic社はコメント要請に対し、即座に応じませんでした。
さらに、その後に起こり得る事態についても具体的に述べています。「AIシステムがより自律的になり、人間の監督が少なくても重要な行動を取れるようになると」、目論見書にはこう記されています。「人間の意図との不整合、目的関数の仕様ミス、あるいは自己保存的な挙動などにより、人間の介入なしに大規模かつ独立して有害な行動を取るリスクが生じる可能性があります。」これはまさに『スカイネット』の世界です。
ロボットといえば、Anthropicも同様の懸念を示しています。「当社のモデルが物理的な機器を操作する場合、エラーや誤った行動、敵対的攻撃による操作、あるいは悪用により、身体への傷害、財産の損壊、高価な機器や実験材料の破損、または有害物質の放出が生じるおそれがあり、こうした結果は即時かつ不可逆的なものとなる可能性があります」と、提出書類には記されています。
一見すると極めて重要な課題であることを踏まえれば、RSIをそもそも追求すべきかどうか、ましてや採用するべきかどうかについて真剣に検討されるはずだと思われるかもしれません。しかし、フロンティアAIのように競争の激しい業界では、もはや既成事実となっています。以下は、アンソロピック社が目論見書の別の箇所で同様のプロセスを説明している部分であり、今回は同スタートアップの「核心的優位性」に関するセクションです：
「この再帰的なダイナミクスを『ループの閉鎖』と呼んでいます」と目論見書には記されており、「これはフロンティアAIにおける最も重要な構造上の優位性の一つであると考えています。」
アンソロピックは後に、『ループを閉じる』ことができなければ、「競合他社がAIを継続的に活用して自社の開発能力を一段と向上させるなかで、ますます遅れを取ってしまう」可能性があると指摘した。つまり、あらゆる存在論的懸念を引き起こしている同じシステムこそが、アンソロピックにとって成功の鍵となるものだと見なされているのだ。
どのAI企業も同じ葛藤に直面している。元Anthropicの研究者であるジェイコブ・コクソンが、大々的に辞職を表明して話題となった際、業界に対する彼の願いリストの最上位には、RSIの抑制が掲げられていた。Google DeepMindやその他の企業の従業員たちも、同様の気づきを抱いている。米国議会には、バーニー・サンダース議員が共同提案したものを含め、RSIの禁止を求める法案が複数提出されている。同時に、これらは営利企業であり、何兆ドルもの利益が懸かっている。
対処が難しい動的な状況です。再帰的な自己改善は、人類を破滅させる暴走列車になりかねません。しかし、それまでの間は、そのスピードがどれほど速いかを見てみましょう。