Anthropic已正式提交其首次公开募股的招股说明书，这意味着这家人工智能实验室将此前一直保密的各种信息公之于众。尽管招股说明书中披露了令人瞠目的营收——以及更为庞大的支出——但这份文件中篇幅最大的部分无疑是“风险因素”章节，其中列出了所有可能挫败Anthropic宏大计划的因素；或者，在这种情况下，甚至可能危及人类自身。
尽管关于人工智能在多大程度上构成对人类的生存威胁，人们已议论纷纷，但其可能导致这种毁灭的具体机制却 largely 仍不为人所知。至少从 Anthropic 的招股说明书专门用以阐述风险因素的94页内容来看，既清晰地表明了该公司认为危险源自何处，也揭示了其研究人员正如何迎难而上、奋力追赶，以期在人工智能军备竞赛中占据优势。
“如果足够先进的人工智能系统在开发、部署和运行过程中未能配备适当的安全保障、监管机制和安全措施，就可能对人类构成灾难性或生存层面的威胁，”招股说明书指出，并援引了来自批评者、监管机构以及Anthropic内部的担忧。（这是“生存层面的威胁”这一表述在文中出现的三次之一。）
不过，Anthropic谨慎地将这一结果与一项特定的机制联系起来：递归自我改进。
RSI 的理念极其简单：它描述了一种状态，即人类将人工智能模型的研发工作交由其他人工智能模型来完成。目前，人工智能已在这一领域发挥着重要作用——至少有一家实验室已采用接近 RSI 的方法，加速开发一款性能远超其参数规模的模型——但真正引发末日论担忧的情景，是人类完全退出这一过程的情形。
或者，正如Anthropic的文件中所言：“如果人工智能系统大幅自动化人工智能的研发工作，例如使其推动AI进展的速度超出我们评估和保护新模型的能力，那么相关风险将随之上升。”
招股说明书反复强调，RSI可能导致人工智能模型的迭代速度超过公司自身的安全防护措施，而公司甚至可能在为时已晚之际才意识到自己已在这一竞赛中落后。Anthropic尚未立即回应置评请求。
它还具体说明了此后可能发生的情况。“随着人工智能系统变得更加自主，并能够在较少人类监管的情况下采取具有重大影响的行动，”招股说明书指出，“存在一种风险：这些系统可能由于与人类意图不一致、目标设定失误，或出于自我保护的动机，而在无需人类干预的情况下，独立且大规模地实施有害行为。”这已经进入了“天网”的范畴。
说到机器人，Anthropic也对此表达了担忧。“当我们的模型操控物理设备时，”文件中写道，“错误、行为偏差、对抗性操纵或滥用都可能导致人身伤害、财产损失、昂贵设备或实验材料受损，或者有害物质的泄漏，而这些后果可能是即时且不可逆的。”
你可能会认为，鉴于其看似攸关存亡的利害关系，人们理应认真审视是否应当推进RSI，更不用说将其全面采纳。然而，在像前沿人工智能这样竞争激烈的行业中，这早已成为既成事实。以下是Anthropic在招股说明书中另一处对同一过程的描述，这一次出现在关于该公司“核心优势”的章节中：
“我们将这种递归动态称为‘闭环’，”招股说明书指出，“我们相信，这是前沿人工智能领域最具优势的结构性特征之一。”
Anthropic后来表示，如果不能“闭环”，就可能“随着竞争对手不断利用人工智能进一步提升自身研发能力，而逐步被甩得越来越远”。换句话说，正是那些引发种种存在主义担忧的系统，也被Anthropic视为其取得成功的关键所在。
每一家人工智能公司都在应对同样的矛盾。当前Anthropic的研究员雅各布·考克森因高调辞职而引发热议时，他将遏制RSI列为该行业的首要愿望。谷歌DeepMind及其他公司的员工也都有过类似的感悟。美国国会中有多项法案，其中包括由伯尼·桑德斯共同发起的一项，提议禁止RSI。与此同时，这些企业都是以盈利为目的的公司，背后牵涉的金额高达数万亿美元。
这是一种难以驾驭的动态。递归式的自我改进可能会演变成一列失控的列车，最终毁灭人类。但在那之前，不妨看看它能发展得多么迅速。