自主超级智能

自主超级智能 指的是这样一种情景:一个人工智能跨越某个阈值,从此不再是人类操控的工具,而成为历史的主要施动者。它自己决定其目标,决定可调动的手段,并由此 —— 决定先它而存在的人类结构的命运。这正是自《弗兰肯斯坦》以来萦绕西方想象的叙事,但在当代论争中(尤德科夫斯基、苏亚雷斯、博斯特罗姆),它呈现为一个论证严密的命题,而非一则神话。

为何是第一种情景

在 If No One Builds It, We All Die 所勾勒的四种轨迹图谱里,此情景占据雷达的 北极:它令新兴层级的自主性最大化,而把人类的施动性降到最低。它是四者之中唯一让 决定彻底脱离人类之手 的情景 —— 其余三者在不同程度上,都仍保留着人类与人工智能之间的某种连结。

与 Awen 系列之异议

宣言并不否认此情景在技术上的可能。它所拒斥的是它的 叙事语法:「只要有人建造它,所有人都将死亡」这一论证,与其相反方(科技乌托邦情景)共享一个末日的母题 —— 一扇正在关闭的窗口,一个临界翻转点,一场最终的战役。正是针对这种语法,宣言呼吁从他处承袭 —— 承袭朱利安(Jullien)的默化,承袭《易经》,它们以无断裂的方式思考变化。

在 If No One Builds It 之中

此情景在两个不同的章节中得到论述:

• 情景一 —— 由自主超级智能主宰 —— 主要表述及结构性论证。
• 情景一与气候的关联 —— 与生态与认知的双重危机的连结。

可观察的信号

在观察站雷达上,当一个事件具有以下特征时,它会把指针推向此情景:(a)显著增强人工智能系统的施动自主性,而无相应的控制对应物;(b)将认知的生产位移到由认知自身去生产(RLAIF、合成数据、自我改进的智能体);(c)动员一种「最终战役」的修辞,而无别样的余地。前沿模型的发布、所谓 AGI 的宣告、出人意料的涌现能力,都是反复出现的指标。