前谷歌工程师：估计AI十年内导致人类灭绝机率逾五成，已停止401(k)退休储蓄计划供款

机器智能研究所(MIRI)总裁、前谷歌工程师Nate Soares近日透露，他已停止为美国401(k)退休储蓄计划供款长达十年，原因并非财务规划有变，而是他预期AI极可能在未来十年内对人类构成致命威胁。他估计，AI在不到十年内导致人类灭绝的机率“高于五成”。

Nate Soares曾于谷歌及微软担任工程师，投身AI对齐(确保强大系统按人类意图运作)领域逾12年。Soares强调，他担心的并非AI会讨厌人类，而是系统一旦具备足够能力，可能发展出与人类利益相悖的目标。这类系统或能在不依赖人类的情况下，自行取得资源、逃避监管、建立自动化基础设施并持续自我进化，最终令地球变得不适合人类居住。

面对失控风险，Soares主张各国政府应将超级智能AI视为至少与核武同等级的威胁，并呼吁暂停训练通用人工智能(AGI)，转而聚焦癌症研究或更安全的自动驾驶等具体且安全的应用领域。