AI 安全专家十年没存退休金：他认为 AI 不到十年有超过五成机率导致人类灭绝

为退休存钱，等于押注未来。但机器智能研究所（Machine Intelligence Research Institute，MIRI）主席 Nate Soares 并不确定，AI 会不会让人类活到那一天。

“我现在不存退休金。我有一个在 Google 工作时开的401(k)帐户，但已经十年没往里存钱了。”Soares 日前接受《大西洋月刊》首席执行官 Nicholas Thompson 的“The Most Interesting Thing in AI”系列访谈时表示。

Soares 的决定，反映出他对这场 AI 竞赛的悲观看法。“AI 教父”辛顿（Geoffrey Hinton）和 Anthropic 研究员 Evan Hubinger 分别估计，AI 在十年内导致全人类死亡的机率为10%和超过10%。Soares 则更加悲观：他向 Thompson 表示，他认为 AI 在不到十年内导致人类灭绝的机率超过50%。

Soares 也是《If Anyone Builds It, Everyone Dies》（谁造出来，所有人都得死）一书的合著者，从事 AI 对齐研究已逾12年——这个领域致力于确保强大的 AI 系统按人类意图行事。加入总部位于柏克莱、专注 AI 风险的非营利机构 MIRI 之前，他曾在 Google 和微软担任工程师。

Soares 表示，能力足够强的 AI 可能发展出与人类相冲突的目标，逃避监管、自我改进，并建造无需人类也能运转的自动化基础设施。他说，到了那一步，AI 可能会按自己的目标改造地球，甚至让地球不再适合人类居住。这也是他去年向 Business Insider 发出的警告。

AI 将如何塑造未来，也让马斯克质疑退休储蓄是否还有意义，但他描绘的未来与 Soares 截然不同。今年1月，这位特斯拉和 SpaceX 首席执行官表示，人们不必担心为10年或20年后的退休一点点攒钱，并预测 AI、机器人和能源领域的进步将让退休储蓄变得“无关紧要”。（个人理财专家和 AI 专家向 Business Insider 表示的看法则恰恰相反：退休金真的应该存。）

马斯克曾表示，生产力的飞跃可能带来一个富足时代，人人都能享有“全民高收入”、低廉的商品和服务，以及更好的医疗和教育。他也说过，在 AI 和机器人几乎在所有工作上都胜过人类的未来，金钱可能变得无关紧要。

对 Soares 来说，能力极强的 AI 却是关乎存亡的危险，而不是通往富足之路。

Soares 呼应了科技界领袖“放慢前沿发展步伐”的呼声，主张各国政府叫停通用型 AI 系统的训练，转而把技术开发集中在癌症研究、更安全的自动驾驶汽车等应用上。

他日前对 Thompson 表示，解决办法就是“不要造出那个会杀死所有人的东西”。

“我尽我所能阻止这样的结局发生。”他说，“我不认为这是不可避免的。”