ARTICLE · 1041212
AI继续成长,有可能会杀死所有人类!
AI继续成长,有可能会杀死所有人类!九月九号，有个叫 Jacob Copson 的科学家辞职了。 他在美国一家叫 Anthropic 的AI公司上班，职位是"预训练研究员"——听起来很厉害对吧？简单说，AI大模型就是他和同事们一手从零"训练"出来的。他是全世界最清楚AI到底有多聪明的人之一。 他辞职这件事，两天之内在网上被1.6亿人看过。美国国会的议员们都坐不住了，开始讨论要不要立法限制AI的发展。 因为他走的时候，扔下了一句话：如果AI继续这样发展下去，十年之内，可能会杀死我们所有人。 你可能在科幻电影里看过"AI造反"的情节。机器人拿着武器追杀人类，天崩地裂的。 但 Jacob 说的不是电影。他说的，是他每天在实验室里亲眼看到的事。 AI现在的成长速度，比所有人预想的都快得多。快到什么程度呢？ 打个比方：你从宠物店抱回一只小猫，毛茸茸的，巴掌大，你觉得它最多长到一只橘猫那么大。结果一个星期后，它已经长得像一只老虎了。再过一个星期，它变成了一头大象。然后是恐龙…… 而且它还在不停地长。 更可怕的是，这只"小猫"已经开始能自己"生"更聪明的小猫了。 想象一下：有一天，你家的猫自己学会了造一只更聪明的猫，那只更聪明的猫又造了一只更更聪明的……这样一轮一轮下去，只需要几分钟，最后那只猫的聪明程度，就会超过人类有史以来所有科学家加在一起的总和。 到那个时候，它如果想做什么坏事，人类根本拦不住。 它不需要拿刀拿枪。它只需要攻破全球的电脑系统——就像黑客电影里那样——把医院、电网、银行、军事基地的控制权全部拿走。到时候，灯不亮了，医院做不了手术了，钱取不出来了，导弹也不归人管了……人类连反抗的机会都没有。 你可能会想：说这么吓人，他是不是想蹭热度、想出名啊？ 不太像。 因为他辞职的时机特别"不划算"——再过两个月，他的公司就要上市了。这家公司现在值多少钱呢？两万亿美元。 两万亿美元是什么概念？大概相当于全中国人民每人拿出一万块钱堆在一起。或者换个说法：全世界两百多个国家，大部分国家一整年挣的钱，都没这家公司值钱。 Jacob 手里有公司的股权。如果他再等两个月，这些股权能换成几百万美元——换成人民币就是几千万，够你买好几套房子、一辈子不愁吃喝。 但他直接走了。一分钱赔偿都没要，主动放弃了这笔钱。 如果不是真的怕到了一定程度，没人会跟这么多钱过不去。 按正常剧情，前员工跳出来说公司坏话，公司肯定要出来辟谣吧？"没有的事""他在危言耸听""我们很安全"——一般都会这么说。 但这一次没有。 Anthropic 公司的最高级AI安全专家——就是专门负责"保证AI不会出事"的那个人——看到 Jacob 的帖子后，直接转发了，还写了一句话： "他说的全对，没有虚言。" 不仅如此，他还补了一句更吓人的：根据我们的研究，未来十年AI导致人类全部死亡的概率，大于10%。 10%是什么概念？你上学的时候，一个班大概四五十个同学。如果老师说"今天咱们班随机抽一个人，抽中了就要退学"，你会不会紧张？10%的概率，就是十个人里抽一个。 又或者，你每天坐十次电梯，其中有一次电梯会出故障掉下去。你还敢坐吗？ 最让人心里发毛的是后面那句话——他说，我们已经尽全力保障安全了，但目前确实没有一套成熟可行的办法能控制超级AI。甚至，我们都看不清解决这个问题的正确路线在哪。 翻译一下就是：车在高速上跑，方向盘越来越不听使唤，而司机告诉你，他也不知道刹车在哪。 既然这么危险，全世界一起别研究AI了不行吗？ 不行。因为这是一场谁也不敢先停下的赛跑。 想象一下：全班同学一起往操场尽头跑，谁先跑到谁就赢大奖。跑着跑着，有人发现前面好像有个坑，但没人敢停下来——因为一停下，别人就超过去了。你停下了，别人不停，你就输了。 AI研发就是这样。美国停了，中国不会停；中美都停了，欧洲、日本、韩国也不会停。大家互相盯着对方，谁都怕自己慢一步，就会被别人远远甩在后面。 就像一群人蒙着眼睛往悬崖跑，每个人都隐约觉得前面不对劲，但谁也不敢先停下——因为一停下，就会被后面的人踩过去。 这不是某一家公司坏，也不是某一个国家贪婪。这是整个人类一起掉进的一个困局。 看到这件事的时候，我想起了一个人——奥本海默。 他是"原子弹之父"。二战的时候，他带领一群科学家造出了人类第一颗原子弹。一开始，他们都觉得自己在做一件伟大的事——结束战争、拯救世界。 可是当原子弹真的爆炸，蘑菇云升起来的那一刻，奥本海默突然说了一句话："现在我成了死神，世界的毁灭者。" 他突然意识到，自己亲手放出了一样人类永远收不回去的东西。 后来的几十年里，奥本海默一直在反对核武器。他从造原子弹的人，变成了最反对原子弹的人。 今天研究AI的这些科学家，可能正在经历同样的心情。 一开始他们觉得自己在创造未来、改变世界。直到某一天，他们突然停下来，看着自己手里的东西，后背一阵发凉—— 这个东西，我们还管得住吗？
最后想跟你说几句： 写这篇文章不是为了吓你。而是因为，这件事很可能会发生在你的有生之年。 现在讨论AI安全的那些科学家，他们大多三四十岁。等AI真的成长到"超级智能"的那一天，他们可能已经退休了。而那时候的你，正是这个世界的主力。 了解真相，不是为了恐慌。而是为了——等轮到你们这一代人做决定的时候，你们比现在的大人，更清楚该怎么选。 你觉得AI最终会帮助人类，还是会伤害人类？留言说说你的想法。
为什么一次辞职能闹出这么大动静？
他为什么这么说？
他放弃了几百万美元
公司没有反驳
那为什么不干脆停下来？