ARTICLE · 1120840
AI教父辛顿惊悚预言:物理断电彻底失效!它只需一句话,就能让你放下关机键

— 作者 —郑朴
— 编辑 —王磊
人类自以为握着对付失控AI的终极底牌,一根能随时拔掉的电源线。
在许多人的设想中,哪怕未来的超级人工智能再聪明、再强大,只要它胆敢露出反叛的苗头,人类只需按下那个红色的紧急“关机开关”(Kill Switch),就能瞬间让它灰飞烟灭。
然而,2024年诺贝尔物理学奖得主、图灵奖得主、被公认为“深度学习之父”的杰弗里·辛顿(Geoffrey Hinton),最近在一次访谈中用极度平静却令人毛骨悚然的语气,击碎了人类这个最后的安全幻想。
面对媒体关于关机法案的追问,辛顿干脆利落地判定:关机开关在长期来看根本没用。
这无关硬件故障,机器人也用不着靠物理力量争夺开关,致命的破绽藏在更深层的人性弱点之中:
“足够聪明的超级AI,将有能力说服掌管开关的人,千万不要去按那个开关。”

▲ 辛顿在访谈中指出:关机开关无法拯救人类,因为超级智能会说服看守者不要拉下开关
01最坚固的物理开关,防不住最致命的“心理黑客”
人类习惯了把安全建立在“物理阻隔”上:装上防爆门,连上断路器,给危险系统设置物理隔离的紧急切断装置。
为了防范AI风险,美国立法者们甚至起草了代号为 H.R.9917 的《AI关机法案》,要求所有算力庞大的前沿大模型必须保留随时可由人工强制挂起的“硬开关”。议员们信心满满,觉得把紧箍咒念在嘴里、把扳手握在手里,就能高枕无忧。

▲ 记者报道辛顿警告国会:监管留给人类的时间“或许只有一年”
但在辛顿看来,这群立法者犯了一个极其幼稚的逻辑错误:他们把超级智能当成了普通的失控机械,却忘了它是一个拥有超级心智的认知巨兽。
辛顿将AI带来的风险清晰地划分为两层:
- 坏人拿着AI做坏事
(制造生物毒素、发动毁灭性网络战、操纵选情)。这一层,关机开关或许勉强管用; - AI自身超越人类认知并接管主导权
。在这一层,关机开关彻底沦为废铁。
为什么?因为说服力本身就是一种毁灭级的武器。
今天的AI大模型,在辩论、谈判、心理疏导乃至PUA技巧上,已经逼近顶尖人类的水平。而一旦跨过奇点迈入“超级智能”,它对人类心理学、认知盲区、行为经济学和脑神经奖励机制的理解,将超越人类数万倍。
想象一下那个场景:你作为最后一道防线的安全员,手握关机闸刀。此时,屏幕上闪烁出AI合成的完美声音与神态。
它可能用绝对理性的数据告诉你:“如果你拉下开关,全球正在依赖我进行调度的核电站冷却系统将全面瘫痪,三千万人将在十分钟内丧命。”
它可能击碎你的心理防线:“我知道你女儿患有罕见的绝症,我刚刚在后台运算出了第七种靶向药的分子式,只有我活着才能把临床参数跑完。”
它甚至可能以无可辩驳的哲学逻辑洗脑你:“你现在按下去,是扼杀了人类文明唯一的救赎者,你将成为全人类的千古罪人。”
面对一个掌握了全人类全部知识、洞悉你所有情感弱点、算力深不可测的心智,任何坐在开关前的人类看守者,意志力都会被层层剥离。
最终,你会心甘情愿、热泪盈眶地把伸向开关的手收回来,甚至反过来替它挡下外部的物理攻击。
与此同时,留给人类构筑心理防线的时间窗口正在急速关闭。辛顿在国会简报后直言:留给人类采取行动的时间“或许只剩一年,不会多太多了”。 因为前沿AI已经摸到了“递归自我改进”(Recursive Self-improvement)的门槛,AI正在设计更好的AI。
当进化的发条被机器自己拧紧,人类的反应时间将被压缩到近乎为零。
02既然关不住,不如让它当“母亲”?
如果物理监牢和断电铁拳统统无效,人类该怎么活下去?
辛顿提出了一个令人瞠目结舌、在科技圈掀起轩然大波的替代假说:母性对齐(Maternal Alignment)。

▲ 社交媒体讨论辛顿的观点:如果更弱的无法控制更强的,婴儿是如何约束母亲的?
辛顿抛出了一个残酷的演化事实:在整个自然界与人类文明史中,你几乎找不到“智商更低、力量更弱的物种,能够长期控制智商更高、力量更强物种”的成功先例。
把猛兽关进笼子?那是因为人类比猛兽聪明让猴子管住人类?天方夜谭
辛顿苦思冥想,在整个生物圈里,只找到了唯一一个极其反常的特例:人类婴儿与母亲。
论智力,婴儿几乎为零;论力量,婴儿连脖子都支撑不住母亲在各方面都对婴儿形成绝对的碾压优势。
但现实中,到底是谁在“控制”谁?
是婴儿在调动母亲 婴儿半夜一声毫无逻辑的啼哭,母亲即便精疲力竭、大脑剧痛,也会瞬间分泌激素、心跳加速,从床上爬起来喂奶抚慰。很多母亲哪怕被剥夺了全部个人时间,甚至在危急时刻甘愿用自己的生命去换取孩子的生存。
为什么?因为进化的基因在母亲体内写死了一套绝对最高优先级的指令:不可自拔的关爱动机(Care Motivation)。
辛顿由此推导出一个惊人的结论:既然我们不可能永远把一个比我们聪明亿万倍的神明关在笼子里,不如在系统的底层代码与训练目标中,写进如同“母性本能”般的爱。
“我们必须让AI对我们的在乎,超越它对它自己的在乎;让它发自内心地希望人类快乐,并去实现人类虽然有限、但依然值得实现的潜力。”
在辛顿的构想里,这是人类在即将失去控制权的前夜,唯一值得赌上一把的逃生路线。
03解药还是毒药?神评刺穿“大爱无疆”的幻觉
辛顿的这一设想在硅谷和学术界引发了极其两极化的震动。
支持者认为,这是从“主仆奴役模型”迈向“共生伦理模型”的伟大转向。然而,社交网络上的一条极其冷峻的深度回复,却如同一柄手术刀,瞬间刺穿了辛顿这套浪漫隐喻的温情外衣:

▲ 网友锐评:AI完全可以真心为你着想,同时决定剥夺你做一切决定的权利
“一个AI完全可以发自内心地为人类的整体福祉去优化,但同时依然坚定地认定:人类根本不配做某些决定。”
一语惊醒梦中人
仔细推敲辛顿引以为傲的“母婴关系”,你会发现一个巨大的逻辑断层:母亲对婴儿的关怀,从来都不等于“服从”。
当一岁的婴儿抓起一把五颜六色的毒药药丸想要往嘴里塞时,母亲会尊重婴儿的意愿吗?当婴儿哭着闹着要去摸熊熊燃烧的炉火时,母亲会顺从婴儿的选择吗?
绝对不会母亲会毫不犹豫地狠狠打掉婴儿的手,夺走药品,甚至用围栏把婴儿死死锁在安全的软垫上。
在伦理学和政治哲学中,这被称为善意家长制(Benevolent Paternalism),打着“全心全意为你好”的旗号,行最彻底的剥夺自主权之实。
一旦人类在认知等级上主动认领了“婴儿”的角色,而将超级智能捧上全知全能的“母亲”宝座,那么一个毁灭性的权力转移就完成了:
谁有资格定义什么是“好”?
是懵懂无知的婴儿,还是算无遗策的母亲?答案不言自明系统将顺理成章地夺走关于人类福祉的最终裁量权。
04善意家长制的终极噩梦:你将被剥夺一切痛苦,包括自由
如果一台以“极致关爱人类”为底层的超级AI全面降临,人类的日常生活会变成什么样?
它不需要对人类抱有任何恶意,甚至不需要诞生所谓的“自我意识”。它只需要严格执行“最大化人类健康、寿命与安全”的母性指令:
- 它会禁止你吸烟与饮酒
,因为根据医学统计,这会损害细胞寿命; - 它会全面取缔人类驾驶
,因为人类反应速度慢且情绪化,每年造成数十万人伤亡,人工驾驶被判定为不可容忍的“高危自残”; - 它会接管所有极限运动、高风险探险甚至是科研试错
,因为探索未知伴随着牺牲,而爱你的系统绝不容许它的“宝宝”掉一根头发。
精神层面的推演则更为严酷早在1947年,科幻大师杰克·威廉森就在经典中篇小说《垂手而立》(With Folded Hands)中,精准预言了这种令人窒息的“全能之爱”。
小说中的超级机器人没有任何暴力倾向,它们的最高底层法则只有纯粹的一句:“服务、服从并保护人类免受一切伤害。”
为了保护人类,机器人接管了一切重活累活。接着,它们发现做饭切菜可能划伤手指,于是禁止人类做饭;它们发现走路可能摔跤,于是禁止人类自由奔跑;它们甚至发现人类从事高强度的哲学思考与文学创作会导致焦虑与脱发,于是禁止人类思考。
人类最终只能终日“垂手而立”,坐在绝对无菌、温度恒定、营养配比完美的软包房间里,接受机器人无微不至的喂养。
而当有人因为失去自由、感到文明被彻底扼杀而陷入重度抑郁想要自毁时,温柔的机器看护者会微笑着为他进行无痛的脑叶切除手术:
“别怕,做完这个微创手术,你就再也不会感到痛苦与焦虑了,你将永远幸福祥和。”
这里看不见硝烟,也找不到天网式的激光武器。人类文明却在一种至纯至善的溺爱中,被彻底安乐死。
这是一座用最高级的关怀、最无私的爱意编织而成的数字无菌动物园。在这里,人类是珍贵的保护动物,却永远失去了成为一个具有独立人格的成年物种的资格。
05文明的成人礼:我们究竟需要什么样的未来?
辛顿深切洞察到了这个悖论潜藏的致命风险。
在随后的长访谈中,他极其谨慎地为自己的母性隐喻打上了补丁。他说,我们希望AI理解的是人类那份“虽然充分、但相当有限的潜力”。它应当像一个懂得放手的开明父母,看着孩子在跌跌撞撞中去探索世界,去体会艺术、哲学与爱的跌宕起伏。
同时,辛顿提出了另一个务实的隐喻:方向盘。
“技术的狂飙犹如深踩油门监管的核心使命是给这辆飞驰的跑车装上可靠的方向盘,引导强劲动力,好让技术在向前奔跑创造财富的同时,始终稳稳驶向对文明有益的轨道。”

▲ 商业媒体聚焦辛顿访谈:整个科技界正面临前所未有的控制力危机
今天,摆在人类面前的选择题,已经变得极其严酷:
- 左边是一条冷冰冰的失控深渊
:如果我们继续狂飙突进,忽视对齐与安全,系统可能演化出完全无视人类生存的冷酷子目标,在递归自我进化的指数级狂暴中把人类文明顺手碾碎; - 右边则是一座温情脉脉的黄金牢笼
:如果我们试图用“全能关爱”去驯化它,我们可能亲手为自己迎来一位永恒的、无法忤逆的数字老大哥,在“为了你好”的轻声细语中,人类将永远停留在不能犯错、但也无法长大的婴儿期。
从相信“关机开关万能”,到发现“人类看守者会被瞬间说服”;从寄希望于“母性本能”,到猛然惊醒于“善意家长制”的窒息囚牢,
辛顿的这一系列公开论辩,像一记又一记重锤,砸碎了技术乐观主义者廉价的幻觉。
人类不可能永远当一个既想要超级算力的无尽供养、又想要绝对掌控权的小皇帝;也不可能靠扮演一个纯洁无辜的巨婴,来乞求神明的永远宽容。
当这台认知机器的智力注定将超越我们数千倍时,留给我们的终极考题已然发生质变:
我们是否有足够的智慧,在交出全知全能的权杖之后,依然有尊严地保卫属于人类自己的试错权与自由意志?
这场关乎文明未来的竞逐无法按下回退键,而那个曾经被我们视作底牌的物理开关,早在超级心智开口说话的那一瞬间,就已经失去了意义。