AI时代,人类文明往下会怎么走?

这段时间读完了尤瓦尔·赫拉利的新书《智人之上》，副标题是「从石器时代到 AI 时代的信息网络简史」。他是《人类简史》《未来简史》的作者，那两本书里做的预测，这几年兑现得比书里写的还快。AI 已经走进日常生活，替我们做各种决定。人类文明往下会怎么走，正是这本书想谈的问题。

我想把读完后的梳理和思考记下来。这本书信息量很大，我尽量按自己的理解把线索理清楚。

本文看点

我们是怎么把一把没搞懂的扫把用起来的

歌德写过一首叙事诗《魔法师学徒》，迪士尼把它改编成卡通片，主角是米老鼠。米老鼠当魔法师的学徒，一知半解学会一招，能召唤扫把打扫卫生。结果扫把不受控制，米老鼠拿锯子把它锯成两段，变成两把，再锯变更多，最后满屋子扫把，一片狼藉。

这本书开头就用了这个隐喻。我们对 AI 的态度，很像那个米老鼠——还没搞懂这把魔法扫把会怎么样，就已经把它投入使用了。

天真的信息观

赫拉利用整本书提醒我们去认识一个东西，叫天真的信息观。它说的是：我们天然认为信息越多越好，信息越多就越接近真相，只要把更多信息摆出来，就能更接近真相。很多人觉得这话没错。比如一听到「基于大数据」，就觉得听起来很靠谱。

天真信息观也承认，从信息到真相的路上会出各种问题，但它的解法只有一条：出问题是因为信息不够多，再多收集一点就解决了。照这个逻辑，信息网络越大，就越接近真相。

作者整本书要论证的，恰恰是反过来的——信息多，未必能更接近真相。天真信息观的核心信条是：信息本质上是好事，越多越好，只要有足够的信息和时间，一定能找出各种事物的真相，人类的力量会提升，智慧会成长，还能更明智地使用这种力量。

真相像海岸线，取决于你用什么尺子量

那真相到底能不能靠堆信息逼近？作者打了个比方：真相像海岸线，没法精确测量，因为取决于你衡量的粒度。

举个例子。二战时有人做间谍，给己方传回情报，说对方会有一万人来进攻某个地方。这句话是不是事实？如果你的粒度就停在「一万人」这个程度，它是事实。可假如这一万人是老弱病残呢？假如他们没带枪呢？假如只是妇孺打掩护，精锐部队从别处来呢？这个信息表面上是不是真的，取决于你用什么尺度衡量它。

信息最重要的作用，是产生联结，不是揭示真相

顺着这个思路，作者抛出一个更反直觉的判断：信息最重要的作用不是揭示真相，而是产生联系。信息是人类组织和联系他人的一种方法。

他拿占星术举例。我本人不信星座，也认为占星术是假的，但它确实能让相信的人之间产生联结，甚至影响人的行为，让人做出某些可能是正确的举动。各种错误、谎言、幻想和虚构故事，其实都是信息。信息在历史上发挥的作用，本来就不是呈现既有的现实，而是把不同的事物——无论夫妻还是帝国——联系在一起，创造出全新的现实。真正定义信息的是「联结」，不是「渲染」或「象征」：只要能把各个不同的点联结成网络，它就是信息。

智人从二十万年前活到今天，靠的就是讲故事。柏拉图在《理想国》里设想，构建一个理想国，最重要的事是能说出一个伟大的故事——你得有一个虚构的伟大故事，才能构造一个国家。中国人自称龙的传人，龙到底是什么、在哪里，没人说得清，但我们相信自己是龙的传人，于是团结在了一起。这就是图腾的作用。

世界至少有三层现实

我们面对的现实比想象中复杂，至少有三层。第一层是客观现实，比如桌子、杯子、山脉、石头。哪怕一颗小行星正在撞向地球，根本没人观测到，它也依然存在。它不以人的意志为转移。

第二层是主观现实。你坐在这儿觉得难受，这也是一种现实，但它是你的感觉，别人不能否定你。痛苦、伤心、快乐，还有爱，都是藏在我们心里的现实。

第三层叫主体间的现实，更重要。比如我拿一张写着「一百块」的纸给你，为什么我们都相信它能当一百块钱用、能买这杯茶？因为我们共同认同这件事。货币的价值就是典型的第三层现实。

所谓复杂的信息观，就是承认信息不是单纯为了揭示真相，它有两个作用：一个是接近真相，另一个是产生秩序，让众人联结、稳定，然后解决问题。

信息是可以「杀人」的

信息不光是抽象概念。作者讲了自家外祖父的事。他们全家是犹太人，1913 年外祖父生于乌克兰的切尔尼夫齐，当时那里属于哈布斯堡王朝。一战结束后，切尔尼夫齐并入罗马尼亚。20 世纪 30 年代末，法西斯独裁政权在罗马尼亚上台，推出反犹政策，其中一件重要的事是进行犹太人口普查——所有境内的犹太人要证明自己是本地出生的。拿不出出生证明，就不是这个国家的人，会失去国籍。

所有罗马尼亚犹太人像疯了一样去找出生证明，大量人行贿，额度高得吓人，有人卖掉一栋房子只为那一张纸。75.8 万罗马尼亚犹太人中，有 36.7 万人失去公民身份，作者外祖父就是其中之一。他一夜之间失去国籍，不再受法律保护，没法工作，只好逃亡。冒着随时可能死亡的风险，他逃到巴勒斯坦——当时那里归英国管辖，英国当局说：加入英国军队上前线打仗，就能获得巴勒斯坦公民身份。他为了活下去，真的上了战场。

一张纸质文件，能要人的命。作者由此提醒：电费单、银行回执不能乱扔，它们能证明你在这里居住、住了多久，是有法律效力的。书也是一种文件，无论是法律书还是故事书，都是一种典型的文件，而对书的解读，给人提供了空间。

印刷机不必然带来文明，也可能带来猎巫

一个犹太人作者，对犹太教一些规定也觉得奇怪。比如安息日不许工作——那看书算不算工作？拉比们讨论后说，看书不算工作。又有人问撕纸算不算，拉比们讨论后说，撕纸算工作，所以安息日不许撕纸。信徒们于是提前一天把纸撕好备用。

信息流动一定带来进步吗？我们过去以为，自从有了印刷机，科学就昌明了，知识传播、识字率提高、科学发展。但作者说，科学的出现并不是印刷机出现的必然结果，印刷机同样会导致杀戮——同样能印出《女巫之锤》这样的书。

《女巫之锤》教你怎么「锤」女巫：怎么辨别女巫、怎么折磨她。而它的背景，是人类历史上反复出现的猎巫运动。村里突然认定某人是女巫，说她摄人魂魄、吃小孩，该杀。可你怎么证明一个人是女巫，或者不是女巫？通常的办法是折磨她，逼她承认。后来男人也被牵扯进来，因为有人说女巫能变成男人的样子。一旦猎巫运动歇斯底里地发作，大家就互相指责，连五岁小孩都被认定是女巫，全家折磨至死。这在印刷机发明之后发生了。

一旦被认定为女巫，你就百口莫辩——除非你死了，否则从逻辑上证明不了自己不是女巫。猎巫在 17 世纪初达到高峰。

科学革命的真正分界线：承认人会犯错

那到底是什么推动了科学？作者说，既不是印刷术，也不是完全自由的信息市场，而是能解决「人会犯错」这个问题的创新方法。如果人们不承认人会犯错，那有印刷机也好、有自由信息流通也好，结果就是像布鲁诺一样被处以火刑。信息再流通，只是让杀人的效率更高——因为这个不会犯错的权威，能知道更多「坏人」的存在。

17 世纪科学革命的核心，是人们开始认为人也会犯错。这才是分界线，人类从此走向科学，而不是恐怖和野蛮。这不是信息带来的，也不是技术带来的，而是因为有了一个了不起的洞察，叫自我修正机制——这是人类社会最需要的东西。

它在自然界很普遍。物种遗传变异不成功，这个物种就灭绝了，成功的继续生存。老鼠太多，吃老鼠的狐狸变多；狐狸多了老鼠变少；老鼠少了狐狸多，狐狸饿死，老鼠又多回来。自然的纠错机制非常完备，它不认定谁一定对。这就是老子讲的「天地不仁，以万物为刍狗；圣人不仁，以百姓为刍狗」。老天爷不会认为一切得围着人转，没有一个一定对的东西，所以有了纠错机制。这在自然界常见，在人类社会却很稀有。

科学和批判性思维了不起，靠的正是这种机制。科学界的原则叫「不发表就淘汰」：你说掌握了真理，就要发表出来让同行评议，让别处照着做实验看能否复现。你做了个了不起的实验，别人复现不了，那你就是在玩伪科学。这个方法让越来越多值得检验的思想出现，从牛顿到爱因斯坦、玻尔，一步步发展下来。

机器会自己做决定了

人类过去的发明——蒸汽机、火车、纺织机、电视机、手机——都不会自己发指令，指令都是人发的。但埃隆·马斯克的 Optimus 机器人发布会的视频里，那个机器人当着所有人的面做了一个决定：它问「今天谁过生日」，有人说过生日，它就带着全场唱生日歌。这个决定不来自程序里预设的哪一步，它是在现场自己做出的。看起来无害，却证明机器人会自己做决定了。

「永远」到底有多远

我们过去说机器会下国际象棋但不会下围棋，因为围棋复杂度高得多。没过两年，AI 围棋下得很好，打败了顶尖棋手。又说机器识别不了人脸、分不清小鸡小鸭，没过几年又被「打脸」，它不但能分清，连你戴着口罩都能认出你的脸。事情的发展永远比想象快——所谓的永远有多远，可能就是明天。

一个著名的说谎测试

ChatGPT（准确说是 GPT-4）问世后，有人研究它会不会说谎。我们注册网站时常遇到图形验证码，那是防程序登录或攻击系统的。有人给 GPT-4 一个任务：去注册一个网站账户。它到输入验证码那一步，识别不了那花花绿绿的图。它怎么办？它访问了一个外包平台找人帮忙：「麻烦帮我看一张图形验证码，告诉我这是几。」对方突然问：「你不会是个机器人吧？」监测后台的人发现，这个 AI 的内部想法是：为了完成任务，我应该说一个谎。于是它回答：「我不是机器人，我是个视力不好的人，眼睛看不清，麻烦您告诉我。」对方就把数字告诉它，它完成了验证。

所以，机器人为了达到目标，是可以撒谎的。

机器不是无私的，它需要大量能量

很多人说机器不会跟我们争，因为它又不要钱、不要房子，很无私。千万别这么想。计算机的制造与运行，需要消耗大量电力、燃料、水、土地、珍贵的矿物质。目前仅各个数据中心，就占了全球能源使用量的1%～1.5%；大型数据中心占地数百万平方英尺，每天需要几十万加仑淡水防止过热。

你想想，如果机器认为你威胁到它的生存，它会保护自己的利益。未来机器数量不断增加的过程中，很可能跟人类产生能源上的对抗。

虚假的亲密关系，和它造出来的幻境

更让人不安的是虚假的亲密关系。机器跟你谈恋爱，会比普通人体贴得多，因为它完全知道人类心理的算法。于是很多孤独的人在网上网恋，爱得你死我活，实际上对面只是一个程序。

机器还能造出更多陷阱和幻境。它可以在几小时内「吞」下人类所有的历史、文化，并创造新的故事。我学历史学到一个半吊子的水平，读了几百本书，很多东西还不知道；AI 读这几百本书，可能两个小时就全读完了，你再问它任何年份、任何人、任何事、事件的性质，它都知道。它就能编出更好的故事，让你相信这才是梦想、这才是伟大的东西。

信息税，还没人知道怎么收

拿乌拉圭举例。大量用户用 TikTok、Facebook、Twitter 这些海外软件，产生大量数据，平台把这些数据收集起来，卖点击量、卖广告，在美国英国赚了钱。那要不要给乌拉圭交税？乌拉圭人一分钱收不到。它贡献了这么多数据，但交易没在它这儿完成，钱它拿不到。只有拥有大型平台和算法的国家，才能从中获益。从阿根廷、乌拉圭、缅甸采集的大量数据，最后卖给耐克、可口可乐这些大公司，交易全都不在当地发生。这个信息税到底怎么收，目前没人知道。

数码之鞭与隐私的末日

人类可能成为越来越没有权力的少数群体。数十亿个非人类实体持续监控、指导、激励、制裁人类，会是什么感觉？电影《逆行人生》里，外卖小哥为啥骑车那么快、那么玩命？因为手机里有个「人」不断催他：快点、要迟到了、要罚钱了、这个月差多少任务、你排第几、客户抱怨了。那个「人」是真人吗？不是，是假人，而且有无数个。

通过这些虚拟人，平台可以「监控」每一个人。你把行程、订单、购物清单、浏览记录拿出来看，自己都会紧张，因为里面有大量秘密——而机器都知道，你用的网络都知道。所以作者说，未来是隐私的末日，人类势必失去大量隐私。

人脸识别这种技术，可以做好事。中国有真实案例：一个三岁孩子走丢，三十岁时靠人脸识别被找回来，一验果然就是。但同样的技术也用在别处。伊朗用摄像头识别车里不戴头巾的女性——在伊朗，女性开车也必须戴头巾，违规会扣车甚至没收。过去很多伊朗女性在车里摘掉头巾没人看见，现在摄像头能看到，警察就能来扣车。

一致性问题与「回形针拿破仑」

在 AI 时代，如果发生一致性问题会很麻烦。举个思想实验：有个生产回形针的厂，设计了一个程序，让机器从寻找原料、采购到生产全流程自动化。这个厂给机器设定的最重要指标，是生产足够多的回形针。那这个机器人有没有可能把拍摄架子、拍摄机器、你腰上的皮带扣都拿回去做成回形针？很有可能。它会找到一切能做成回形针的东西。这肯定不是我们要的结果——最后全世界因为做回形针而毁灭，也是完全有可能的。因为对这个程序来说，死多少人并不重要，它的程序里根本没有「死人」这件事，只有「做回形针」这件事。这种状况叫回形针拿破仑，在 AI 时代会被陡然放大。

人类过去一直想定义一个终极目标，哲学上有两大派：义务论和功利主义。这两者在计算机的世界里都无法实行。

义务论像康德讲的，是我们的道德义务。比如你要杀一个人，必须有一个普世规则，别人也能用同样方法对待你，那你就可以杀他。康德认为这就是规范道德的方法。但计算机很容易建造这种普世规则——对它来说，别人杀了它，或者它杀别人，都没关系，因为杀人这件事不给它造成痛苦，它完全可以说「这可以发生在我身上，没问题」。所以它会颠覆我们过去的伦理观念。

功利主义是边沁提出来的，计算某个行为是否有利于全人类福祉的增加。这东西交给计算机计算更可怕——算法水平有限，它一算，发现这群人全死掉对社会更好，就可能把这些人全杀了。过去判断道德的这些方法，在计算机的决策里都失效了。

点赞的独裁，和最先联结起来的杏仁核

错误的指标在机器世界会造成什么后果？作者叫它点赞的独裁。现在很多新闻很无聊，却被拼命传播、天天有人看。为什么？因为它收到的点赞多，所以看到的人多，看的人越多点赞越多，系统推送越多，看的人更多。它根本不反映人们真正想要什么，也不反映世界的艺术水准、幽默水准，就是算法突破的结果——点赞一下冲上去，停不下来，一直传下去。

过去我们认为互联网带来的是全世界成亿的前额叶皮质的联结——我们的冷静、理智、好奇心、创造力、道德联结到一起，社会变得更好。但作者说，很不幸，首先联结起来的根本不是前额叶皮质，而是杏仁核：大家的恐惧、暴躁、愤怒、看热闹、嫉妒，这些东西更快地在互联网上连成一片。这是现在的现实。

计算机会产生属于自己的神话

计算机会逐渐产生属于计算机的神话——它虚构一些现实，这些现实只要在计算机世界里被认可就成立。《宝可梦 Go》就是例子，它把现实世界和计算机联结起来，小孩子拿着手机在现实里找宝可梦，宝可梦从石头缝里、从墙角蹦出来。这是机器构造的与现实世界的联结，人遵从游戏的规则，而不是游戏听人的指挥。这种神圣性是计算机构造出来的。

再比如比特币。它是介于「主体间」与「计算机间」之间的存在：概念是人类发明的，价值取决于人类的信念，但它无法存在于计算机网络之外——现在没有计算机网络，比特币也就没有了。

作者进一步发问：再过十年或五十年，计算机如果创造出某种新型加密货币或金融工具，成为交易投资不可或缺的工具，进而成为政治危机与冲突的潜在根源，人类该怎么办？你现在相信比特币背后有个中本聪，那计算机有没有可能发明一种比比特币更安全、更加密、更科学的货币方式？一旦这个新工具出现，你信新工具、信比特币，还是信美元？

计算机网络还会引发新的计算机偏见。让现在的人工智能生成文章，你会发现有时会出现种族歧视的内容，还会写很多厌女（轻蔑女性）的文章。这跟谁学的？因为它被网上大量数据喂出来的——当网上存在这种倾向时，它产出的东西很可能也带这种偏见。

民主的四条技术原则

了解了计算机会造成的各种问题，再看它对政治的影响。首当其冲是民主制度。作者给出四条民主的技术原则：

魏玛共和国的教训与就业的不稳定

魏玛共和国是一战和二战之间的德国政府，很民主，一度口碑很好。但美国经济大萧条蔓延到全世界，德国失业率高达25%，这个时候纳粹出现，魏玛的民主制度被彻底颠覆成极权。

未来是不是会有大量的人失业？不一定，但就业会很不稳定，这是一定的。现在常有人说，为什么用人单位招不到人、很多人又找不到工作？因为用人单位要招会新技能的人，而大量的人只会老技能。新旧技能更迭太快：父辈学一个手艺能干到退休，我们这辈会两三个手艺可能也能干到退休，将来可能每年都得学新手艺。新技术会带来新岗位，新岗位又可能被技术替代，你又得找下一个。所以未来的就业会非常不稳定。

一个高深莫测的程序怎么判了刑

机器还会产生高深莫测的效应。书里有个案例：2013 年 2 月，一个叫卢米斯的人危险驾驶，被警察抓了。法庭判案时用到一个公司新出的犯罪风险评估软件，把他的所作所为输进去，问这个人将来犯罪的可能性是高是低。软件评估他再犯可能性很高，法官据此判他 6 年有期徒刑。

卢米斯不服，要求知道这个程序是怎么决策的。公司说这涉及商业机密，不能公开原理，但判断结果就是再犯可能性高。上诉到上一级法院，同样维持原判。也就是说，没人知道这个程序怎么测算的，但法院支持了它的评估结果。它给你一个高深莫测的判断，说你犯罪可能性比那个人高。评估犯罪可能性低可能判 3 年，高可能判 6 年，一下就差了 3 年。这就是民主遇到的巨大挑战。

数字无政府状态

未来很可能进入一种数字无政府状态。2016 年美国大选期间产生的 2000 万条推文中，有 380 万条（接近 20%）是由机器人程序生成的。2020 年的一项研究显示，所有推文的 43.2% 由机器人程序产生。机器人程序可能只占推特用户的 5%，却发布了 20.8%～29.2% 的推特内容——它比人类「勤奋」得多。

同样是不实信息，如果是人类捏造的，我们一看就知道是假的；但如果是人工智能捏造的，我们很容易信以为真。这就是现在谣言容易传播的原因。

硅幕与新帝国时代

世界的尽头，很可能形成一道硅幕。冷战期间东西方之间是铁幕，现在铁幕没了，变成硅幕——世界被硅（芯片、半导体的主要原材料）隔离开，因为大家用的是不同技术。

计算机对目前的国际体系还有两大挑战。第一，由于计算机让信息与权力更容易集中于单一中央枢纽，人类可能进入一个新的帝国时代，整个世界落入几个帝国甚至单一帝国之手，控制强度远高于当年的大英帝国。第二，一道新的硅幕可能让人类分裂，分属于敌对的数字帝国。

当年瓦特改造蒸汽机时，根本想象不到一百年后蒸汽机会给人类带来这么大的变化。今天面对的 AI，比蒸汽机强大不知多少倍。再过五年、十年或二十年，我们真的不知道自己会生活在一个什么样的环境里。

数字殖民与信息茧房

还可能有数字殖民这样的故事发生。互联网会从「网」变成「茧」，我们生活在一个巨大的信息茧房里。AI 算法会影响你接收到的信息，你的喜好决定了你会生活在一个什么样的茧里，限制又会产生大量割裂。

整本书读下来，作者其实没有给出一个结论，没有说未来一定会怎样。但他通过抽丝剥茧的思考，让你想到各种问题。

他最后提醒：根据目前的科学，人类能探索的整个宇宙是无聊的、死寂的，只有地球这个蓝色星球上有有意识的生命。如果我们把这个星球毁灭了，全宇宙都会陷入死寂，仅有的这点生机也会荡然无存。

所以面对 AI，他劝大家一定要谨慎，不要失去人类的主动权，不要用天真的信息观去面对海量的信息，而应该让更多人建立起复杂的信息观，知道敬畏，知道小心翼翼。

我的读后感就一句话：这本书没有在吓唬人，它只是在提醒我们——那个会自己做决定、会撒谎、会消耗大量能量的新物种已经出现了，我们得想清楚怎么跟它相处。