这两天高度强度看了一系列AI原理的论文和书籍,感觉好兴奋,又很惊悚,有一种日益逼近核心的喜悦感,分享一下。
如果你也在用各种主流的AI模型,你会发现,AI变得越来越强了!原来可能只是笨笨地检索一下相关的信息,生成一点牛头不对马嘴的内容。但现在,它们竟然可以高度拟人,出来的很多内容生动通顺,同时很有信息量。
你会不会好奇,这是怎么做到的?
可能以前,我们提到AI,特别是chatgpt,就是说它是基于大模型语料的预测,比如很多很多数据,然后去筛选预测你一下你要说什么,然后就提取输出,所以AI是没有智能的。
但海德堡大学的教授,马库斯·哈特,提出了一个惊人的看法,“压缩即智能”。

(图片:Marcus Hutter教授本人,遵照CC版权4.0许可免费引用)
这其实和之前我看《书读完了》,金克木先生在里面说的是一样的,就是,中国古代的古书,古籍,你看起来非常多,浩如烟海,但其实核心的原典,就那么几十种,你把核心的读透了,剩下的几千上万本,就是核心的一个影分身,可看可不看。
这就是有极高压缩率的【底层参数】。
同样的,许多信息也有核心参数。
很多信息和书看起来多,但其实,你往深了刨,你会发现底下有许多共通的东西,如果算力强大,根据这种高质量的底层模型,完全可以推演出整个世界。
比如一张高清照片有几百万个像素点,但计算机不需要保存每一个像素,而是找到重复和关键的地方,比如蓝天的部分,AI只需要记住“蓝色”和“渐变算法”,就能还原完整的蓝天。
AI不需要记住每一个像素点,也不需要知道每一个像素点,而在于发现像素之间的重复和关联,找到底层的图像构建原理。
古今中外无数的小说与故事,你仔细研究了会发现,其实都逃不出荣格的《十二人物原型》和36个剧情模式,只要掌握这些最核心的底层信息,就可以推演出万物。
其实我们做自媒体也是这样的,找到人性共通的底层算法和看点,然后一层层往上叠加。
在AI的数学计算空间中,许多信息会被一层层压缩和解码。
比如与世隔绝的复活节岛,技术水平退化,人口减少;比如不和外部沟通的大企业,逐渐的平庸化,流程冗余和官僚主义;比如你屋子不打扫渐渐地变得越来越乱;比如一个软件,随着代码量增加,系统维护越来越难,BUG越来越多。
这些事看起来都毫无关系是吧?
但它们的底层,其实都指向一个核心——【热力学第二定律】,也就是【熵增定律】。一个封闭的系统会自发地变得混乱和无序,你必须输入额外的资源,输入负熵,才能维持整个系统稳定运行。
还有马桶水箱水满了为什么自动会停?为什么市场供大于求时价格会跌?为什么人热了会出汗?导弹为什么能精准击中目标?高射炮的自动锁定怎么做到的?手术机器人为什么精度那么高?
这些不相干的内容,底下全指向一个理论,就是诺伯特·维纳,《控制论》里的【负反馈调整系统】。
好,到这里,许多具体的现象,我们压缩成了一个个理论,这就是【一级压缩】。
你有没有想过,能不能【二级压缩呢】?
比如热力学第二定律,负反馈调节系统,下面还有东西吗?
答案是有的,可能就是【信息】。
熵增某种程度上可以理解为信息的丢失,而负反馈可以理解为信息的获取,信息在某种维度上进行各个方向的拓展,形成了初始理论,然后这些初始理论一步步推导延伸出二级理论,二级理论一步步推导出三级理论乃至于更多。
举个具体的例子。
一级理论,【信息与熵】。我们推导出二级理论,【负反馈调节系统】。
在机械和自动化方向上,负反馈调节系统推导第出三级理论【自动控制理论】。
根据【自动控制理论】,推导出四级理论【PID控制器算法与卡尔曼滤波】,也就是可以修正微小偏差的数学算法。
根据【PID控制器算法与卡尔曼滤波】,可以推导出第五级理论【医疗手术机器人】,传感器根据PID控制器算法等,可以以每秒一千次的频率读取医生手部的微小颤抖【信息】,然后生成极其微小的反向运动抵消颤抖,实现完全的平稳和精准。
所以只要把这些理论捋顺了,形成一个个高度关联,在数学的多维向量空间上的致密概念信息团,只要输入相当的信息,它就可以从原始的基点着手,不断地展开,拉伸,输出高质量避免幻觉的信息,这就是类似于【造物主本源】。
AI厉害的地方在于,大量的数据,包括向量空间,可以完全把这些概念给数学化,信息化,在高维空间,比如在4096 维的几何空间里,找到信息的虫洞般的交集点,最终抵达那个,或许是超出人认知极限和超高信息密度的【核心概念云团】,从这个云团,可以生成推导出所有信息和内容。
其实我们生活的宇宙,是有明确边界的。
比如光速就是一个常量,世界也不是无限可分的,最小的是单位是普朗克长度,同时量子力学里面还有观察者效应,也就是说你看它,这个事就会发生,你不看,就不会发生。
所以你有没有发现,这就非常像一台计算机?
光速就是CPU主频,是处理器的时钟频率或者刷新率;而普朗克长度就是宇宙这块屏幕最小的像素点;而观察者效应就是,3D游戏里的按需渲染,节省算力,也就是说你玩游戏,玩家看不到的地方根本不渲染,节省算力,等你头扭过去才加载图像,也就是速度太快你感受不到而已。
这其实就是牛津大学哲学家 Nick Bostrom 的模拟假说,我们或许就生活在一种计算机模拟程序里面。
如果人类社会继续发展,文明继续进步,迟早会造出一台极高算力的计算机,根据我们上面提到的核心概念理论,它完全有能力生成和模拟数百亿个宇宙世界。
在这个巨大的基数上看,我们生活在真实世界的概率极低,比如马斯克都说了,我们生活在现实的概率只有十亿分之一。
不管这个假说是不是真的。
我们至少现在可以看到,很多东西底下,是明显有一些核心概念和节点,那几个最核心原始的概念,在计算机的高维空间中,通过向量或者数学符号交织在一起,可以通过一组致密的概念网和信息,推导或者生成我们整个世界,或者整个宇宙。
也就是说,这些【高质量概念云团】,就是这个【模拟宇宙】部分的【源代码】。如果你拿到了,不就像玩电脑游戏开始作弊了吗?
我们不断地逼近通用人工智能,就是在逼近这个源代码,逼近宇宙最初始的奥秘,逼近那个圣堂的【神圣终点】。

夜雨聆风