夜雨聆风学习资料网

ARTICLE · 1108975

对AI的测试总结:25条思考

对AI的测试总结:25条思考

最近,给不同AI投喂了不少过去的文字,包括诗歌、散文、时评、随笔、小说等,让AI帮助找bug、做评价、抽象性格模型等等。

在这个过程中,不断与AI对话、思辩、刨根究底,既是为了解析写作问题,也是为了更好地理解AI的工作原理。

对于AI的认识,或者说对于人的认识都加清晰了。

一、评价与互洽

1.

对任何评价,AI都有预设的评价模板。

人亦然。

2.

AI预设打分模板,而不是无限递归评价体系,规约化、理性化,以节能。

人也要节能,不能对一个问题无限制思考下去,规约化、理性是节能的自然选择。

3.

任何开放评价体系,即使第n级模板看似准确,n+1级分解指标的不确定性不可消除。模板递归结果未必就好,所以技术arstra对于解决模糊问题不一定高于o4这样的早期版本,完备性只源自封闭系统。

博士思考此类问题,不一定好于高中生。

4.

AI评价模板基于元认知假设,但元认知往往不确定,经常也是假设。

哲学是人类源自反思的元认知,反思促进完备性,但反思无法真正完备,且难自觉。

5.

元认知对应的“元定义”难以完美;元认知背后的“元价值”无参照系;元认知背后的“元动机”模糊不清——这些都是系统性预置,难以标定。

人和AI类似,总有预置和假设。

6.

背景信息是一种自指性信息,有不可消除性,就像微波背景辐射,就像童年经历。

AI对知名作家的评价是结论,也是原因。AI的评价体系是历史上作家们无意间共同定义的,偏倚无法归零。就像荷马史诗、诗经分别定义了两种文明和诗歌的指纹。

7.

从时序上、或者说逻辑序列上,AI在长程单对话存在自对齐,上下文导致收敛,收敛导致一类局限和偏见。

人也是如此,在某类经验系统中会自对齐,并容易形成偏见。

8.

在多个对话进程、即harness系统中,自对齐偏见依然严重,这是面向目标收敛决定的,也是上下文的结构性不断强化决定的。

就像人有多种经历,归一化未必带来综合性认知优势,取决于与新问题的符合度。

9.

价值观、世界观是很多问题的基础,且互为定义。价值问题的归一性由power强制,或信仰约束,既非自然、也非必然。

主观的价值问题只是非真理性的一个视角,还有很多不确定性、非真理性。

10.

故,客观不确定、未来不确定、隐性信息不确定、元认知不确定、元价值不确定、元动机不确定、自指性不确定、评价模板不确定、上下文收敛性不确定、逻辑语法算子不确定、主观价值不确定性…等等,不确定性不可消除。

在开放系统、或开放非系统中,人不能在主观问题上寻求唯一客观,不能在未定事件上寻求绝对确定,不能超越范畴追求客观确定性,等等。

结论:真理的绝对性是相对的,依托自然或人为规定性,也就是“互洽”或“内洽”;真理的相对性是绝对的,真理是对规定性的“符合”。不存在绝对的、抽象的、超越性的真理,超越性的“真理”都是神学。

二、设计与环境

11.

LLM AI本质是推理、模仿、仿真之后的“全息-压缩”,所谓缩放定律,通过高维连接的低维投影实现对问题的“显影”。你觉得AI回答得好,只是这种投影符合你的认知、或任务目标,它只是顺便。

对于开放问题,更好的AI来自于更好的仿真,包括为模型设计仿真环境。人的理性亦然,选择环境、设计环境很重要。

12.

形式逻辑、理性逻辑、语言逻辑、辩证逻辑、灰度逻辑、模糊逻辑、混沌性、随机性、未知性,代表了问题内在规律性的分布特征,各自对应一部分现实,要有不同的投影规则。

你设计何种环境,取决于你面对的问题是什么,要获得何种投影,以及人机如何copilot,人是模型API的对象。

13.

在设计AI系统时,是在为一定的问题域设计评价系统?是,也不是。不一定是评价,也可能是忽略、提问、试错,等等,是在设计环境交互。不同问题域,环境不同、反馈不同、交互模式不同,目的是拟合、互洽。

人生活在多维、多元、多范畴世界中,有一个物质世界模型,有很多评价和反馈系统。物质世界可以定义为稳定的实体、甚至本体,评价系统都是人因的标签,或者叫name space——当然,严谨说,人类眼里的物质系统也是人因的。

14.

AI评价系统应该显性化,允许评价者看到、反馈、对话。

人也是如此,一切评价和被评价都要有模型的显性化能力,看到背后的模板。儒家、基督教的显性化评价体系和背后的模板,塑造了各自的文化。

15.

AI评价系统,应对问题本身的范畴进行分类,且展示其范畴,提示用户注意。但范畴是name space,不是唯一的。

人跨越范畴认知容易偏差,范畴是人因定义的根源。所以,要尽量找到“第一性”,尽管亦非绝对。我也经常滥用noumenon,ontologie,substantia三个词。

16.

AI应该对评价系统的时序和环境变量进行展现,提示用户注意。

人也应该如此,时移世易,事无定法。时、空、逻辑是世界展开的三大主轴,不可能主轴变化了不去review.

17.

除此之外,AI还应该对评价质量进行评价,这是一个自指性评价指标,因不确定而起,也存在无限同维死循环的陷阱。

股票市场、政策拟定等,符合生存哲学的开放系统大多存在反身性价。

18.

宇宙规律、宇宙非规律部分,都是宇宙的内蕴特性,也是内蕴可知性,即“广义的语言边界”,世界的边界即认知的边界。

设计AI系统,就是对所有已知性进行积分,然后针对特定问题求导。

结论:广义语言即世界,设计AI系统就是设计一种基于“广义语言”的人-机互操作系统。人是操作者?更是被操作对象。

三、具身智能与实践

19.

语言也是生成式Game。应对确定性在于知,应对不确定性在于行,我们进入了行远大于知的时代。知在信息时空上发生了坍缩,大模型正在成为一个黑洞。

隐性知识、默会知识、演化能力,皆然,这是人要在物质时空中践行的。

20.

做AI就是做一个宇宙的仿真系统,也是认知与实践的耦合系统,可分又不可全分。

认知与大脑、肉身经验与环境耦合在一起,也是不可全分的,大脑和具身对应两种API。

21.

AI尚缺失一部分“世界”的环境,迄今还是缸中之脑,但具身智能不远了,具身智能的数据来自物理世界,肉身API通过数据表达、“图像语言”表达、机器人仿真表达。

人通过实践跨越形式主义的局限,理性的局限,经验的局限,人通过对实践的反馈的反思自我设计。

22.

真理建立在可知性和规约性之内,我不可能掌握规约性之外的“真理”,甚至写这篇文章也有范式。实践,行动只是另一种可知性、规约性。

但人基于生命的意向性,主动探究世界,打破信息模板和行为模板。

23.

我无法预测AI拥有意向性之后的世界,或者,它完整植入了某个人的意向性会如何。

不知道,谁是最后一个匈奴,谁是最后一个莫西干人?甚至不能否认,人也是某种智慧设计、或宇宙自发涌现出的智能,黑洞就是物质世界的大模型。

24.

除了顶尖智力、元认知之外的智力将趋于免费,只有行动还有价值,只有意向性还没有被复制,可能只是一层窗户纸。

25.

用行动祈祷自己好运,以及众生。

结论:AI第一性——一切内在确定的都将加速确定,一切内在不确定的将继续不确定,世界同时凝视着深渊和深空。

相关学习资料