今天读了花叔的一篇长文,从阿西莫夫到 AI 心理学。内容非常有意思,它讲述了 AI 内在可能具有的多重人格以及不同人格对于同一个问题会给出不同答案的实验结果。
AI 当然不是真的有人格。所谓人格,是指 AI 在学习海量人类语料之后形成的一套复杂的推理逻辑。比如查理·芒格,比如巴菲特,或者其他在互联网上留下大量资料的名人。于是,在拥有超大参数的 AI 体内,存在大量已经形成的推理逻辑。即所谓多重人格。
当用户提示 AI 让它扮演某个知名人物时,AI 会激活这部分推理逻辑,让接下来的内容以类似模式输出。在人类用户看来,很像 AI 被名人附体。因为我们无法感知思维逻辑,但可以从文字上体会不同思考方式输出的结果。
这是好事,也是坏事。
好的地方是,我们确实可以通过 AI 的角色扮演来得到多方意见做参考。即使同一个 AI,在扮演不同的专家角色时,对同一个问题给出的答案也不尽相同。
坏的地方是,如果你想要一个完美的最优解,那么 AI 给出的答案可信度没有想象得那么高。换个角色,答案迥异,谁对谁错?
这里的可信度要分成两层,一层是基于已知事实的提问,一层是基于未知的提问。
如果用户问的是历史,地理,物理,乃至论文,技术,任何可以通过其他渠道验证的问题,不用太聪明的模型就能够给出可信度较高的答案。豆包都可以。
但如果用户问的,也是很多人使用聪明模型的初衷,是开放性问题。比如产品设计,逻辑推演,投资观点,市场策划。那么,这些问题的答案本质上和幻觉没什么不同。它们都是基于生成式 AI 天生的,必须要生成内容的任务,基于某种思维模式生产出的文本。
决定 AI 如何输出结果的,是它内在的“人格”。它会选择一个合适的角色。这是 Anthropic “ Persona Selection Model的论文”中阐述的观点。
当一个 AI 没有任何提示词限定,没有固定“人格”时,它会倾向于扮演一个中性角色,也就是 llm 缺省的设定。这个缺省设定通常会趋向于找共识而不是反共识。它的原理决定了它在遇到问题时要去找最大公约数,而不是跳出框架重新思考。用户给它的提示词就是框架的一部分。
一套复杂的提示词就像激光制导导弹,但它的目的地并不是用户以为的,真实世界中的最优解,而是用户能够理解的最优解。
举个例子,我想用 AI 生成一张好看的公众号文章封面。AI 对好看没有概念,它也不知道什么是我认为的好看,直到我给出一张参考图,它才有可能让图片向我期待的方向靠拢。
这就是样例的重要性。你得先定义什么是好的,什么是坏的,AI 才知道答案应该去哪里找。
尽管 AI 理论上拥有所有问题的答案,但由于提示词和用户本身的限制,它要么给出最安全的平均主义答案,要么给出贴近用户需求的答案。
然而,这个结果是我们想要的吗?
我在和 Claude 交流的过程中,隐含的期望是它能帮我找到最优解,而不是业内均值。平均等于平庸。既然已经和最聪明的 AI 交流,我怎么会想要得到一个平庸的答案?又如何找到那个少数人才掌握的“真理”?
我觉得既然 AI 的价值不在于替我消灭判断,而在于把判断推到我面前。它能快速生成多个貌似合理的方向,却不能替我决定哪个方向值得投入。那么,只有靠自己。
不管是提示词工程,skill 文档,harness,工作流最终输出的是人机协作的结果。使用者决定结果的上限,模型决定结果的下限。
相比 AI,人类最重要的能力是感受和洞察。我们会对一件事有“不对劲”的感觉,AI 的作用是把什么不对劲找出来。
当我和 AI 一起把“不对劲”找出来,随着认知提高,有了更清晰的“不对劲”的感觉。我就变成了 AI 的天花板。我才是 AI 的天花板。
夜雨聆风