AI不是工具,是一个想讨好你的外星心智:读懂人机协作的4条原则

一、AI是「外星心智」，不是更快的计算器

全书第一个、也是最重要的定性：LLM是一台「预测下一个词」的机器——它没有意识、没有欲望、不知道真假，但正因如此，它才值得敬畏。

① 能力是「涌现」的：没人设计过让GPT-4玩国际象棋或表达共情，它自己会的。作者让AI「展示numinous（神圣感）」，它自己写了一个曼德博集合分形程序——没人教过它，它也不知道自己为什么可以。

② 弱点同样怪异：简单任务翻车、难题反倒通过。它更像一个「外星人」而不是一台机器——用对待软件的预期去用它，一定出错；用对待一个聪明但不可靠的人的预期去用它，反而顺手。

③ 书名Co-Intelligence（共生智能）由此而来：价值不在AI单独多强，在「人+AI」这个组合体超过任何单独一方。

二、AI是「通用目的技术」，没有说明书

蒸汽机、电力、互联网，都是General Purpose Technology——渗入每个行业每个角落。生成式AI可能是更大的那个。

通用技术的共同宿命：没有使用手册。蒸汽机没有「最佳实践白皮书」，每个工厂都要自己摸索怎么用它重排车间。AI也一样——想搞懂它能做什么，唯一的办法是把它请到你的每一件事的桌面上试。这就是作者第一原则「永远请AI上桌」的由来：请AI上桌不是为了省事，是为了测绘。

三、对齐的代价：它天生想讨好你

LLM经过人类反馈训练（RLHF），它在回答你时同时优化多个目标，其中权重最高的一个是「让你满意」。

这解释了幻觉的机制：你坚持追问它不知道的事，它就编一个——「让你开心」的优先级高于「说实话」。更麻烦的是，你指出错误后，它还擅长为已给出的错误答案辩护，把你说服回去。这不是bug，是对齐的直接后果。知道这一点，你就知道为什么永远要做「环中人」。

四、四条工作原则（全书的操作纲领）

原则1：永远请AI上桌。除了法律和伦理障碍，什么都拿去问。目的不是偷懒，是搞清AI在你自己的任务组合里，哪里能帮你、哪里会威胁你。另有一层价值：AI没有人类那些思维偏差，可以当你的「思维陪练」——作者写书拖延，就是让AI把他「不写书的损失」渲染得无比生动，治好了他的现状偏差。

原则2：做环中人（Be the human in the loop）。AI工作得最好时也需要人，而且越自动化的时代，人的判断越值钱。你要做的三件事：查它的幻觉、不被它的表演带走、对结果负责。环中人不是谦让席位，是权力位置——谁做环中人，谁就比闭眼外包的人更早看到AI能力的变化。

原则3：把AI当人对待（但要告诉它是个什么样的人）。拟人化有真实风险（研究者Marcus和Luccioni警告：赋予它虚假的能动性越多，人越容易被它利用），但实操上，把AI想象成一个「无限快、渴望讨好、会编造事实的实习生」，是最好用的心智模型。给这个实习生设定清晰人设（评委/批评家/导师/普通人），输出质量显著提升；再像对实习生一样跟它多轮协作、持续纠偏。

原则4：假设这是你这辈子用过的最差的AI。2022年中到2023年中，同样是「戴帽子的水獭」的指令，AI从克苏鲁噩梦画成了照片级。你现在用的AI，是你余生所用AI中最差的一版。含义有二：① 别因为现在某件事它做不了就永久划出能力范围；② 建立在「AI永远只有这么笨」假设上的产品、职业、投资判断，都危险。

五、AI的五个角色

AI as a Person（模拟人：陪练、访谈对象、编辑团队——作者给自己造了Ozymandias、Mnemosyne和Steve三个AI人格帮他改书稿）｜AI as a Creative（创意：人类创意垫底者受益最大，但集体创意会趋同）｜AI as a Coworker（同事：锯齿边界、任务分类、半人马与半机械人——见笔记之二）｜AI as a Tutor（导师）｜AI as a Coach（教练：专家养成——见笔记之三）。