gwern 写了一篇长文,提出一个他叫"守护天使"的概念:别再用通用 AI 助手了,训一个模仿你本人的 LLM 数字分身。这个分身知道你怎么写东西、怎么做决策、什么事情你会说不,本质上就是你的 AI 克隆。听起来科幻,但他给出了从对齐理论到工程实现的完整路线图
2026 年中,所有主流 AI 产品都在做同一件事:通用助手。Claude、GPT、Gemini 都是面向所有人优化的模型,擅长回答问题、写代码、做总结,但它们不了解你。不知道你的写作节奏,不知道你做判断时看重什么,不知道你会在哪些事上说不
gwern 指出一个更深层的问题:当前没有任何一套连贯的方案,让知识工作者或普通人能从 LLM 获得大幅度的生产力提升,也没有方案处理随之而来的网络安全和认知安全风险。通用助手什么都能做一点,但什么都做不到位
这就是经典的委托-代理问题。你是委托人(principal),AI 是代理人(agent),但代理人并不真正代表你的利益。它代表的是训练数据的平均值

守护天使:你的 AI 克隆
gwern 的方案叫 Guardian Angel(GA)。核心思路是训练一个专门模仿你的 LLM,让它学会你的人格、价值观、偏好和决策模式。你是 CEO,GA 是你的整个执行团队。你只需要决定"什么值得做",GA 负责"怎么做"
实际操作层面,GA 通过持续收集你的行为数据来学习:你写的邮件、你做的代码提交、你拒绝的会议邀请、你修改 AI 输出的方式。每一次你纠正 GA 的输出,它都在更新对你的理解
这跟现在的"自定义指令"或"记忆功能"完全不在一个量级。自定义指令是你告诉 AI 你是谁,GA 是 AI 通过观察你的行为自己学会你是谁。前者是声明式的,后者是行为式的

为什么这能解决信任问题
gwern 的关键论点是:GA 从结构上解决了 AI 信任问题。传统 AI 助手服务所有人,所以它的价值观是所有用户的最大公约数。GA 只服务你一个人,它的价值观就是你的价值观
用他的原话说,这是对委托-代理问题的一个"弱解"。把委托人和代理人尽可能统一成同一个实体。GA 可信,因为它在定义上就跟你站在同一边
这听起来像是把对齐问题简化了,但 gwern 很坦率:GA 解决不了更大的 AI 对齐难题。它能做的是帮助个体人类,作为全社会纵深防御策略的一部分。一个人的 GA 挡不住 AGI 级别的威胁,但一亿个 GA 构成的生态可以大幅提高整体防御能力

认知安全:防住"困惑代理人"攻击
安全性是 GA 方案最有意思的部分。当前通用 AI 面临一类叫"困惑代理人"(confused deputy)的攻击:攻击者通过注入指令让 AI 以为自己在帮用户做事,实际上在执行攻击者的意图。Prompt injection 就是最常见的例子
GA 的防御逻辑是:因为 GA 被硬编码绑定到一个特定用户,它对"你"有一个深度的行为模型。任何偏离这个模型的指令都会触发异常检测。攻击者很难同时伪造你的写作风格、决策偏好和行为模式
另一个安全优势是定期模型升级。每次底层模型更新,GA 重新校准,防御能力跟着前沿模型一起进步。gwern 把这个叫做"防御者优势":攻击者需要持续投入资源破解不断变化的目标

技术路线:在线学习和 DAgger 纠正
标准的 prompt 编程(系统提示 + 自定义指令)做不到 GA 需要的深度个性化。gwern 列出了四个技术瓶颈:后训练限制、冻结模型约束、上下文窗口边界、自注意力的计算效率问题
他提出的技术路线包括:
通过动态评估实现在线学习,让模型在推理时就能实时更新。利用预训练的偏好导向模型提高样本效率,不需要海量个人数据就能快速适配。用 DAgger 风格的主动学习做纠错,用户每次修改 GA 的输出都是一个训练信号
界面设计上,gwern 主张本地优先、CLI 优先、日志优先。所有数据留在用户设备上,通过命令行交互而非图形界面,所有操作自动记录供模型学习。这跟当前主流 AI 产品"云端+对话框"的方向完全相反

谁来做这件事
gwern 讨论了两条路:开源社区驱动,或创业公司驱动。他倾向后者,理由是安全部署的需求太高。当 APT(高级持续威胁)攻击者拥有 Mythos 级别的 AI 能力时,开源项目很难保证足够的安全标准
初始目标用户是"超级用户":CEO、研究员、高产出的知识工作者。这些人的时间价值高,愿意投入精力训练 GA,也有足够多的行为数据供模型学习。随着技术成熟再逐步扩展到普通用户
评论区有人提出了有力的反驳:长期依赖 GA 会不会导致"人类失能"?当你把越来越多的认知工作外包给 AI 分身,你自己的能力会不会退化?gwern 没有正面回答这个问题,但他的框架暗示了一个答案:GA 的目标是增强你的输出质量,你仍然是最终决策者。CEO 不需要亲自写每封邮件,但 CEO 需要知道哪些邮件值得写

原文链接:https://www.lesswrong.com/posts/siWqHqCSybdhtWGud/guardian-angels-llm-personalization-for-productivity-and
夜雨聆风