AI模型越来越聪明,但你真的受益了吗
过去两年,AI领域有一个让所有人困惑的现象:模型在各项基准测试中的表现正在以惊人速度攀升。两年前它们无法通过律师资格考试,今天却能跻身顶尖1%的成绩。然而在另一边,仅有五分之一的AI用例真正投入了生产环境,超过一半的CEO表示自己在AI上投入的资金目前看不到任何回报。

这种反差揭示了一个被忽视的真相:在真实世界里,智力并不能直接等于有效性。如果我们把视角从AI世界拉回到人类的职场经验,会发现一个更有意思的规律。认知心理学的研究表明,工作表现的差异仅有10%可以被智商解释。那个SAT分数最高的同事,真的是公司里最出色的队友吗?大多数人可能不会这么认为。真正优秀的同事,往往是那些最愿意下功夫、最能接受反馈、学习速度最快的人。
为什么性能=智力+上下文

在这个框架下重新理解"性能"这个概念,会有全新的发现。真正的表现是你在真实世界中交付的成果,而表现是智力和上下文共同作用的结果。智力提供的是认知马力,这正是模型基准测试每天都在测量的东西。但上下文更为关键,它对应着人类世界所说的"在工作中学习",是那些随着时间积累的知识、技能和专业判断。
过去十年,我们在一个维度上实现了千倍的突破:模型的智力在过去十年增长了1000倍,仅过去6个月就翻了一倍。但在另一个维度上,进展几乎为零:关于你业务的情境知识几乎没有移动。我们只是把一些数据搬到了云端,其他的一切仍然散落在各种仪表板、Slack对话和可能下周就要离职的分析师那里。
Maya的故事:优秀员工如何习得"上下文"
让我们走进一个假设员工Maya的日常,看看一个出色的分析师是如何获得这些宝贵的上下文知识的。

假设她在一家快餐连锁店担任数据分析师。某天早晨,一位加盟商发来消息问:"为什么我这个周的得来速等待时间上升了?"这听起来是个简单问题,但实际上回答起来非常复杂。Maya首先需要知道"得来速等待时间"的定义是什么,同时还要判断提问者是谁——是财务部门还是运营团队,因为含义可能完全不同。更进一步,"本周"指的是什么时间段?周一到周日?太平洋时区还是东部时区?
这只是最基本的知识层面。但还有更重要的专业知识层面。优秀的分析师知道第三季度是季节性季度,因为天气模式会影响数据,她会主动检查这次波动是否源于季节性因素。她还知道公司刚在上个季度推出了新产品,所以需要验证根本原因分析失败是否与新品发布有关。这些判断来自长期积累的经验和专业直觉。
最后还有规范层面。知道谁在问这个问题,决定了如何回答这个问题。而Maya之所以能把这些事情做好,是因为她加入公司一年来,通过观察最优秀的同事、犯错后吸取教训、接受经理反馈、处理各种边缘案例,逐渐构建起了这套完整的上下文体系。

第一个尝试:独立Agent的困境
一年半前,Atlan开始在Agent领域进行第一次尝试。他们选择从客户成功团队入手,通过"待完成工作分析"识别出团队日常工作的各个环节,然后做出判断:哪些工作AI可能做得很好,比如文档整理和会议准备;哪些工作AI短期内难以胜任,比如客户关系管理。接着他们为每项工作构建专门的Agent——有负责健康情报的Hermione,有负责财务风险分析的MoneyPenny。这些独立的Agent在一开始运转得相当不错。

但很快遇到了严峻挑战。首先是上下文工程的问题。到去年年中,构建一个Agent只需要五分钟,但为它配备真正准确所需的业务上下文却需要无限长的时间。Agent质量往往取决于上下文工程的质量,这导致与利益相关者之间出现了许多莫名其妙的信任危机。其次是Agent成了孤岛。当营销团队改变了市场定位,在Town Hall上宣布了新策略,销售开发代表Agent却还在推销旧版本,团队之间没有任何信息同步机制。更糟的是,当Agent出错时,很难追溯问题根源——是模型的问题、Agent的问题还是上下文的问题?
最后还有上下文蔓延的噩梦。每个Agent都有自己的记忆系统,它们各自独立地学习,但学到的东西完全不同。很快就不再有人知道"单一事实来源"究竟是什么样子。在过去12个月里,Atlan尝试了多种Agent技术栈,从Relevance到Google ADK,再到Glean,年初又迁移到Claude Code,现在则是Claude和Codex各占一半。每一次技术栈迁移,上下文就被困在各自独立的系统里,无法互通。
第二个尝试:上下文层架构
当通用Agent开始成为可能,Atlan开始思考另一种方法。回到Maya的例子,她并不是一个孤立的明星员工,而是团队的一部分。那些传说中的梦幻团队之所以高效运转,正是因为他们拥有共享的上下文:共同的语言、共同的对"今天什么是真"的认知、共同的 playbook、共同的标准——谁有权做什么决定。而最重要的是,他们拥有共同的学习循环,知道什么做法是对的,什么错误不应该重犯。
基于这个洞察,Atlan提出了新的架构思路:每个领域的专家负责构建和维护自己领域的技能,所有这些汇聚到一个共同的地方——公司知识库。每个Agent在执行任务时,都从这个地方读取所需的上下文,然后与通用Agent进行交互。

Atlan的市场团队最终构建了一套具体的系统架构。左边是团队使用的所有系统——数据分析平台、社交和社区平台、广告平台、分析工具。中间是他们自己构建的Agent层,既使用了Cloud Code、Co-work这样的外部工具,也部署了自己的Agent直接融入Slack频道进行协作。右边则是一个不断演进的上下文层——由最出色的SEO专家构建SEO技能,由最出色的竞争情报专家构建竞争情报技能,这些逐渐形成了团队的共同记忆和智慧沉淀。
在过去的六个月里,这个团队构建了约300项技能和40个Agent。但随着规模扩大,新的问题也随之浮现:上下文需要像代码一样被管理。依赖管理变得极其复杂——比如竞争情报技能从市场变化中学习并改进,它会输送给品类定位技能,后者又会影响销售战斗卡技能。一旦任何一个技能学习进化,就会破坏下游的依赖关系。而且这些技能很快就会变得过时或漂移。
什么是"context layer"真正的形态
在演讲开头,Prakalpa提出了那个问题: WTF是上下文层?现在答案逐渐清晰了。上下文层要解决的,正是这些分布式智能体所带来的系统性挑战。

她提出了一个核心问题:context layer的GitHub是什么样子? 首先,公司的上下文需要像代码一样具备生命周期管理、协作和版本控制。这意味着需要明确哪些是本地上下文、哪些是全局上下文、如何保持更新。而技能本身应该有自己的档案系统,包含自学习循环、内置的质量管理和安全姿态管理。你应该能够清楚地追踪每个上下文的影响范围、审批者、维护者和贡献者。
其次,每一次AI交互都在创造新的上下文,有效利用这些数据就是一座金矿。Atlan发现,通过在Trace上部署专门的工具,让AI读取所有的交互记录,然后反馈给维护者的审批循环——"批准、拒绝、持续改进"——就能形成真正的复合学习循环。
第三个关键洞察是关于如何起步。许多人会问:我有60个互不相通的系统,从哪里开始?Atlan最重要的经验是:上下文就隐藏在这些业务系统之间的连接处。如果你能把自己的Salesforce、HubSpot、数据仓库和应用层连接起来,然后逆向推导出这些系统之间实际的连接关系——上下文今天在每一个跳转环节都会丢失,但如果能够逆向重构这个关系图谱,就能以惊人的准确度构建出公司知识库的第一个版本。

上下文即护城河
演讲结束时,Prakalpa说出了她真正想传达的核心观点。她从"上下文为王"开始,最终想说的是:上下文同时也是知识产权。
在一个你和竞争对手拥有相同模型、相同智力的世界里,什么才能真正区分两家公司?什么才能区分美国运通和亚马逊的客户支持Agent?那就是你们做事情的方式,是让你的公司与众不同的东西。上下文是我们把文化和规范编码成可被AI系统使用形式的载体,这将是我们在建设自主系统前沿企业时最值得自豪的事情。
今天,我们仍然在通过硬编码上下文来构建Agent。但随着规模扩大,这个问题的严峻性被严重低估了。想想那个古老的笑话——如果你分别问销售部门和财务部门同一个收入数字,你会得到两个完全不同的答案。我们正在快速接近部署自主系统的时代,同样的问题正在以更大的规模重演。
金句卡片
"AI的智力增长了千倍,但关于你业务的上下文几乎原地踏步""在工作表现中,只有10%的差异可以被智商解释""上下文是知识产权——在大家都用相同模型的世界里,这是你真正的护城河"
夜雨聆风