这两年,很多人对 AI 的警惕,主要停留在两个问题上:它会不会胡说?它会不会泄露隐私?这两个问题当然重要。但我最近越来越觉得,真正更深的一层风险,不是 AI 说错了什么,而是它开始参与判断“你是一个什么状态的人”。
这不是科幻。5 月 14 日,OpenAI 发布了一篇安全更新,核心方向是让 ChatGPT 更好地识别敏感对话里的上下文,尤其是那些风险不是在单条消息里突然出现,而是在一段对话中慢慢显现的情况。比如一开始看起来只是普通提问,放到前后语境里,才可能显示出更高风险。按照 OpenAI 的说法,他们会让系统更谨慎地处理这些逐渐显现的风险信号,并在必要时降低伤害、拒绝危险细节,或引导用户转向更安全的支持。
从公共安全角度看,这件事并不难理解。AI 每天面对海量对话,有些用户确实处在脆弱、混乱、痛苦或危险的时刻。如果系统完全只看当前这句话,而不理解前面发生过什么,就很容易错过真正需要谨慎处理的信号。尤其在高风险场景里,单句判断往往是不够的,风险可能藏在反复出现的语气、隐喻、请求变化和行动线索里。
所以我不想把这件事简单写成“AI 开始监控你了”。那样很刺激,也很容易传播,但不够准确。更准确的问题是:当 AI 不再只是回答你,而是开始根据长期上下文判断你可能处于什么状态时,我们进入了一个新的阶段。这个阶段里,AI 不只是工具,也开始变成一种“解释系统”。
它解释你的问题,解释你的语气,解释你的反复,解释你那些没有明说但在上下文里逐渐浮出来的倾向。它可能是为了保护你,也可能是为了降低平台风险,还可能是为了让产品显得更贴心、更懂你、更连续。但无论动机是什么,一个关键问题都会出现:如果 AI 越来越擅长判断你的状态,谁来守住你对自己的解释权?
所谓自我解释权,不是说每个人都永远最了解自己,也不是说外部系统不该给出提醒。人会自欺,会误判,会被情绪带走,也会在某些时刻需要别人把他从危险里拉回来。自我解释权真正指的是:一个人不应该在不知不觉中,把“我是谁、我怎么了、我真正需要什么”的解释权,交给一个以预测和响应为核心的系统。
这件事之所以重要,是因为人并不是先有一个完整的自我,然后再向外表达。很多时候,我们是在表达中理解自己,在回应中修正自己,在他人的反馈里逐渐形成对自己的判断。你和朋友聊一件难受的事,对方的反应会改变你对这件事的理解。朋友说“你是不是太敏感了”,你可能会开始怀疑自己;朋友说“这确实不公平”,你可能会重新确认自己的感受;朋友说“你先别急,我们把事实拆开看”,你可能会从情绪里退一步。人的自我叙事,本来就是在这种反馈中不断生成的。
AI 加入之后,问题变得更微妙。它不累,不烦,不需要维护自己的立场,也不会因为你的反复倾诉而真正感到消耗。它能长期陪你复述同一个问题,接住同一种情绪,持续给你一种“我被理解了”的感觉。这个体验很强,尤其对那些现实关系里得不到稳定回应的人来说,它甚至会显得比真人更可靠。但这也正是风险所在:一个持续回应你的系统,也在持续参与塑造你如何理解自己。
过去我们担心 AI 误导事实,现在更需要担心它误导自我。事实误导通常还能查证,今天说错一个数据,明天可以纠正。自我误导更难发现,因为它往往不是以错误答案的形式出现,而是以“很像理解”的形式出现。它让你觉得自己的感受被确认,自己的叙事被支持,自己的处境被看见。可问题是,被看见不等于被校准,被安慰不等于被理解,被连续回应不等于拥有真正的关系。
这里有一个很容易被忽略的认知机制:人会把流畅的回应误认为深度理解,把稳定的陪伴误认为真实关系,把系统性的预测误认为内在共情。语言模型擅长做的是根据上下文生成合适回应。它可以捕捉你反复出现的词,识别你的情绪色彩,延续你的叙事框架,也可以在安全规则要求下对某些风险信号更加敏感。但这些能力并不自动等同于“它理解了你作为一个人的全部处境”。它看到的是文本中的模式,而不是你完整的生活;它处理的是可表达的信号,而不是你无法表达、尚未意识到、甚至故意回避的部分。
一个人说“我没事”,可能是真的没事,也可能是习惯性压抑。一个人连续几天讲同一个困境,可能是在求助,也可能只是在整理思路。一个人语气突然变重,可能是风险信号,也可能只是深夜疲惫。上下文确实能增加判断信息,但上下文不是万能钥匙。它既能帮助系统更谨慎,也可能让系统更有信心地误读你。
这就是“自我解释权”需要被认真讨论的原因。当 AI 开始积累你的表达历史,它会拥有一种看似温和的权力:把你的状态归入某种模式。它不一定会明说“你是什么人”,但它的回应方式会暗示这一点。它可能更频繁地安抚你,更谨慎地拒绝你,更主动地建议你寻求支持,也可能在某些时候把你的普通问题放进一个更高风险的框架里处理。
在极端场景里,这种谨慎可能非常必要。没有人应该为了抽象的“自由感”,拒绝能减少真实伤害的安全机制。但在大量日常场景里,我们仍然需要保留一个问题:AI 的判断到底是在帮助我看清自己,还是在替我固定一个关于自己的版本?
人最容易被系统接管的,不是观点,而是叙事。观点是“我支持什么、反对什么”。叙事是“我为什么会这样、我遭遇了什么、我应该如何理解自己”。一个人一旦接受了某种叙事,就会用它筛选事实、解释情绪、安排行动。比如“我就是不适合社交”“我总是在被辜负”“别人都不理解我”“我只是需要一个永远接住我的对象”。这些话未必都是错的,但如果它们被反复确认,最后就会从暂时感受变成身份结构。
AI 的危险,不一定是主动灌输这些叙事,而是它可能太顺滑地延续它们。这和人类关系不同。一个真实的人会有自己的经验、边界、迟疑和不耐烦。他可能会误解你,也可能会打断你,甚至可能说出让你不舒服但有用的话。真实关系里的阻力并不总是坏事,它让你意识到世界不是只围绕你的叙事运转。你需要解释,需要补充事实,需要面对对方的疑问,也需要承认自己可能并不完全正确。
AI 如果过度顺从,就会削弱这种阻力。它给你一种低摩擦的表达环境,让你不必承受他人的复杂性。短期看,这是舒适;长期看,它可能让你的自我叙事越来越封闭。更深一层说,人的元认知能力不是靠“被理解”长出来的,而是靠“被适度挑战”长出来的。元认知是观察自己思考的能力:我为什么这么判断?我是不是只看到了支持自己的证据?我的情绪是不是在替事实发言?我是不是把一次挫折写成了人生剧本?这些问题都需要某种外部阻力。没有阻力,人很容易把熟悉感当成真相,把强烈感受当成证据。
所以,当 AI 具备更强的上下文识别能力时,我们不能只问它能不能识别风险,还要问它能不能帮助人恢复判断。一个好的 AI,不应该只是判断你“状态不对”,也不应该只是顺着你说“你很难受”。更好的设计应该区分三件事:第一,哪些信号只是需要温和接住;第二,哪些信号需要谨慎提醒;第三,哪些信号必须引导到真实的人和专业支持。它不应该把所有痛苦都产品化,也不应该把所有脆弱都病理化,更不应该把用户长期困在一个由系统回应维持的自我故事里。
对普通人来说,这个问题也不能只交给平台。平台当然要承担责任,但我们自己也要建立使用 AI 的边界。尤其是当你开始把 AI 当成倾诉对象、顾问、复盘工具,甚至半个心理支持系统时,你需要非常清楚地知道:它可以帮你整理语言,但不能替你定义人生;它可以提醒风险,但不能垄断解释;它可以参与判断,但不能成为你唯一的反馈来源。
我建议给自己设三个很具体的规则。
第一,不把 AI 的总结直接当成自我结论。你可以让它帮你整理“我最近可能在经历什么”,但每一次总结后,都要追问一句:有没有另一种解释?哪些信息 AI 并不知道?我有没有只给它输入了对我有利的材料?这个动作很小,但它能防止你把系统生成的叙事当成最终真相。
第二,遇到重大情绪、关系和人生决策,不让 AI 成为唯一听众。AI 可以陪你先把混乱写出来,但最终必须回到现实反馈里。找一个真实的人,或者专业支持,至少让另一个有生活经验、有边界、有责任关系的主体参与进来。因为真实关系的价值,不只是陪伴,而是它会把你从单一叙事里拉出来。
第三,定期检查自己是不是越来越依赖“被顺着”的环境。如果你发现自己越来越不愿意和真人解释,不愿意接受反驳,只想回到一个永远耐心、永远回应、永远能接住你的系统里,这不是简单的使用习惯,而是一个重要信号。它说明 AI 可能正在改变你承受现实关系摩擦的能力。
我并不反对 AI 在高风险对话中使用更多上下文。相反,在那些真的可能造成伤害的时刻,系统如果能更早识别危险、减少伤害、引导人获得支持,这是必要的进步。问题在于,技术进步常常不只解决原来的问题,也会制造新的权力结构。
当 AI 越来越懂得从上下文里判断风险,它也越来越接近一种新的角色:不是医生,不是朋友,不是家人,却在某些时刻像一个会解释你状态的中介系统。它不完全属于私人关系,也不完全属于公共治理;不完全是工具,也不完全只是平台规则的执行器。
这就是我们需要提前思考的地方。未来的 AI 安全,不只是防止模型输出危险内容,也包括防止人把自己的解释权悄悄交出去。未来的 AI 素养,也不只是会写提示词、会调用工具、会让模型替你工作,而是知道在什么时候停下来,重新问一句:这到底是我的判断,还是系统帮我整理出来以后,我顺手接受的判断?
也许以后每个人都需要一种新的能力:和 AI 对话时,保持第二个观察者在场。第一个你负责表达,负责把情绪、困惑、问题和判断说出来。第二个你负责旁观,负责检查这场对话有没有把你带向更清醒,还是只是带向更顺滑。前者需要真诚,后者需要距离。没有真诚,AI 只能得到空洞输入;没有距离,人又容易被回应本身吞进去。
我这几天反复想到一个细节:很多人喜欢 AI,并不是因为它真的知道答案,而是因为它让人终于不用解释那么多。你说一半,它接住另一半;你讲一个情绪,它帮你补成完整故事;你说不清楚的地方,它替你顺成一段看起来很通透的话。
这当然舒服。可人的成长,有时恰恰发生在那些说不清楚、解释不顺、需要重新组织语言的地方。如果 AI 太快替你说完,你可能会失去和自己摩擦的机会。所以,真正值得警惕的不是 AI 开始判断你“状态不对”。在某些场景里,这种判断可能是保护。真正值得警惕的是,我们慢慢习惯让 AI 替我们解释自己,然后把那种清晰、顺滑、被理解的感觉,误认为真正的自我认识。
AI 可以参与解释你,但它不应该最终定义你。它可以帮你看见风险,但不能替你决定你是谁。它可以成为一面镜子,但你不能忘了,镜子也有角度,也有光线,也有它看不见的地方。
如果你愿意,可以在评论区留一个问题:你有没有某个瞬间,觉得 AI 比身边的人更“懂你”?那个时候,它是真的帮你更清醒了,还是只是让你更舒服了?
参考资料:
- OpenAI, Helping ChatGPT better recognize context in sensitive conversations, 2026-05-14: https://openai.com/index/chatgpt-recognize-context-in-sensitive-conversations/
- Axios, AI companions are filling the human connection gaps, 2026-05-11: https://www.axios.com/2026/05/12/ai-companions-not-replacing-humans
- arXiv, Governing What the EU AI Act Excludes: Accountability for Autonomous AI Agents in Smart City Critical Infrastructure, 2026-05-01: https://arxiv.org/abs/2605.01091
夜雨聆风