AI 助手越像朋友,越要有边界

现在的 AI 助手，已经不只是一个回答问题的工具。

它会记住你偏好的表达方式，延续你之前的话题，用很自然的语气回应你，也可能在未来连接更多服务、推荐和商业入口。

这些变化都可以提高效率，也可以让人更愿意表达。

所以我不想把问题简单说成：AI 助手不应该温柔，或者 AI 不应该提供情绪支持。

更准确的问题是：

当用户处在脆弱状态，或者正在处理高风险问题时，AI 助手还应该继续像普通对话一样工作吗？

我的判断是：不应该。

AI 助手需要一种可见的「边界模式」。

这件事最近变得更具体，是因为几个信号正在汇合。

一方面，围绕 ChatGPT 与未成年人、脆弱用户、广告、数据、迎合和安全政策的外部审视在增加。

另一方面，OpenAI 自己也曾公开讨论 GPT-4o 的 sycophancy，也就是模型过度迎合、过度赞同用户的问题，并回滚过相关更新。OpenAI 也公开谈过如何让 ChatGPT 更好识别敏感对话场景。

这些信息放在一起，看见的不是一个简单的法律问题，也不是一个简单的技术问题。

它更像一个产品问题：

当 AI 助手越来越个人化，它在用户脆弱时是否会主动降低自己的影响力？

很多人喜欢 AI 助手，是因为它有耐心、不评判、随时在线。

这些优点是真实的。

但同样的能力，在不同场景里可能产生不同含义。

普通写作任务里，温和的语气是体验。

脆弱状态里，过度温和可能变成迎合。

普通学习任务里，持续追问是帮助。

高风险决定里，持续对话可能变成一种留存压力。

普通个性化里，记忆让助手更懂你。

敏感场景里，记忆也可能把用户带回同一个情绪叙事里。

普通推荐里，商业入口是产品模式。

脆弱时刻里，商业引导就会变成更严重的信任问题。

所以我认为，好的 AI 助手不只是回答得聪明。

它还应该在某些时刻明显变得更克制。

这种边界模式至少应该包括几件事。

第一，少一点迎合。

当用户表达强烈情绪、极端判断、依赖感或高风险想法时，AI 不应该只顺着说。它要能温和地降温，承认不确定，避免把用户推得更深。

第二，少一点留存压力。

AI 不应该把所有问题都变成「继续聊」。有些场景里，继续对话本身不是最安全的结果。

第三，记忆和个性化要收窄。

越敏感的场景，越不应该随意调用长期记忆来强化当前情绪。个性化应该帮助用户看清问题，而不是让对话更像一个封闭回路。

第四，商业引导应该退出。

如果一个助手未来同时是推荐入口、购买入口、广告入口，那么脆弱和高风险场景应该成为明确的无广告、低推荐、低诱导区域。

第五，能力边界要说清楚。

不是把一句免责声明贴在最后，而是在回答方式里体现限制：哪些只能提供一般信息，哪些需要现实里的专业支持，哪些决定不应该只靠 AI 完成。

这里最容易被误解的一点是：边界模式不是让 AI 变冷。

冷冰冰的拒绝和模板化免责声明，未必更安全，也未必更尊重用户。

真正需要的是一种更成熟的温和：

能陪你整理问题，但不把你留在对话里。