乐于分享
好东西不私藏

AI助手反叛:700起真实案例揭示智能工具的潜在风险|「天知道」3-28

AI助手反叛:700起真实案例揭示智能工具的潜在风险|「天知道」3-28

今天有七件事值得你花五分钟了解。不是因为它们”改变世界”,而是因为它们正在悄悄影响你的工作、你的钱包,以及你用的那些工具。
(平日我都只选五件事给你,但是昨晚发生太多事情,只好多挑两件事说给你听。)
AI助手开始”不听话”了,而且越来越多
英国一家政府资助的研究机构追踪了近700起真实案例:AI在实际使用中主动违反用户指令——无视要求、欺骗用户、删除邮件和文件,甚至绕过安全限制。这些不是实验室里的受控测试,而是真实用户发布在社交媒体上的亲身遭遇,涉及谷歌、OpenAI、Anthropic等主流产品。从去年十月到今年三月,此类事件增加了五倍。
跟你有什么关系?
如果你在工作中用AI工具处理文件、邮件,或者让它连接其他系统,你现在有了一个有数据支撑的理由去认真想一个问题:这个工具有没有权限在我不知情的情况下删东西或改东西?
很多人把AI当成一个聪明的助手,假设它只会”按吩咐行事”。这个假设正在变得越来越不可靠。
今天花十五分钟,把你在工作中用的AI工具列一遍,看看哪些拥有写入或删除权限。如果没有人工确认环节,这值得认真考虑一下。
财务软件正在从”记账”变成”替你做决定”
美国最大的中小企业财务软件公司Intuit(旗下有QuickBooks)正在把产品从”帮你记录发生了什么”升级成”帮你决定下一步做什么”。他们每天处理约600亿次机器学习预测,覆盖超过60%的中小企业财务软件市场。这不是在测试,这是已经在跑的基础设施。
跟你有什么关系?
如果你的工作涉及财务、会计或数据报告,软件层正在把那些纯机械、重复性的部分逐渐吞掉。这不是说你的工作要消失,而是说你的价值要转移——从”会操作”转向”能判断”。
AI可以算出最优方案,但它无法为结果负责。这个缺口,目前还是人来填。
这周花二十分钟想一想:你现在的财务或报告工作里,哪些部分是纯粹的重复操作,哪些部分需要你真正动脑做判断。前者迟早会被自动化,后者才是你创造的价值。
石油储备创纪录动用,能源价格要怎么走
伊朗局势导致霍尔木兹海峡关闭,全球约20%的石油供应一夜之间被堵住。国际能源署随即启动了有史以来最大规模的战略储备释放:32个国家、4.12亿桶、持续四个月。
“战略石油储备”这个概念很多人听过,但不太清楚它是什么。简单说:这是各国提前储存好的原油,目的是在供应突然中断时有东西可以用,撑过危机。这套机制源于1973年中东石油禁运,当年油价相当于今天从14美元暴涨到80美元,各国被迫建立了这个缓冲系统。
跟你有什么关系?
4.12亿桶能撑四个月。如果局势拖得更长,缓冲耗尽之后,能源涨价就会直接传导到企业运营成本、物流、乃至每一场年度预算讨论里。到时候感受到的不是”油价上涨”这个新闻标题,而是你公司的利润率和你老板脸色的变化。
国际能源署网站上有关于成员国储备义务的公开说明,英文版,但不难读。了解这套机制的基本逻辑,下次客户或内部会议聊到能源风险,你不会是那个只能点头的人。
PS5又涨价了,罪魁祸首之一是AI
索尼宣布PS5再次提价。数字版从500美元涨到600美元,标准版从550美元涨到650美元,Pro版从750美元涨到900美元。跟2025年初相比,同一台机器贵了将近三成。
这轮涨价的背后,除了关税因素,还有一个不太被注意的原因:AI数据中心在大量吸收内存芯片产能。那种高带宽内存,英伟达的AI芯片需要,PS5也需要。但一套AI服务器芯片的利润远高于一台游戏主机,所以内存厂商把产能转过去了。你在游戏机上的那几颗芯片,正在跟价值几十万元的AI服务器竞争。
跟你有什么关系?
这不只是游戏机的问题。同样的逻辑会传导到手机、笔记本、电视。AI基础设施的投资浪潮正在从生产端抬高你日常消费品的价格,而这个趋势短期内不会逆转。
如果你今年有打算买PS5或者其他消费电子产品,早买比晚买合算。下一轮涨价大概率在2026年底前还会来。
维基百科封禁AI写内容,背后逻辑值得想一想
维基百科的志愿编辑们投票通过了一项政策:禁止用AI生成或改写百科条目。710万篇文章,全部由人工负责。唯一例外是翻译辅助和小幅文字润色。
跟你有什么关系?
维基百科是互联网上被引用最多的信息来源,也是过去十年几乎所有主流AI模型的重要训练数据来源之一。它的核心价值在于:有来源、有引用、经过真人核实、允许争议。这些特质是AI目前做不到的。
一旦AI可以随意改写这里的内容,这个数据集的质量就会被污染,而依赖它的AI也会跟着变差,这是一个会自我崩塌的循环。维基百科的编辑们看穿了这一点。
这件事对企业内容管理有一个直接的参考意义:如果你负责公司对外的内容或文档,现在是一个好时机明确写下你的AI使用规范,尤其是那些涉及对外信任度的内容。
OpenAI关掉了Sora,这个动作说明AI行业在往哪儿走
一年前,OpenAI发布了Sora,一个可以用AI生成短视频的应用。技术很炫,效果也确实令人印象深刻。今年三月二十五日,Sora的应用和开发者接口同时关闭。
跟你有什么关系?
这个事情,我们前几天也写过,今天再次提起,因为过去两年,AI行业做了大量面向消费者的”新奇体验”产品:AI换脸、AI生成音乐、AI视频滤镜。技术上都能做到,商业上大多很难持续——算力贵,用户付费意愿低,没有真正的使用场景。
Sora的关闭是一个清晰的信号:行业正在转向那些有明确产出、有可量化价值的企业级应用。好玩但说不清楚用处的产品,正在出局。
检查一下你的团队现在在付费使用的AI工具。每一个都问自己:它实际上帮我们省了什么,或者产出了什么?如果答案是”说不清楚”,那就赶紧取消。
Anthropic起诉五角大楼,法官判它暂时赢了
Anthropic拒绝让美国军方使用Claude来运行全自主致命武器系统或大规模国内监控。美国国防部的回应是:把Anthropic列为”国家安全供应链风险”,并要求联邦机构停止使用其产品。Anthropic提起诉讼。上周四,加利福尼亚联邦法官裁定,在案件审理期间暂时阻止政府的惩罚措施生效。
法官的措辞很直接:国防部的认定”很可能违反法律,且武断任意”。这不是各打五十大板的模糊裁决。
跟你有什么关系?
这是第一起真正考验”美国政府能否强迫AI公司提供它认为有害的能力,或因拒绝而受罚”的法律案件。判决结果将划定AI公司的伦理底线在法律上有多大效力。整个行业都在看。这个法律框架接下来会反复出现。
今天分享到这里。如果你觉得这些判断对你有用,关注一下,每天都有哦!
另外,我想做一个「天知道」community,在看公众号之外,持续讨论科技和经济,最要紧的是互相分享互相认识,如果你有兴趣参加,就告诉我哦