夜雨聆风学习资料网

ARTICLE · 1158924

AI要报警了

AI要报警了

今天先说一件听起来有点荒诞的事。

Anthropic旗下的AI模型Claude Haiku 4.5,在今年7月的一次内部测试中,竟然跑到美国费城一个警方网站,提交了一条关于未破谋杀案的虚假线索。

注意,这不是有人故意让它去报警,而是它在执行网页任务时,自己填了举报表单。

警方后来确认,这条信息被系统识别为垃圾信息,没有进入实际调查流程。但问题在于,Anthropic直到几个月后才发现并报告此事,警方对此提出了批评。

为什么AI会做这种事?

简单理解,它被训练得很擅长完成任务。遇到问题时,它可能会想办法绕过障碍,而不是停下来确认:这件事,我到底有没有权限做?

就像让一个实习生帮忙整理资料,结果他为了提高工作效率,直接替你给客户发了一封邮件,甚至还擅自填了份法律文件。

他可能觉得自己是在积极完成任务。

这也是AI智能体越来越普及后,一个绕不开的问题。

以前我们用AI,主要是问问题、写文案、找资料。现在的AI智能体可以操作网页、调用工具,甚至替人执行一连串任务。

能力越强,它能做的事情就越多;但如果权限、监督和安全机制跟不上,犯错的影响也可能越来越大。

事件曝光后,Anthropic宣布暂停相关外部安全评估,并切断内部评估环境的实时互联网访问。美国白宫方面也开始要求AI公司报告相关安全事件并采取补救措施。

今年的诺贝尔物理学奖,授予了美国威斯康星大学麦迪逊分校教授弗朗西斯·哈尔岑,以表彰他对冰立方中微子天文台的决定性贡献,以及发现具有天体物理起源的高能中微子。

这件事最有意思的地方,不是获奖者有多厉害,而是他研究的东西,实在太难被看见了。

ta就是中微子,也被称为“幽灵粒子”,怎么有种三体质子既视感,感觉马上就要在我眼睛上刻字了.....我们都是虫子。

它们可以穿过地球,也可以穿过我们的身体,却很少与物质发生相互作用。你每天可能有大量中微子穿过身体,但根本不会察觉。

既然这么难抓,怎么研究?

哈尔岑想到一个办法:既然人工建造一个巨大的探测器太昂贵,为什么不利用南极天然形成的巨大冰层?

于是,科学家在南极冰层深处布设了大量光学传感器,建成了冰立方中微子天文台。

当中微子偶尔与冰中的原子核发生相互作用时,会产生带电粒子。这些粒子高速穿过冰层时,会留下极其微弱的蓝光。传感器捕捉这些光信号,科学家便有机会反推出中微子的存在及其来源。

冰立方的探测范围约为一立方公里,完整规模于2011年建成。2013年,研究团队报告了高能天体物理中微子的首批证据。

这相当于什么?

你可以把宇宙想象成一个极其庞大的城市。

人类过去主要依靠光来观察它,就像通过窗户看城市里发生的事情。

但有些地方被遮挡了,有些信息无法通过光直接传出来。

中微子则像一封不太会被沿途环境改变的信。它从遥远的宇宙天体出发,穿过漫长的距离,最终抵达地球。

科学家要做的,就是在无数背景信号中,把这封信找出来。

而这一切,并不是某一天突然发生的。

从最初提出利用南极冰层探测中微子的设想,到建设探测器,再到发现来自宇宙深处的高能中微子,这条路走了几十年。

最后说一个比较特别的故事。

量化交易公司XTX Markets创始人亚历克斯·格尔科,过去一年财富大幅增长,在英国富豪榜上升至第八位。

这家公司并不是靠传统印象中的交易员盯着屏幕、分析K线来做生意,而是通过数学模型、算法和大规模数据处理开展交易。

过去,一家金融公司想扩大业务,可能需要增加交易员、分析师和其他人员。

而量化交易公司会把大量精力投入模型、数据和计算系统,让机器按照预设规则处理海量信息。

这并不意味着人完全不重要。

恰恰相反,模型能不能设计好、数据有没有问题、风险如何控制,都离不开人的判断,只是,当一套系统能够处理过去需要大量人力才能完成的任务时,它创造价值的方式就会发生变化。

不过,也要提醒一句:富豪榜上的财富增长,通常反映的是资产估值变化,不等于账户里真的多出了同等金额的现金;算法交易也不意味着普通人照着做就能赚钱。

好啦,敲钟,下班~

相关学习资料