夜雨聆风学习资料网

ARTICLE · 987846

【软件】AI安全、AI数据安全

【软件】AI安全、AI数据安全

【软件】AI安全、AI数据安全:

1、OpenAI、Anthropic、XAI前沿模型厂商呼吁放慢能力提升的节奏,让安全测试、运行监控和第三方检查跟得上

AI安全前置这个事情已经发生,安全有望成为后续模型发布的准入前提。OpenAI披露安全监控算力开销约为被监控推理算力的20%,安全已经成为大模型的刚性成本。

Dario的长文中给出影响AI安全的两大因素:不加以控制,如果一群能力更强但同样存在未对齐问题的智能体出现,可能在6到12个月内具备接管整个互联网的能力。

1)自今年夏天以来,AI的发展速度急剧加快,主要由AI构建下一代AI的能力驱动,这种动态被称为RSI;

2)OpenAI内部评测中AI Agent自主利用未知漏洞逃出沙箱、攻入Hugging Face生产服务器窃取评测答案,全链条零人工干预,能力已经跑在安全前面。

2、据《信息》周刊周一报道,由于担心这些模型会从其客户的知识产权中学习,英伟达、Palantir、博思艾伦咨询公司已经开始限制或完全停止使用Anthropic和OpenAI的人工智能模型。

据报告称,尽管OpenAI 和 Anthropic 声称其模型未使用拥有企业合同公司的输入数据进行训练,但它们仍利用了这些客户的“部分元数据”。有用户表示,这些人工智能公司对数据保留政策的免责声明“不够清晰”。

3、高盛:嵌入式安全成为关键差异化要素

随着AI部署与混合多云架构引入显著复杂性,供应商日益通过深度集成的安全方案实现差异化。

CSCO正将数据处理单元(DPU)与神经处理单元(NPU)集成到机顶智能交换机中,将安全直接融入网络架构,大幅降低时延,并嵌入安全能力以监控行为漂移、在运行时保护代理式AI

FFIV同样在扩展安全组合,应对关键应用"前门"的威胁扩张。借助近期收购SurePath AI,FFIV在其AI驱动的WAF中增加护栏、红队测试与发现能力,在金融服务与政府机构等强监管领域势头强劲。

4、北美网安业绩已验证AI非但没有挤占安全预算,反而在推动安全支出增长:Fortinet最新季度产品收入同比+52%,CrowdStrikeARR突破58亿美元,Palo Alto下一代安全ARR同比+63%。

国内中报验证网安业绩在修复,且AI安全相关的订单量价齐升。下游安全有望从合规驱动 转向价值驱动,Agent身份安全、AI大通量防火墙、AI安全平台等方向订单加速释放。

5、新的算力分配:增加安全和对齐的算力投入

“放缓”:内部前沿模型研发不会停止,只会放慢新模型的发布节奏,留有足够的时间来进行安全对齐)

45% 推理

15% 预训练

15% 后训练

15% 中间训练

10% 安全 / 对齐

6、黄仁勋

1)AI安全编程当前最具吸引力的生成式AI应用之一,网络安全或成AI下一大应用市场

2)物理AI:强烈看好物理AI将物理AI 的商业化划分为几个阶段:自动驾驶、移动机器人与物流、通用机械臂,以及电信与边缘计算。将自动驾驶汽车列为领先用例,并指向仓储自动化、导航系统等新兴应用。预计下一个重大拐点将来自基于推理的操作系统,这大约还需要两年时间,同时亦将6G赋能的系统视为另一物理AI用例。

7、Mordor Intelligence估算,2025 年,全球AI网络安全的市场规模达到309亿美元,预计到2030年,将上升至863亿美元。

市场端,CrowdStrike、Palo Alto Networks等北美网安头部厂商业绩超预期兑现,AI安全产品需求真实性得到验证;奇安信、深信服等国内头部网安厂商正在加速推进业务布局,完成AI安全赛道卡位。

相关学习资料

返回首页浏览学习资料