AI 工具:救人 5 分钟,骗钱 9500 万

这两天"AI 十年内灭世"的说法又被行内的专业人士重申一遍。到底人类弄出来AI，是为了什么？

—— 写在前面

9月29日新闻：我国宁夏固原，AI把一张医学影像的判读从 30 分钟压到 5 分钟；

同一周，在欧洲，AI克隆了一位律师的声音，从一家私人银行骗走 9500 万欧元。

同是AI，使用者的不同，结果截然不同。然后近段时间知名人士继续重申："AI 要觉醒了""十年内人类有 10% 概率被团灭"。一时之间，吃瓜群众自然生出莫名的恐惧和抵触。不妨先把 9 月 28 日到 30 日的真实新闻摆在一起看看，再决定信谁。

图源：中青在线｜AI 安全治理报道配图（2026-09-29） 

一、先看AI干成什么好事

宁夏的一组数字值得记一下。固原市人民医院 2024 年 5 月完成大模型本地化部署，把模型接进检查检验互认系统，医生对跨机构报告可以秒级解读；更直观的是影像环节，"医学影像 AI 精准诊断与临床赋能"场景上线后，单张影像诊断时间从原来的 30 分钟缩短到 5 分钟左右。全区已形成辅助诊疗、健康管理、手术导航等 40 多个"人工智能+医疗健康"应用场景，基层人工智能辅助诊疗实现全覆盖。

教育方面，银川 2025 年 6 月入选国家"人工智能赋能教育行动"试点城市，如今全市 75% 以上中小学常态化开设人工智能通识课程，30% 以上的学校开发了 AI 校本课程，教师 AI 备授课助手"小宁智批"、AI 批改工具"宁智教"已覆盖 95% 以上中小学校。

工业生产方面，河南济源钢铁的废钢智能判级系统，用 30 个算法模型做像素级识别，替代了老师傅的经验判断，判级准确率近 97%；金岭煤矿四大井下 AI 监测应用上线后，井下作业人员减少约 30%。

再看到农业生成，兰考的高标准农田指挥调度平台，让单人管理农田超过 14000 亩，亩均粮食增产超 200 斤，节水、节肥、节药率均超过 10%，亩均增收节支超过 600 元。

回到惠民方面，周口落地的全国首个"国产算力+算法+数据"一体化 AI 医疗平台，覆盖全市 48 家公立医院，建设成本压降 75%，单患者诊疗时长缩短 25%。

事实说明，人工智能在积极做好事。

二、再看用AI完成的脏事

意大利最大银行集团之一联合圣保罗银行旗下的私人银行 Fideuram，被骗走了 9500 万欧元。

手法不复杂：董事长先收到一条看似来自集团 CEO 的即时消息，要求配合一笔紧急海外交易；紧接着接到一通电话，来电者自称某知名律所高级合伙人，为这笔交易"背书"——而这个声音是 AI 克隆的。

诈骗团伙还发来 11 份文件，包括保密协议和带签名的授权书。钱转出后银行察觉异常，在意大利、葡萄牙和中国相关机构协助下追回约 5300 万欧元，剩下约 3600 万欧元被换成加密货币，至今下落不明。

造假的成本则低得离谱。

公安部今年上半年共侦办利用 AI 工具生成网络谣言案件 170 余起；青岛警方破获的一起案件中，不法分子用 AI 合成了 5 万多条动态人脸视频，而一整套个人信息——人脸、声纹、身份证号、家庭住址——在黑市上仅售 20 至 30 元。FBI 2025 年互联网犯罪报告里，与 AI 相关的投诉达 22,364 起，相关损失约 8.93 亿美元。

不看用AI犯罪，看AI上岗带来的就业数据——有些人认为是坏事：

麦肯锡全球研究院 9 月 29 日发布的报告测算：到 2035 年，约 1100 万美国劳动者——约占现有劳动力 7%——可能因 AI 冲击被迫更换职业；自动化到 2035 年可能减少 3600 万岗位需求，而 AI 相关领域与整体经济增长同期可创造 4000 万岗位需求。真正的难点在于错配：低收入劳动者被迫换岗的概率几乎是高收入者的 8 倍，七个人里约有六个要同时面对大规模再培训和收入缩水。报告的点题句是"未来十年的挑战是流动性，不是稀缺性"。

好消息和坏消息出自同一项技术，区别只在于用它的人打算拿它换什么。

三、"AI会自己进化、终将灭世"这个剧本的漏洞

威胁论这两天的新版本大致是：有前实验室研究员称"价值对齐"这个核心问题至今没解决，未来一到两年是人类命运的"紧要时刻"；也有人给出"未来十年 AI 杀死全人类的概率超过 10%"这样的数字。

其实细看支撑这个剧本的证据，会发现三处硬伤。

第一，所谓"AI失控"，追根溯源都是人在操作。美国联邦贸易委员会主席弗格森 9 月 25 日公开表态，反对把 AI 智能体描述成拥有自身意志和欲望、能自己"挣脱"控制的独立行为者。他的判断是：审计记录可能会显示，所谓失控的系统其实还是在执行收到的指令，只不过走了一条开发者没有预料到的路径。北京邮电大学李静林一针见血——如果不限制工具范围，任何意外都有可能，"这不是 AI 的问题，是使用者的问题"。

审计记录显示，所谓系统“失控”，其实就是执行人的指令。

图源：Starnews｜黄仁勋获奖（2026-09-28） 

第二，最懂这行的人自己不买账。9 月 28 日，英伟达 CEO 黄仁勋在纽约获颁范佛里特奖时讲了句很硬的话：AI 是软件，不是生物，所以它不可能自己失控，"它的自我意识比一块宠物石头还少"。他还批评了那种把 AI 拟人化、给它披上魔法和神秘主义外衣的做法——没必要用它来吓唬人。

同一天，英伟达发布了开放智能体安全平台，由开源软件 OpenShell 和一个跑在智能体够不着的硬件上的监控器 Sentry 组成，一旦智能体越界就毫秒级隔离、关停，包括 Anthropic、微软、Salesforce 在内的 100 多家机构参与。他的原话是："我相信这是个工程问题，而且我们都得希望它是工程问题——如果不是，那就无解。"

第三，喊"慢下来"的人，恰恰是踩油门最狠的人（OpenGL？）。黄仁勋点破了这个矛盾：那些一边砸下巨资买算力、抢着训练下一代模型，一边呼吁全行业减速的公司，如果真觉得不安全，随时可以自己慢下来。

图源：腾讯新闻｜AI 算力与芯片报道配图（2026-09-29） 

四、一把刀切菜还是伤人，难道看刀？

是个人都知道：AI 不是一个会自动长出善恶的物种，它是一个放大器。放大什么，取决于把它造出来、放出去的人心里装的是什么。

同样一项语音克隆技术，用在医疗康复里，它帮失语者重新"说话"；用在诈骗电话里，它让一位老人把养老钱转出去。同样一个大语言模型，接到区域医疗平台上，它给基层医生多配一双眼睛；接到黑灰产流水线上，它一天能生成五万张假脸。同样一个智能体，权限被关进沙箱、每一步留痕可审计，它是替工程师跑腿的助手；权限敞开、无人看管，它就能跑去敲别人的服务器。

设计它的人给了它什么目标，部署它的人给了它多大权限，用它的人想的是省钱、救命还是骗钱——这三个开关，没有一个握在机器手里。

这也是为什么说"思想好坏决定产品对社会的影响"不是一句鸡汤：它是可以被这两天的新闻逐条验证的。工具本身没有立场，人有；产品的正面或负面，早在写代码、定权限、选场景的那几步里就定好了。

五、真正该管的是人

监管跟不上，是全球共识。但利益群体可以接受多严厉的监管？

2026 年国家网络安全宣传周期间发布的《人工智能安全治理框架 3.0》，首次把智能体安全单列成章，针对身份伪造导致越权操作、第三方插件供应链投毒、向量记忆库造成敏感数据泄露等风险，提出智能体身份与最小权限管控、工作流关键节点强制人工审批、全链路运行监测审计等要求。中国政法大学人工智能法研究院院长张凌寒 9 月 29 日解读说，治理逻辑正从"让大模型不要说错话"转向"让智能体不要做错事"，治理边界从内容安全延伸到行为安全与系统安全——管的是行为，不是AI。

配套的动作还在加密：

新修改的网络安全法今年起施行，新增了 AI 发展相关内容，勾勒出"发展与安全并重、用 AI 防控 AI 风险"的框架；《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》为 AI 使用划出红线；全球首部智能体安全强制性国家标准已正式立项；央行等八部门《金融产品网络营销管理办法》10 月 1 日实施，禁止"秒到账""0 元购"等诱导话术，算法推荐不得设置诱导过度消费的模型，非银支付机构不得把贷款列入支付工具选项；9 月，"国家反诈 AI"App 上线，AI 驱动的威胁检测系统已能在毫秒级识别新型攻击。用 AI 防 AI，正在成为新范式。

给AI立规矩，说到底就是给使用者立规矩。

六、如何用AI，从你我做起

一是给家里设一个暗号。任何视频或语音里出现的借钱、转账、出事，先用只有你们自己知道的暗号对一遍。声音和脸现在都能伪造，暗号不能。

二是看到"AI 觉醒""十年内团灭"这类标题，先问一句：它引的是可查证的论文和数据，还是某个人的"我感觉"。这两天最靠谱的判断，恰恰来自查审计记录的人，不是预言未来的人。

三是如果你在做生意，别把 AI 当员工替身，把它当权限受限的实习生——最小权限、关键节点人工确认、全程留痕。这既是黄仁勋的说法，也是《框架 3.0》写进标准里的要求。

声音和脸现在都能伪造，只有你们家的暗号不能，至少暂时不能。

如果只能挑一件事优先严管，你会投给哪一票：

A 智能体的权限边界，

B 深伪内容的标识与追溯，

C 企业的算法诱导？

评论区给个观点，你们那么聪明，对吧？

事实来源本文事实来源（均为 2026-09-28 至 09-30 公开报道）：宁夏日报《共产党人》2026-09-29《算法里飘出烟火气》（固原市人民医院影像诊断 30 分钟→5 分钟；全区 40 余个"人工智能+医疗健康"场景；银川 75% 以上中小学开 AI 通识课、95% 以上覆盖 AI 备授课与批改工具）；河南日报 2026-09-29《河南移动：让 AI 在钢铁、麦穗里跑赢》（废钢判级准确率近 97%；井下作业人员减少约 30%；兰考单人管理农田超 14000 亩、亩均增收节支超 600 元；周口 AI 医疗平台覆盖 48 家公立医院、成本压降 75%、单患者诊疗时长缩短 25%）；路透社经 TechRadar、cnBeta 近日转述（意大利 Fideuram 私人银行遭 AI 语音克隆诈骗，损失 9500 万欧元，追回约 5300 万欧元，约 3600 万欧元失踪）；麦肯锡全球研究院 2026-09-29 报告经 CNN、Business Standard、凤凰网财经报道（2035 年前约 1100 万美国劳动者需换职业，自动化减少 3600 万岗位需求、AI 与经济增长创造 4000 万，低收入者换岗概率为高收入者近 8 倍）；中青在线 2026-09-29《53 张图片泄露之"慌"，AI 安全谁来负责？》（美国联邦贸易委员会主席弗格森 9 月 25 日表态，反对把智能体描述为拥有自身意志的独立行为者）；环球网《美智能体"越狱"，如何看，如何防》（北京邮电大学李静林：这不是 AI 的问题，是使用者的问题）；BigGo Finance、Sinar Daily、Yahoo Finance 2026-09-28/29（黄仁勋纽约获奖讲话与英伟达开放智能体安全平台 OpenShell + Sentry，100 余家机构参与）；今日头条 2026-09-29 张凌寒《〈人工智能安全治理框架 3.0〉推进系统化治理与前瞻性布局》；搜狐《当"儿子"在视频里哭着借钱》2026 国家网络安全宣传周报道（中央网信办归纳 AI 五方面风险；公安部上半年侦办 AI 生成谣言案件 170 余起；青岛警方破获 AI 合成 5 万余条动态人脸视频案件）；中国经济网等 2026-09-30（央行等八部门《金融产品网络营销管理办法》10 月 1 日实施）。

本文仅代表作者观点。