ARTICLE · 1036925
四份新指引发布,AI进课堂、诊室和片场要重算安全账
把四份文件来回对着看，出现次数最多的动作很朴素。
有人要签字，有人要复核，系统随时得能切回人工，出了问题还要找得到当时用过的模型、数据和操作记录。
总则把一项AI应用从规划一直管到退役，共分七个阶段。选什么模型，数据从哪里来，放在云上还是本地，何时预警和回退，每一步都要留下经手人和依据。
新发布的指引文件是网络安全标准实践指南，没有新增法律义务，也不属于强制性国家标准。总则写明，监管部门和第三方测试评估机构可以参考其中的做法。
内容标识、数据安全和生成式AI服务原有法规与强制标准仍然有效。四份指南往前多走了一步，开始回答这些要求交给谁做，以及怎样塞进一所学校、一家医院或一个节目制作流程。
采购桌上因此会多出一串很实际的问题。系统交付后由谁值守，谁有权按下关停，复核要花多少人力，这些工作会不会单独收费。答案会影响项目总价，也会筛掉一批只能做演示的供应商。
01模型之外，报价单还得写什么
总则列了四种参与者。数据提供方交出训练和运行所需的数据，建设部署方把系统搭起来，运行管理方盯着它工作，访问使用方拿着输出继续办事。现实项目里，一家公司常常身兼数职，合同仍要把每一项责任落到具体一方。
过去采购文件里常见一句“供应商负责安全”。这句话很省事，真出问题时却不够用。数据有误该找谁，模型升级由谁批准，客户能不能自行停机，都需要在流程里有答案。
指南把应用安全风险分成五级，从低风险排到特别重大风险。建设部署方和运行管理方具备的安全能力，应当跟风险等级相称。如果承担不起，文件给出的处理很直接，补能力，或者换人。
模型效果可以当场演示，安全服务没法靠一场演示证明。采购方得看测试结果和运行记录，还要知道供应商半年后是否继续修漏洞、更新风险库、处理告警。
总则要求项目明确第一责任人，把模型选型、数据来源和部署方式等决定记下来。涉及生命财产安全的系统，还要提前准备一键接管、版本回退与紧急关停。
系统上线后，监测没有结束。输入与输出要有人看，应急方案要能执行。发生重大及以上事件时，系统需要关停或切换备用服务。项目退役以后，数据、账号和访问权限也得收尾。
传统软件验收时，甲乙双方常把功能表逐项勾完，后面按年维护。AI系统麻烦一些。提示词会变，数据会变，模型版本也会变，昨天通过的测试未必能替明天的输出作保证。
所以指南要求持续验证评估。供应商要保留版本、测试集和评估结果，客户则要约定复测时间。模型换到什么程度必须重走审批，也不能留到出事后再讨论。
报价单会跟着变长。权限控制、日志、防篡改、漏洞修复、备用服务都需要开发。运行以后还会发生监测、复评和演练费用，其中不少工作要持续到系统下线。
系统放在哪里，也会带来不同的支出。公有云侧重加密、隔离与审计，私有云要细分数据和权限，本地服务器还得配置防火墙、入侵检测与恶意代码防护。这些项目很难用一个模型调用单价说清。
终端设备处理的用户数据，指南原则上不建议传出设备。教育和医疗客户因此会细看本地推理、私有部署与数据管理。若防护工作交给第三方，采购方还要核对它能否长期服务，出了告警多久回应。
指南没有给预算比例，也没说一个项目该涨多少钱。现阶段能下的判断只能到这里。高责任场景购买的是一套能复核、能接管、能追责的运行办法，模型价格只是其中一行。
02三个场景把人工责任写回流程
教育指引把应用分成智能助教、助学、助研、助管和助评五类。分类很细，贯穿其中的要求却很一致，关键环节要能回到教师、监护人和管理人员手里。
AI回答不应直接成为学生咨询的最终答案。系统要支持教师或监护人控制输出层级，也要让学生主动结束会话。教学异常时，应切回人工或非AI方式。
针对未成年人，文件还提出使用时长、频率和时段管理。拟人化互动和付费功能需要额外限制，学校采购时也要把家长监督工具算进产品范围。
科研场景的边界更窄。研究选题、核心设计、数据解读和论点撰写要由研究者完成。文件明确提出，不得让AI直接生成项目申报材料、论文或研究报告。
学生管理、资源分配和学位授予等重大处置，也不能直接执行AI结论。主观作业需要人工复核，影响个人权益的评价还要由审核人员批准、否决或调整。
学校购买一套问答系统以后，仍要配置教师权限、申诉渠道和抽样审核。节省的是部分重复工作，教师与管理者承担的最终责任没有随软件合同转走。
医疗指引把这条线画得更清楚。诊断建议和治疗方案要经医生确认，医生需要结合病史和生活方式作判断。系统输出不能替代医生的专业责任。遇到胸痛、呼吸困难等急救指征，系统应中断对话并转向人工或急诊通道。处方药和用药调整建议，要由具备资格的药师复核后再推送。
医疗机构还要关注不同人群中的系统表现。技术提供方需说明适用范围和循证依据，关键生命体征与影像提示要由医生实时校验。
医院因此很难购买一个完全黑箱的结果。产品至少要让医生看到关键依据、适用人群和技术局限，还要保留拒绝建议与改用人工流程的空间。
这会压低一种过于乐观的投资回报算法。医院不能只算模型替代了多少问诊和读片时间，还要算接入病历、人工复核、故障备份和责任追溯。
视听行业面对的是另一张账。指引要求对AI生成内容做全量初步筛查，并设置初审、复审和终审等多层人工审核。
关键事实、政策表述、统计数据和引述内容需要核验。文件举出的做法，是用两个可信信源交叉核对。数据、模型、输入和交互还要写入全生命周期日志。
这会改变媒体采用AI的最佳位置。让模型整理素材、生成初稿仍可能节省时间，直接把生成结果推向播出端，反而会增加审核与事故成本。
版权也被单独点出。取得训练许可，不能自动推定已经获得复制、改编、发布或传播生成内容的许可。片场省下制作时间，法务和版权确认仍要逐项完成。
三个行业给出同一个经营信号。AI越靠近个人权益、生命健康和公共传播，最后一公里越依赖人工复核与可追溯流程。
03安全能力怎样变成采购门槛
这次发布并非孤立动作。9月14日发布的人工智能安全治理框架3.0更新了风险分类。7月的智能体安全指引已经覆盖评估、部署、使用和停用。
一系列文件正在把安全原则写成产品动作。供应商除了卖模型，还能提供测试评估、权限管理、日志审计、内容标识和本地部署。
通用平台仍能摊薄基础成本。进入教育、医疗和视听以后，厂商却需要理解行业责任。一个通用聊天界面，很难同时满足药师复核和节目终审。
能够复用日志、权限、评估和回退模块的厂商，会有规模优势。规模较小的行业软件商则可能与模型、安全测试和云服务商结成更紧的交付组合。
更现实的产品形态，是基础模型加行业工作流。模型负责生成或推荐，行业系统管理权限、证据和人工批准，运维团队再处理监控与回退。
这也会改变收费方法。调用费仍然存在，实施费、私有部署费和持续监测费会更显眼。客户购买的服务周期，也会从上线验收延长到整个运行期。
安全测试机构也可能获得新订单，但目前没有公开市场规模。指南能否创造稳定收入，还要看测评结果是否被采购方接受，以及能否跨项目复用。
风险分级同时给企业留了控制成本的工具。低风险应用没有必要照搬医疗级配置。若所有项目都按最高等级保护，许多提效项目会在审批和预算里耗尽价值。
采购方需要先说明应用会影响谁，再确定测试、人工复核和应急能力。供应商则要把功能写成可验收指标，少用“安全可信”这类无法交付的概括。
合同里的关键问题也会变化。谁更新风险库，谁保存日志，谁有权关停，供应商退出后数据如何处置，都应在项目启动前写清。
采购方最后要看的证据，通常没有演示视频那么好看。一次故障怎样回退，日志能保存多久，风险库由谁更新，供应商退出后客户如何接手，这些回答会决定项目能不能过验收。
四份指南暂时还改变不了一份具体合同。它们的影响要到招标文件里找。若采购方开始写明风险等级、人工复核、版本回退和第三方测评，供应商才会为这些工作配人、开发产品并报出价格。
接下来可以盯三件事。招标文件有没有指定第一责任人，合同有没有写清关停与回退，试点补上人工复核后能否进入正式运行。这三项比厂商又发布多少个“安全可信”功能更能说明市场有没有变化。
低风险项目仍然可以轻装上阵，医疗、教育和公共传播要多付一笔耐心钱。模型走出试点以后，谁守着它工作，终于开始被认真计价。
参考资料来源
全国网络安全标准化技术委员会，关于发布人工智能应用安全指引总则等四项实践指南的通知，2026年9月15日 全国网络安全标准化技术委员会，人工智能应用安全指引总则，2026年9月 全国网络安全标准化技术委员会，人工智能应用安全指引教育，2026年9月 全国网络安全标准化技术委员会，人工智能应用安全指引卫生健康，2026年9月 全国网络安全标准化技术委员会，人工智能应用安全指引广播电视和网络视听，2026年9月 中央网络安全和信息化委员会办公室，人工智能安全治理框架3.0发布，2026年9月14日 国家互联网信息办公室等四部门，人工智能生成合成内容标识办法，2025年3月14日发布，2025年9月1日起施行 全国网络安全标准化技术委员会，智能体部署使用安全指引发布通知，2026年7月1日