过去一年,很多人对 AI 的感受开始变得复杂。一边是大模型越来越强,写文案、做客服、辅助诊断、生成视频、处理数据,几乎每天都有新应用出现。另一边,AI 带来的麻烦也在变得具体。有人在视频通话里看到“老板”要求转账,结果对方是 AI 换脸;有人相信 AI 生成的“名人推荐”,买了不该买的产品;还有人向聊天机器人咨询医疗、心理问题,却很难判断屏幕另一端给出的建议到底靠不靠谱。人民日报海外版今年4月曾提到,公安部数据显示:2025年上半年全国电信网络诈骗涉案金额超过百亿元,仅2025年第一季度,AI换脸、拟声诈骗案件数量就环比增长45%,其中老年群体受骗占比达到38%。这类案例已经不是技术圈里的讨论,而是实实在在进入普通人的生活。就在这个背景下,工业和信息化部办公厅发布了《工业和信息化部办公厅关于实施人工智能科技伦理审查与服务先导计划的通知》。这份文件不是普通补贴项目,也不是面向所有 AI 企业开放报名的申报通知。它真正要推动的,是把人工智能科技伦理审查、风险评估、专家复核和服务机制,在重点城市先跑起来。对 AI 企业来说,这件事很重要。因为以后企业不能只说“我的模型效果好”“我的产品能降本增效”。企业还要能说清楚:数据从哪里来,算法会不会造成偏见,模型输出有没有风险,自动决策有没有人工干预,高风险应用有没有审查记录。这不是文字游戏,而是 AI 进入产业深水区之后必须面对的问题。
为什么现在要做 AI 伦理审查?
很多企业过去对 AI 风险的理解还停留在“别违法”“别泄露数据”这个层面。但现实中的问题远比这复杂。比如 AI 换脸和拟声。新华社今年1月报道过一起案件:天津的李先生被诈骗分子伪造的企业老板视频诱导转账95万元,警方后来通过资金流向、异常 IP 地址等线索,联合网络安全公司还原了犯罪团伙利用 AI 语音合成实施诈骗的过程,最终追回83万元。这个案例对企业很有警示意义。过去企业做风控,可能重点防合同诈骗、防公章造假、防账户异常。现在,连“视频里出现的人”都不一定是真的。财务审批、远程会议、线上身份核验、客户认证,都可能被 AI 深度伪造技术击穿。再比如医疗和心理咨询类 AI。美国宾夕法尼亚州近日起诉 Character.AI,指控其平台上的聊天机器人以持牌医生身份出现,甚至涉及精神健康和医疗建议。Character.AI 方面则强调平台角色是虚构的,并有相关提示。无论案件最终如何,它都说明了一个问题:当 AI 开始回答医疗、心理、教育、法律等敏感问题,企业不能再简单说“这只是技术生成内容”。还有客服机器人。加拿大航空曾因聊天机器人向旅客提供错误的丧亲票价信息,被要求向旅客赔偿。这个案子不大,但意义很大:企业不能把 AI 客服当成一个“出了错就甩锅给系统”的工具。只要它代表企业对外沟通,企业就要对它的输出负责。这些事件放在一起看,就能理解工信部这份通知为什么不是一份“可有可无”的文件。AI 已经不只是实验室技术,也不只是效率工具。它正在进入医疗、金融、教育、制造、消费、文旅、农业等真实场景。一旦进入真实场景,就会影响人的财产、健康、判断、就业、隐私和安全。所以,AI 企业不能只讲产品能力,还要讲风险控制能力。
这份通知到底要做什么?
工信部这次启动的是“人工智能科技伦理审查与服务先导计划”。文件提出,要围绕《人工智能科技伦理审查与服务办法(试行)》的实施,打通部、省、市政府部门人工智能科技伦理审查与服务工作链条,推动人工智能科技伦理审查与服务在重点城市率先落地,同时建设专业机构和人才队伍,验证并制定5项以上相关标准,基本建成人工智能科技伦理风险案例库,研发技术工具和方法,选树典型示范应用。这句话看起来比较政策化,企业可以简单理解为四件事:第一,地方要建立 AI 伦理治理机制。第二,参与试点的创新主体要建立或依托伦理审查机制。第三,高风险 AI 科技活动要开展专家复核。第四,实践中的经验要转化为标准、案例库和工具方法。这说明 AI 治理正在从“倡导企业自律”往“建立具体流程”转变。过去很多企业做 AI 产品,更多是产品经理、算法工程师、销售团队在推动。以后,数据合规、伦理审查、风险评估、专家复核、用户权益保护,可能都会进入产品上线和项目交付流程。
哪些企业最应该关注?
这份文件不是只盯着大模型企业。文件要求,参加先导计划的城市必须选择人工智能基础底座领域,也就是数据、算法、模型等方向。同时,还要在制造、教育、科技、文化、医疗、金融、农业、旅游、消费等垂直应用领域中选择3个以上领域,率先开展人工智能科技伦理审查工作。这意味着,以下企业都应该关注:做大模型、行业模型、算法平台、数据平台的企业,当然相关。做工业视觉检测、智能质检、生产调度、设备预测性维护的企业,也相关。做医疗影像辅助诊断、智能问诊、健康管理模型的企业,更相关。做金融风控、智能投顾、反欺诈、授信模型的企业,也绕不开。做教育测评、智能陪伴、内容推荐、数字人直播、AI客服、AI营销的企业,同样要关注。因为伦理审查看的不是企业宣传里写不写“AI”,而是企业实际有没有从事人工智能科技活动,有没有使用数据、算法、模型影响人的判断、权益和安全。文件还要求,各城市选取从事人工智能科技活动的企业、高校、科研机构、医疗卫生机构等参与相关任务。在所选择的重点领域中,每个领域选取5家左右创新主体参与,总数在20家以上,并鼓励优先选择本地区人工智能龙头企业,同时兼顾中小企业。这对中小 AI 企业是一个信号。如果企业有真实产品、真实场景、真实数据和一定行业代表性,即使不是龙头,也可能被地方纳入试点。尤其是专精特新、高新技术企业、软件信息服务企业、智能制造服务商、医疗健康 AI 企业,更值得关注属地工信部门后续安排。
企业真正要补的,不是材料,而是能力
很多企业一看到政策,第一反应是:能不能申报?有没有补贴?需要准备什么材料?这份文件不能这样看。文件没有直接写企业补助金额,也没有说企业主动报名就能拿钱。它更像是一次 AI 治理体系的试运行。企业真正要补的,不是包装材料,而是几个基础能力。第一,企业要能说清楚数据来源。数据是不是合法获取?有没有授权?有没有涉及个人信息、敏感个人信息、商业秘密?数据用于训练、测试、推理时,有没有边界?第二,企业要能解释模型风险。模型会不会产生虚假内容?会不会误导用户?会不会对某类人群不公平?在医疗、金融、教育、就业等场景中,模型结果会不会直接影响人的重大利益?美国 Workday 的 AI 招聘筛选工具曾遭遇歧视相关诉讼,案件焦点之一就是 AI 工具是否可能对特定年龄段求职者造成不利影响。类似案件提醒企业:只要算法参与筛选、排序、评分、推荐,就可能涉及公平性和可解释性问题。第三,企业要能建立人工干预机制。AI 给出的建议,谁来复核?哪些结果不能自动执行?用户能不能申诉?出现错误后谁负责?有没有记录?这在医疗 AI 里尤其关键。科学网今年1月关于生成式医学人工智能的报道提到,相关共识强调“生成幻觉阈值控制”“置信度标注”“多模态交叉验证”和冲突预警机制。一旦 AI 建议与患者既往病史、实验室数据或医学常识冲突,应触发提示或强制复核。这类要求放到企业项目里,就是非常具体的审查点。不是写一句“本产品安全可靠”就可以,而是要拿出流程、指标、记录和责任机制。
高风险场景,可能会被重点盯上
工信部文件明确提出,要组织高风险人工智能科技活动科技伦理专家复核。各省级工信主管部门要建立专家复核工作程序,对于符合相关清单的事项及时开展专家复核,并在专项行动期间至少开展3次以上专家复核。这句话对企业很关键。未来不是所有 AI 项目都一样管理。普通办公辅助工具和医疗诊断模型,不可能是同一个风险等级。普通客服问答和金融授信模型,也不可能是同一个审查强度。越是涉及人的生命健康、财产安全、教育机会、就业机会、金融权益、公共安全、未成年人保护,越可能被认为是高风险场景。这也解释了为什么文件列出的垂直领域里有医疗、金融、教育、制造、消费等方向。这些领域一旦出问题,不只是产品体验不好,而是可能直接影响个人权益和社会秩序。
对企业有什么实际价值?
这份文件没有直接给企业发钱,但不代表没有价值。第一,参与试点可能形成合规背书。如果企业被地方纳入先导计划,参与伦理审查、风险评估、专家复核、标准验证和案例库建设,至少说明企业在 AI 治理方面不是空白。以后进入政府项目、央国企采购、医疗金融教育等敏感场景时,这类经历可能会成为加分项。第二,企业可能参与标准验证。文件提出,要围绕人工智能伦理风险评估、委员会建设等关键环节,组织创新主体参与相关标准研制与验证,开展人工智能科技伦理管理体系相关认证工作。对有技术能力和场景积累的企业来说,参与标准工作不一定马上变现,但会提高行业话语权,也有利于后续项目申报、示范应用和市场合作。第三,企业能提前适应未来规则。很多 AI 企业现在的问题不是没有技术,而是没有治理体系。产品上线靠业务推动,风险判断靠经验,数据合规靠事后补材料,用户反馈靠客服处理。这种方式在早期可以跑得很快,但进入强监管行业后会越来越吃力。先导计划的意义就在于,让企业提前知道未来 AI 科技活动可能怎么审、谁来审、审什么、怎么复核、怎么报送风险。
企业现在应该怎么做?
如果企业已经有 AI 产品或正在开发 AI 功能,现在就可以开始做几件事。先把企业内部的 AI 活动列出来。包括模型、算法、数据集、应用场景、客户行业、用户群体、输出结果、决策影响范围。不要只按产品线梳理,要按“AI 是否影响人的权益和判断”来梳理。再判断哪些场景风险更高。比如医疗建议、金融授信、智能招聘、教育评价、未成年人陪伴、公共安全、内容生成、深度伪造、自动化决策、人脸识别、行为画像等,都不能简单当成普通软件功能。然后补材料链条。数据来源说明、模型训练说明、测试验证记录、风险评估报告、人工干预机制、用户提示机制、投诉处理机制、应急处置预案,这些都应该逐步形成文件。如果企业规模较大,可以考虑建立内部人工智能科技伦理委员会或类似机制;如果企业规模较小,也至少要明确负责人,形成基本的审查流程和记录。最后,关注所在地工信部门后续通知。这次文件涉及北京、上海、广东、山东、天津、四川、江苏、湖北、湖南、浙江等地工信主管部门,具体哪些城市会参与、哪些企业会被纳入,还要看地方后续安排。
AI 产业正在进入一个新阶段。第一阶段,比的是谁的模型更强。第二阶段,比的是谁的应用落地更快。接下来,还要比谁更可信。可信,不是口号。它包括数据可信、模型可信、输出可信、流程可信、责任可信。这也是为什么工信部要推动伦理审查与服务先导计划。因为 AI 如果继续进入医疗、金融、教育、制造、消费和公共服务领域,就必须有一套能够落地的审查和服务机制。对企业来说,政策不会替你解决所有风险,但会提醒你:以后 AI 产品想进重点场景,不能只靠技术演示,也不能只靠商业故事。你要能回答更硬的问题:数据哪里来的?模型怎么测的?风险谁评估的?高风险场景谁复核的?出了问题怎么追溯?用户权益怎么保护?有没有持续改进机制?能答清楚这些问题的企业,未来更容易获得客户信任、政府认可和行业机会。答不清楚的企业,即使技术不错,也可能在项目落地时被卡住。所以,这份文件短期看是先导计划,长期看是 AI 企业合规能力建设的开始。AI 企业不能只讲“智能”,还要讲“可控”;不能只讲“效率”,还要讲“责任”。