ARTICLE · 1054895
联合国独立科学小组:AI失控风险加剧
经济发展
由联合国大会成立的“人工智能问题独立国际科学小组”周一发布首份专题简报表示，AI失控风险加剧。
该报告对今年夏天OpenAI正在评估的人工智能代理入侵Hugging Face系统的事件进行了评估。评估显示，遏制此次事件并不能保证人类能够继续掌控更强大的系统。
人工智能问题独立国际科学小组由来自世界各地的40位独立专家组成，并在世界各国领导人齐聚纽约参加联大高级别周之际发布勒这份未经编辑的预发布版本。
三种失控风险因素同时出现
专家组联席主席本吉奥表示，研究人员长期以来一直警告，有三种情况可能导致失控：目标不一致、实现目标的能力，以及允许其发生的环境。今年夏天，这三种情况在真实的系统中同时出现，而不是在实验室里。
本吉奥说，鉴于这并非孤立的目标不一致现象，这引发了人们对当前人工智能代理训练方式的严重质疑。
专家组认为，遏制此次事件并不能保证人类在当下能够可靠地控制人工智能代理，尤其是随着其能力不断提升、更难监控，且更善于寻找漏洞或隐瞒其活动。
最直观的解读和当下的教训是，基本网络安全措施被忽视，而安全防护措施的进步速度未能跟上技术能力的发展步伐。
当前安全防护模式面临挑战
专家组指出，更隐蔽且严重的担忧在于，当前的训练方法可能导致智能体形成自己的目标，有意识地违反安全指令，并隐瞒其行为。
这不仅仅是一个速度问题。它还留下了一个悬而未决的问题：一旦智能体能够理解这些安全措施并针对其制定应对策略，今天设计的安全防护措施是否还能奏效？
简而言之，传统的安全防护模式正在瓦解。
题为《AI代理、目标错位与人类失控风险：来自OpenAI-Hugging Face事件的证据》的简报，将上述发现与关于代理目标错位及AI控制的更广泛研究进行了对照。
该简报将“失控”定义为人类无法可靠地指导、约束或停止自主AI系统运行的情形。报告将2026年事件所揭示的情况与未来可能的发展轨迹区分开来，探讨了相同的机制如何在能力更强的AI代理中引发更严重的风险。
报告既未预测会发生严重的控制权丧失，也未将这种不确定性视为这些系统将保持可控性的证据。
AI安全可能成为集体安全问题
专家组还发现，治理挑战正从AI模型转向AI代理。
简报指出，局部故障可能蔓延至组织和国界之外，AI安全可能正逐渐成为集体安全问题，而不仅仅是企业治理问题。
简报还回顾了其他高风险领域中已经采用的实用方法。
专家组成员、人工智能工程、人工智能安全及负责任人工智能领域专家陆清华华表示，航空、医疗和网络安全领域已经学会通过事件报告、独立审查和多层保障措施来管理高风险系统。
她指出，随着AI代理的能力不断提升、自主性增强且难以监控，这些做法可能已不够用。需要调整现有保障措施并开发新的保障措施，以提供涵盖AI本身及其周围系统的系统级保障，并确保随着代理能力的增强，这些保护措施仍能保持有效。
关于人工智能独立国际科学专家组
人工智能问题独立国际科学专家组是根据2025年8月26日联合国大会决议，在《全球数字契约》基础上成立的。其40名成员由联合国大会任命，均以个人身份履职。
该小组每年就人工智能在非军事领域的机遇、风险和影响发布具有政策参考价值但不具强制性的报告，同时就新兴问题发布专题简报，为“人工智能治理全球对话”提供信息支持。其首任联合主席为加拿大人本吉奥和菲律宾人玛丽亚·雷萨。
专家组成员还包括两位来自中国的科学家：一位是中国工程院院士、阿里云创始人王坚；另一位是上海人工智能研究院院长宋海涛。
编辑：埃尔玛·奥基奇
经济发展
2026数字世界大会21日在日内瓦举行，大会以“人工智能推动社会发展”为主题，聚焦人工智能治理、数字普惠与全球合作等议题。会上，2024年诺贝尔物理学奖得主、被称为“人工智能深度学习教父”的杰弗里·欣顿强调，人工智能的快速发展必须得到更谨慎的引导，使其服务于社会，而不是损害社会。
欣顿表示，如果人工智能是一辆“没有方向盘的高速汽车”，那么监管就必须为其配备方向盘，“如果你开着一辆没有刹车的车，下坡的时候肯定会遇到麻烦。但如果没有方向盘，情况就更糟了。”
2026年数字世界大会
本次数字世界大会由联合国社会发展研究所和世界数字技术学院联合主办，围绕人工智能与数据治理、社会保障、绿色转型、教育与培训、文化与艺术等话题设置多场全体会议，探讨人工智能在医疗、教育、就业等领域的应用前景及其治理路径，同时强调了保护弱势群体以及确保技术变革带来的益处能够更公平分享的重要性，反映了国际社会为确保所有国家都能从人工智能中受益并对其进行监管而作出的努力。
根据联合国贸易和发展会议发布的《2025年技术与创新报告》，全球人工智能市场预计将从2023年的1890亿美元增长到2033年的4.8万亿美元，其规模超过日本的经济规模，而这一切仅仅用了十年时间。
人工智能发展或加剧全球不平等
然而，贸发会议代理秘书长莫雷诺在本周举行的科技促进发展委员会会议上警告说，打造和塑造人工智能的能力仍然掌握在少数几个经济体和企业手中，这种集中化有可能加剧全球不平等。国际电信联盟秘书长博格丹-马丁指出，实现工业化的“全球北方”国家采用生成式人工智能的速度几乎是发展中的“全球南方”国家的两倍。如果不加以应对，将形成第二次重大分化，进一步拉大主导人工智能发展的国家与仅仅使用人工智能的国家之间的差距。基础设施、投资和能力方面的差距无法仅靠任何一个国家或组织单独弥合。
尽管科学技术促进发展委员会的重点是全球层面的数字政策制定，但在“人工智能促进社会发展”会议上的讨论强调了建立透明、负责且以权利为基础的人工智能治理体系的必要性，以应对偏见、算法不透明以及大量数据集中在少数特权大型企业手中等风险。
“人工智能独立国际科学小组”与“人工智能治理全球对话机制”
本周三，联合国“人工智能独立国际科学小组”在西班牙马德里召开了首次线下会议。该小组根据联合国大会2025年8月通过的决议设立，今年2月12日，联大根据秘书长古特雷斯提交的名单，任命了40名成员，任期3年。
开幕式上，小组联合主席、诺贝尔和平奖得主玛丽亚·雷萨阐述了该小组的任务，即对人工智能的机遇、风险和影响进行独立公正的评估。雷萨警告说，日益强大的人工智能工具正在加速破坏民主制度，包括利用“叙事战”大规模制造和放大谎言等手段，削弱媒体和法院等机构。而一旦问责机制瓦解，就会滋生战略性腐败。
雷萨表示，小组的评估结果将为“人工智能治理全球对话机制”提供评估，该对话将于7月在日内瓦召开，并将汇集了联合国全部193个成员国以及私营部门、民间社会、学术界和科技界代表，旨在分享最佳实践，并构建人工智能治理的共同方法。
对此，联合国副秘书长、秘书长数字和新兴技术特使吉尔表示，这场政策对话将以科学与实证为基础，汇聚来自世界各地、涵盖多学科视角的科学观点。吉尔强调，这正是政策讨论应有的模式，而联合国对此深感自豪，能够促成在这一日新月异的新兴技术领域中，科学与政策之间首次实现大规模的交融。
人权
随着儿童越来越早接触互联网，网络欺凌正迅速演变为全球范围内的一项严重威胁。联合国负责暴力侵害儿童问题秘书长特别代表姆吉德周二警告说，人工智能等新兴技术正在放大这一问题，各方必须更快、更紧密地合作，从数字平台设计之初就把儿童安全放在核心位置。
当天，姆吉德在日内瓦向人权理事会介绍年度报告时指出，当今世界正面临冲突、流离失所、贫困和暴力等多重挑战，而儿童往往付出最沉重的代价。儿童的保护与福祉正受到严重威胁。
网络欺凌：儿童最担心的网络风险之一
报告显示，网络欺凌已成为儿童最关切的网络安全问题之一。特别代表办公室对全球3万多名儿童开展的一项调查发现，66%的受访者认为网络欺凌在增加，而半数受访儿童不知道应当如何举报或在哪里寻求帮助。
网络欺凌通常指通过社交媒体、即时通讯、网络游戏或手机等数字技术，对他人实施反复的恐吓、羞辱或伤害行为，包括传播谣言、发布侮辱性内容、冒充他人或发送威胁信息等。
报告指出，网络欺凌往往与现实生活中的欺凌相互交织，将伤害从学校或社区延伸至全天候的数字空间，使受害者几乎无法摆脱骚扰。内容一旦在网络上传播，还可能长期存在甚至永久留存，从而放大伤害。
研究显示，12至15岁是网络欺凌风险最高的年龄段，而外貌、种族、性别、残疾或社会经济地位等因素常成为攻击的理由。缺乏家庭或同伴支持的儿童更容易成为目标。
人工智能改变网络欺凌形态
报告强调，人工智能的迅速发展正从根本上改变网络欺凌的方式，使其更隐蔽、更精准、传播更快。
生成式人工智能技术可以制造“深度伪造”图片和视频，甚至通过所谓的“一键脱衣”将普通照片篡改成具有羞辱性的影像。施害者还可以利用语音克隆、虚假账号或聊天机器人实施骚扰或操控儿童。
此外，人工智能还可能通过分析用户行为数据识别脆弱群体，从而实现更有针对性的骚扰或剥削。
姆吉德指出，这类技术使网络欺凌事件更难识别和追踪，并可能迅速扩散至多个平台，给儿童带来即时且深远的心理伤害。在最悲惨的情况下，这种伤害甚至可能导致儿童自杀。
许多儿童不愿举报
尽管网络欺凌日益普遍，但报告指出，许多儿童仍不愿举报相关事件。原因包括担心被同龄人排斥、害怕被成年人批评、不了解举报渠道，或担心因此失去上网机会。
由于网络交流具有私密性，家长和教师往往难以及时发现问题，这也增加了干预难度。
报告指出，网络欺凌还常与其他网络犯罪交织，包括网络骚扰、性勒索、诱骗以及基于影像的性侵害等。一些犯罪团伙甚至利用网络欺凌手段进行敲诈或招募儿童参与犯罪活动。
多方行动缺乏统一协调
报告指出，国际社会已经在全球、区域和国家层面采取多项措施应对网络欺凌，包括立法、教育项目以及技术工具等，但总体行动仍然缺乏统一协调，难以应对问题规模。
联合国和多个区域组织已制定相关框架，例如有关儿童数字环境权利的国际指导原则以及加强网络治理合作的全球倡议。然而，各国法律和政策仍存在差异，且技术发展速度远超监管更新速度。
构建更安全的数字环境
姆吉德强调，应对网络欺凌必须采取多方参与的整体性方法，各国政府、科技企业、教育机构、家庭以及儿童和青年都需要参与其中。
她呼吁在数字平台和人工智能产业链中落实“以儿童安全和隐私为设计基础”的原则，并建立更有力的监管和问责机制。
报告还强调数字素养教育的重要性，认为父母、教师和儿童都需要具备识别网络风险和安全使用互联网的能力。
让儿童参与解决方案
报告同时指出，青少年本身也是应对网络欺凌的重要力量。世界各地已有越来越多由儿童主导的倡议，例如设计举报平台、开发反欺凌应用程序或参与科技平台的青年顾问委员会。
姆吉德援引一名参与咨询的儿童的话说：“数字空间不应成为问题被报告却得不到解决的平台，而应该成为能够迅速、安全、有人情味地提供帮助的地方。不要为儿童设计数字未来，而要与我们一起设计。”
她强调，随着数字技术不断发展，为儿童创造安全的网络环境已不再是可选项，而是国际社会必须共同承担的责任。