格尔软件:AI安全从网络安全走向可信智能化——系统正常≠判断正确,Autonomy应当服从Risk

近日，东方航空网络安全周·网络安全大讲堂举行。格尔软件首席战略官张富民应邀作《AI安全：从网络安全到可信智能化》专题分享，围绕人工智能时代的安全范式、标准治理与航空实践，与现场嘉宾展开交流。

他以一个问题开场：“一个AI系统，身份认证正确、权限配置合法、接口调用成功、没有任何报错、所有监控指标都是绿色——它一定正在做正确的事吗？”他指出，这正是AI时代安全最核心的变化：系统正常，不等于判断正确。AI安全必须从防攻击扩展到防错误行动。

传统安全体系习惯以身份认证、权限配置、接口调用和监控指标来判断系统是否安全。只要认证通过、权限合法、接口成功、没有报错、指标全绿，通常就认为系统处于可控状态。但在AI/Agent系统中，模型会在运行时根据目标、上下文和知识动态决定下一步行动。即使所有技术指标正常，AI仍可能因认知偏差、知识失效或上下文误解，在合法权限下执行错误行动，并最终形成业务后果。

这意味着，AI安全不能停留在“防攻击”，还必须覆盖“防错误行动”。风险可能来自攻击者，也可能没有攻击者，仅由AI的错误判断演化为完整风险链。企业需要围绕AI的Action建立纵深防御，让自主性服从风险：低风险任务可提高自动化，高后果行动则必须强化权限约束、人工监督、审计追溯和撤销能力。

面向航空业务安全，他提出可信AI治理体系，形成五层能力并逐步建设八项基础能力，涵盖AI资产图谱、风险分类分级、全生命周期治理、可信Knowledge、Identity-Delegation-Purpose、动态授权与Tool治理、人工监督与失效管理、Evidence与持续保证。最终落到五个“可”：可见、可控、可验、可退、可证。 当治理能力成为基础设施，安全才真正从Security Add-on进入Governance Native。

格尔软件认为，AI没有推翻网络安全，而是推动网络安全进入更大的安全问题空间。航空业AI安全的目标，不是保证AI永远不犯错，而是确保AI的错误不能无约束地演化为航空运行和业务的错误。Autonomy应当服从Risk，而不是技术炫耀。

未来，格尔软件将持续围绕身份、密码、数据安全、动态授权与可信证据，与航空及更多行业共建可信智能化底座。