AI 领域法律研究系列之136:当企业把思考外包给AI——董事会该警惕的“意识失能”风险

最近韩国学者崔成浩有一个很有趣的比喻：把人的心智比作电脑。身体是硬件（键盘、鼠标）；大脑是CPU与存储器；意识是操作系统（OS）——负责调度所有资源，决定电脑能做什么；记忆、技能、价值观是应用软件（Word、Photoshop）；而那些脱离当下感官、纯粹来自回忆或想象的念头，就是“观念”（比如闭眼想起三角形，或昨天晚饭的味道）。过去，这个比喻只用于心理学。但在生成式AI爆发之后，它对企业治理的警示意义，远远大于对个人修养的意义。

现在的趋势是：企业正在把原本属于“人脑（CPU）”和“意识（OS）”的决策功能，越来越多地外包给云端AI。这看似提升了效率，实则可能在组织内部制造一个“无意识的黑洞”。

作为常年服务企业的法律顾问，我看到的不是AI有多聪明，而是企业在依赖AI的过程中，正在丢失对自己身体的控制权。

一、企业的“OS”（决策意识）不能被架空 

“意识”是精神显现的内在世界，是调动一切资源的底层系统。对企业而言，董事会和管理层的集体判断，就是企业的“操作系统”。这个系统负责定战略、担风险、做取舍。而AI，无论多强大，本质上只是一个“高性能计算器”或“自动脚本”。现实中的危险场景：

场景A：财务决策黑箱

CFO不再亲自研读财报和市场数据，而是直接采信AI生成的“投资建议报告”并签字。此时，企业的财务决策OS实际上已经停滞，变成了AI脚本的自动执行器。

场景B：合规意识淡漠

法务部用AI检索法条，AI因训练数据陈旧漏掉了最新的司法解释。如果法务人员不复核，企业的合规OS就等于“死机”，在监管面前毫无辩解余地。

律师建议：企业必须在规章制度中明确：AI不能替代管理层的决策意识。涉及资金调拨、重大合同签署、合规风险敞口的判定，必须保留“自然人最终签字权”。这不仅是管理要求，更是《公司法》第180条规定的董事勤勉义务的体现。

二、从“感觉”到“观念”：企业资产的两种流失 

意识内容分为“感觉”（实时外部输入）和“观念”（内部记忆与想象）。这对企业的无形资产保护至关重要。

律师提示：很多企业的误区在于，只保护了“感觉”（部署防火墙防黑客），却忽视了“观念”的流失（员工随意用微信传密、用AI洗稿）。

必须建立制度：凡是构成企业“观念”（核心商业秘密）的数据，严禁输入未经安全评估的公网AI。这是企业护城河的最后一道防线。

三、警惕“数字四肢瘫痪”：业务连续性风险 

手脚是输入设备（键盘、鼠标），身体是硬件。在企业IT架构中，业务系统（ERP、CRM、MES）就是企业的手脚和躯干。如果企业过度依赖某一特定的AI接口或云服务，而不保留人工接管的能力，就会出现“数字四肢瘫痪”。

典型案例：

某制造企业全面接入AI排产系统，一旦遭遇勒索病毒攻击或API接口故障，由于员工长期依赖AI、丧失了手动排产的能力，整个工厂将被迫停产。这与“意识无法调动硬件”是同一道理。

律师建议：在制定《业务连续性计划（BCP）》时，必须加入“AI系统失效应对预案”。

数据主权：核心业务数据必须本地化备份，不能只存在AI云端。

人工回滚：关键岗位（如交易员、调度员）必须定期进行“无AI辅助”的演练，确保在算法失效时，人类的手脚（业务系统）仍能受大脑（管理层）指挥。

四、给CEO和合规委员会的实操清单 

为了防止企业变成一台“有硬件、有软件、但没有操作系统”的僵尸电脑，建议落实以下三点：

确立“人类最终责任”原则

修订《AI治理章程》，明确写入：“任何AI系统的输出，仅在经过授权管理人员的人工复核与签字后，方可作为企业决策的依据。”禁止AI全自动决策涉及重大资产、人身安全及合规事项。

区分“感觉”与“观念”的数据策略

“感觉”数据（公开/非敏感）：可用于AI训练与分析，以提升效率。

“观念”数据（核心秘密）：建立“AI隔离区”，严禁此类数据流出企业内网，严禁输入公网大模型。

保留“纯人工”的应急能力定期对关键岗位进行“去AI化”压力测试。例如，要求投资经理在不使用AI选股工具的情况下，手动撰写一份分析报告；要求客服人员在系统崩溃时，能使用纸质单据记录客户需求。“意识是精神显现的内在世界。”对于企业而言，这个世界就是企业的独立意志、风险偏好和商业伦理。AI可以提供算力，可以优化流程，甚至可以模拟对话，但它永远无法拥有属于你企业的“观念”和“意识”。不要让企业的OS变成一个单纯的“显示器”，只负责展示AI的结果。保护好董事会和管理层的独立判断能力，这才是企业长治久安的基石。

【附录：企业AI治理风险对照表】