从聊天工具到桌面代理:AI代理的数据风险与合规边界
从聊天工具到桌面代理:AI代理的数据风险与合规边界
一、引言

近期,以 Claude Computer Use为代表的桌面代理能力引发了广泛关注。与传统大模型主要停留在问答和文本生成层面不同,这类工具开始能够通过界面理解和操作,执行具体任务,逐步进入邮件、浏览器、本地文件和桌面应用等真实工作环境。大语言模型由聊天工具走向桌面代理,正在重塑人机交互的边界。
然而,技术能力的外溢也意味着风险边界的外扩。当 AI 不再只是生成内容,而开始接触环境、调用权限并实施操作时,数据合规的讨论对象也不再只是单纯的输入了什么、输出了什么,而是进一步扩展到了它看到了什么、接触了什么、做了什么,以及事后能否追溯的深水区。
二、概念澄清:视觉代理不是传统爬虫
在最初和同行讨论AI 能否代替我们在网上立案系统中完成全自动申请时,出于曾经的前端开发程序员的技术惯性,我的一个本能判断是——这类功能大概需要依赖爬虫,去解析网页底层结构或者打通系统接口来实现。

但随着对 Claude Computer Use 等新型桌面代理的深入观察,我意识到这个基于传统技术认知的判断其实并不准确。这类工具真正改变的,恰恰不是抓取网页数据的能力,而是自动化的实现路径。
传统爬虫的中心是读网页。它通常直接请求服务器,依赖对 HTML 或接口返回值的解析。一旦目标系统更改了前端代码的嵌套层级或加入了反爬机制,这类脚本往往就会失效报错。
而视觉代理的中心是用界面。它不依赖开放 API,也不以解析底层代码结构为前提,而是像人类用户一样看见页面——识别元素——进行输入。借助系统界面的交互功能,它在 GUI(图形用户界面)层面直接完成点击、录入和提交等动作。

我们日常高频使用的网上立案系统恰好说明了这一差异。出于司法数据安全与身份核验的考量,法院立案系统通常并不是为第三方商业 AI 开放接口而设计的。但其实际操作流程中,却包含了大量标准化、重复性的表单填写和诉讼材料上传步骤。从抓取代码的角度看,立案系统防范严密,并非一个典型的爬虫适用场景。但从通过界面完成任务的角度看,它却非常契合桌面代理的运作逻辑。只要界面元素可读、可操作,代理程序就能尝试推进任务流程。
也正因如此,当自动化工具不再依赖代码接口,而是开始直接接触和操作桌面环境时,法律与合规的风险重心也因此不再局限于传统意义上的数据抓取合法性,而是进一步扩展到了环境接触、屏幕暴露、权限调用和高风险动作执行等更为复杂的深水区。
三、使用者视角:环境接触扩张下的数据与保密风险
对于将电脑操作部分交给 AI 代理的个人与企业而言,首先需要面对的风险,并不是模型是否足够聪明或是偶尔的幻觉,而是其在执行任务过程中会接触到多大的系统环境范围。
(一)屏幕暴露与最小必要原则的内在冲突
与传统 API 式自动化通常严格围绕特定字段、特定接口展开不同,桌面代理往往需要通过屏幕截图或界面识别来理解当前页面和操作目标。正因如此,当用户仅仅希望其处理某一份特定文档、填写某一个表单或完成某一步骤时,代理实际接触到的信息范围,却可能扩大到整个活动窗口、相邻界面元素乃至系统通知等与当前任务毫无关联的内容。
例如,在代理自动处理诉讼立案材料或企业机密文档的过程中,屏幕边缘弹出的工作群聊通知、后台半遮挡状态下的往来邮件、浏览器其他标签页中遗留的客户身份信息,都可能不可避免地进入代理的可见范围。
《中华人民共和国个人信息保护法》第6条 处理个人信息应当具有明确、合理的目的,并应当与处理目的直接相关,采取对个人权益影响最小的方式。收集个人信息,应当限于实现处理目的的最小范围,不得过度收集个人信息。
在桌面代理的应用场景中,矛盾恰恰在于,用户的处理目的也许是极其局部的,但代理的环境接触却往往是扩张的。这种以全局环境感知来换取前端执行能力的技术路径,若再叠加将截屏画面传输至云端大模型进行多模态推理的过程,将使得这类工具在最小必要原则的审视下,天然面临着极高的合规解释压力。
(二)复合型的个人信息出境与保密违规管控
除了屏幕环境本身可能带来的扩张性暴露,使用海外桌面代理还可能进一步叠加个人信息跨境流动与企业内部保密控制的双重压力。
这里讨论的是海外桌面代理,并不仅指Anthropic旗下产品,虽然Anthropic不给中国人用……
现实中的问题并不在于所有此类使用都会当然构成违法出境,但如果相关截图、识别结果或操作上下文需要传输至境外服务器处理,且其中包含个人信息,那么这类场景就可能落入《个人信息保护法》关于个人信息出境规则的适用范围。
例如,当律师借助此类代理阅读并整理包含客户身份证件、联系方式的诉讼材料,或者企业 HR 使用其处理含有员工薪酬、身份信息的电子表格时,代理在执行过程中的视觉读取和云端推理,便可能引出个人信息出境合规问题。依照《个人信息保护法》第三十八条、第三十九条和第五十五条,向境外提供个人信息需要满足相应法定条件,并在适用情况下履行告知、单独同意和事前个人信息保护影响评估等要求。
《中华人民共和国个人信息保护法》第38条 个人信息处理者因业务等需要,确需向中华人民共和国境外提供个人信息的,应当具备下列条件之一:(一)依照本法第四十条的规定通过国家网信部门组织的安全评估;(二)按照国家网信部门的规定经专业机构进行个人信息保护认证;(三)按照国家网信部门制定的标准合同与境外接收方订立合同,约定双方的权利和义务;(四)法律、行政法规或者国家网信部门规定的其他条件。中华人民共和国缔结或者参加的国际条约、协定对向中华人民共和国境外提供个人信息的条件等有规定的,可以按照其规定执行。个人信息处理者应当采取必要措施,保障境外接收方处理个人信息的活动达到本法规定的个人信息保护标准。
第39条 个人信息处理者向中华人民共和国境外提供个人信息的,应当向个人告知境外接收方的名称或者姓名、联系方式、处理目的、处理方式、个人信息的种类以及个人向境外接收方行使本法规定权利的方式和程序等事项,并取得个人的单独同意。
第55条 有下列情形之一的,个人信息处理者应当事前进行个人信息保护影响评估,并对处理情况进行记录:(一)处理敏感个人信息;(二)利用个人信息进行自动化决策;(三)委托处理个人信息、向其他个人信息处理者提供个人信息、公开个人信息;(四)向境外提供个人信息;(五)其他对个人权益有重大影响的个人信息处理活动。
而在日常高频、碎片化的办公流转中,普通员工或个人使用者往往很难清晰识别,哪些画面内容已构成个人信息、哪些信息会被境外服务端接触、谁是境外接收方,以及是否已经完成相应的内部授权和外部合规程序。
也正因如此,这类无感且嵌入式的桌面代理机制,不仅可能给使用者带来个人信息出境层面的合规压力,也可能绕开企业既有的数据防泄漏、终端管控和供应商接入审批逻辑,使屏幕环境本身成为新的数据外溢路径,从而给保密制度和数据分级分类管理带来额外风险。
(三)加密资产等高敏财产控制信息的放大风险

在涉及加密资产的钱包地址、助记词、私钥,或者企业核心财务数据、账户控制信息等场景中,桌面代理的环境接触能力会进一步放大财产安全与核心数据安全的风险。
这类信息中,部分可能构成个人信息甚至敏感个人信息。即便不落入个人信息范畴,也通常属于对账户控制、财产安全或企业核心利益具有高度敏感性的控制性凭证。也因此,其法律风险不宜仅从《个人信息保护法》的角度去机械理解,还必须置于《中华人民共和国数据安全法》确立的更广义的数据安全保障义务下进行审视。
问题的关键并不只在于这类信息本身极具敏感性,更在于桌面代理的工作机制,会使其在处理其他毫无关联的任务时,更容易经由截图、剪贴板、后台文档或临时弹窗,让这些高敏信息意外进入代理的可见与可操作范围。一旦叠加视觉模型的误识别、误操作,或是遭遇网页端隐藏的间接提示词注入攻击,相关凭证就可能被错误读取、甚至触发高风险的越权指令,而此类在 Web3 或金融系统中的错误执行往往极难逆转。
对个人用户而言,这意味着财产控制信息意外暴露所带来的受损风险被无形放大;对企业而言,一旦允许不受充分控制的视觉代理在处理高敏数据的终端上运行,无疑将明显加大其履行法定数据安全保障义务的难度,对既有的数据安全控制体系与防御边界形成严峻挑战。
四、国内厂商视角:开发桌面视觉代理的法律与合规边界
随着海外桌面代理能力的突破,国内必然会涌现出一批致力于研发本土桌面视觉代理的 AI 厂商。然而,对于这些企业而言,技术的实现固然是壁垒,但如何在这个尚未被传统规则完全覆盖的新型交互领域中守住合规底线,才是产品能否安全落地的决定性考验。
(一)自动化操作与第三方软件边界:绕开接口后的授权与竞争风险
回到文章开头提到的自动网上立案或跨应用处理业务的场景。如果国内 AI 厂商开发出不依赖底层接口授权、而是在 GUI 层面通过视觉识别和模拟点击完成操作的代理工具,其行为边界就不再只是技术问题,而会进一步延伸为授权、竞争与网络安全层面的法律问题。
从技术上看,这类产品并不以目标系统开放 API 为前提。但从法律实务看,这并不意味着其当然可以自由进入任何第三方软件环境。依据《生成式人工智能服务管理暂行办法》第四条,提供和使用生成式人工智能服务应当尊重知识产权、商业道德,保守商业秘密,不得利用算法、数据、平台等优势实施不正当竞争行为。若代理被设计为持续性读取、复用或替代第三方平台的关键界面功能,并对目标平台的商业模式或正常运行造成实质影响,就可能引发不正当竞争或商业道德争议。
《生成式人工智能服务管理暂行办法》第4条 提供和使用生成式人工智能服务,应当遵守法律、行政法规,尊重社会公德和伦理道德,遵守以下规定:(一)坚持社会主义核心价值观,不得生成煽动颠覆国家政权、推翻社会主义制度,危害国家安全和利益、损害国家形象,煽动分裂国家、破坏国家统一和社会稳定,宣扬恐怖主义、极端主义,宣扬民族仇恨、民族歧视,暴力、淫秽色情,以及虚假有害信息等法律、行政法规禁止的内容;(二)在算法设计、训练数据选择、模型生成和优化、提供服务等过程中,采取有效措施防止产生民族、信仰、国别、地域、性别、年龄、职业、健康等歧视;(三)尊重知识产权、商业道德,保守商业秘密,不得利用算法、数据、平台等优势,实施垄断和不正当竞争行为;(四)尊重他人合法权益,不得危害他人身心健康,不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益;(五)基于服务类型特点,采取有效措施,提升生成式人工智能服务的透明度,提高生成内容的准确性和可靠性。
同时,依据《中华人民共和国网络安全法》第二十九条,任何个人和组织不得从事非法侵入他人网络、干扰他人网络正常功能、窃取网络数据等危害网络安全的活动,也不得提供专门用于此类活动的程序、工具 。因此,若产品进一步内置绕过访问限制、规避技术防护或自动对抗安全措施的能力,其法律风险也会显著上升。
《中华人民共和国网络安全法》第29条 任何个人和组织不得从事非法侵入他人网络、干扰他人网络正常功能、窃取网络数据等危害网络安全的活动;不得提供专门用于从事侵入网络、干扰网络正常功能及防护措施、窃取网络数据等危害网络安全活动的程序、工具;明知他人从事危害网络安全的活动的,不得为其提供技术支持、广告推广、支付结算等帮助。
也正因如此,桌面代理的跨软件操作不能被简单等同于非法侵入,但国内厂商在产品设计时必须持续审视几个关键问题:
-
• 是否获得了终端用户的明确授权? -
• 是否破坏或规避了目标应用的技术防护? -
• 是否在未经许可的情况下提取了受保护的数据资产? -
• 以及是否对第三方平台的正常运行和商业利益造成了实质影响?
(二)系统高频访问与安全监管规制
桌面代理的重要特征之一,在于其具备持续执行和批量处理任务的能力。但从合规视角看,这种机器级执行力并不只是效率优势,也可能转化为对目标系统访问负载和网络服务稳定性的现实压力。
当国内 AI 厂商赋予代理批量处理任务的能力,例如跨平台对账、批量材料填报或持续性页面操作时,其在 GUI 层面的点击、刷新和页面跳转频率,往往会明显高于普通人工操作的节奏。
根据《网络数据安全管理条例》第十八条规定,桌面代理即便并不直接调用接口,而是在前端通过界面识别和模拟操作来完成任务,在具备持续访问和自动执行能力的情况下,仍很可能被纳入自动化工具相关监管要求的视野之中。
《网络数据安全管理条例》第18条 网络数据处理者使用自动化工具访问、收集网络数据,应当评估对网络服务带来的影响,不得非法侵入他人网络,不得干扰网络服务正常运行。
也正因如此,如果厂商在产品架构中只追求执行成功率与处理速度,而忽视访问频率限制、并发阈值控制和异常中止机制,高频前端自动化访问就可能触发目标系统的安全风控策略,并在客观上增加系统负载、影响服务稳定性。
一旦因此引发第三方系统卡顿、服务降级或异常访问告警,厂商再以提升办公效率为由进行抗辩,其说服力通常也会明显下降。对于国内厂商而言,推出具备高频访问能力的桌面代理,不能只停留在技术可行性的论证上,还应当在使用自动化工具访问、收集网络数据的场景下,依法评估其对网络服务的影响,并建立可审计的访问控制与节流机制。
(三)输入信息、使用记录与大模型合规义务
与传统对话框式大模型不同,视觉代理在执行任务时,其输入信息不再是用户主动敲击的、经过自我筛选的特定文本,而是包含了大量背景、状态和上下文的连续屏幕快照。其使用记录也不再是单纯的问答历史,而是细致到像素级的鼠标移动轨迹和按键执行序列。
在现行大模型监管框架下,这种高维度、富含敏感细节的多模态数据资产,直接触碰了生成式人工智能服务提供者的法定保护红线。
《生成式人工智能服务管理暂行办法》第11条 提供者对使用者的输入信息和使用记录应当依法履行保护义务,不得收集非必要个人信息,不得非法留存能够识别使用者身份的输入信息和使用记录,不得非法向他人提供使用者的输入信息和使用记录。提供者应当依法及时受理和处理个人关于查阅、复制、更正、补充、删除其个人信息等的请求。
在实务开发中,国内 AI 厂商往往面临着强烈的技术诱惑,为了不断优化多模态视觉模型的识别精准度和任务规划能力,极其渴望将用户真实桌面环境下的截屏数据和操作纠错记录,回流至云端用于底层模型的二次训练。
然而,一旦厂商将这种本地截屏收集——云端留存——模型微调训练的数据逻辑默认应用于桌面代理产品,就将面临极高的合规壁垒。2025年起施行的《网络数据安全管理条例》第十九条对此有明确规定。
《网络数据安全管理条例》第19条 提供生成式人工智能服务的网络数据处理者应当加强对训练数据和训练数据处理活动的安全管理,采取有效措施防范和处置网络数据安全风险。
由于真实桌面环境数据中往往混杂第三方个人信息、工作资料甚至商业秘密,厂商若希望将其回流用于训练或微调,通常会面临更高的合法性说明义务和更复杂的告知、授权、脱敏与留存控制要求。
因此,国内 AI 厂商在推出桌面代理服务时,绝不能简单照搬早年文本类大模型默认授权使用语料的粗放协议。如果无法在架构上实现本地的有效脱敏,或是未提供极其严格的云端用完即焚机制和清晰的退出训练选项,此类产品将时刻面临违规留存非必要个人信息、滥用高敏环境数据进行训练的严苛监管压力。
五、实务建议
当大模型从对话框走向操作系统,从生成文本走向执行动作,我们面对的已经不再只是一个简单的效率工具,而是一个具备环境感知与操作能力的数字代理。在这种技术跃升面前,合规防线也不能停留在过去对插件、脚本或单点工具的管理逻辑上,而需要重新回到终端、流程与权限控制本身。
(一)针对企业与个人使用者
对于渴望引入视觉代理来释放生产力的个人与企业而言,首要的合规动作是摒弃传统的浏览器插件思维——你引入的并不只是一个辅助脚本,而是一个可能持续接触屏幕环境并参与任务执行的外部代理。
首先,在高敏业务终端实行严格的物理或逻辑隔离。 对于律师、财务人员或加密资产持有者而言,处理未经脱敏的诉讼材料、客户身份信息,以及操作数字钱包、调取私钥和助记词的设备,应当与运行外部桌面代理的设备进行严格的物理或逻辑隔离。绝不能为图一时之便,让高敏数据资产暴露在代理可接触的屏幕环境之中,从而尽可能减少高敏数据暴露和高风险动作误触发的可能性。
其次,企业需紧急升级内部的 AI 使用规范与数据防泄漏策略。 桌面代理的纯视觉操作逻辑,使其极易绕开企业既有的基于网络端口或 API 调用的 DLP 监控体系。企业应当结合《数据安全法》的法定保障义务,建立屏幕级的安全意识。在内部制度上,应明确列出禁止使用桌面代理的敏感场景黑名单(如核心涉密会议、财务结算、源代码开发环境等),并严禁员工私自授权未经合规评估的代理工具接入办公内网。
最后,坚持人机共驾,守住最终的责任控制权。 即使利用桌面代理来处理诸如“网上立案材料填报”、“跨表单数据搬运”等高度标准化的重复性工作,也应当在工作流设计中强制设置人工阻断点。在代理执行最终的材料上传、转账确认、合同发送等具有法律效力或财产转移性质的高风险动作前,必须由人类进行最后的核验与点击确认。这不仅是为了防范视觉模型的幻觉或误操作,更是为了在发生法律争议时,确保行为责任的可追溯与可归属。
(二)针对国内 AI 研发厂商
对于致力于在这条新赛道上抢占先机的国内 AI 厂商而言,开发桌面代理不仅是一场技术算力的角逐,更是一场合规工程的综合大考。厂商不能等到产品上线后再去用《用户协议》来推卸责任,而应当在研发初期就将隐私保护与安全设计深度融合到产品架构中。
首先,建立精细化的权限管控与敏感环境黑名单机制。 厂商不应默认赋予代理无限制跨应用操作的权限,而应当在产品交互界面中,为用户提供极其明确的可用/禁用应用范围划定功能。例如,允许用户将特定的内部通讯软件、金融客户端或政务系统加入黑名单,代理在识别到这些窗口处于活跃状态时应自动暂停截屏与操作。这不仅是对用户最小必要原则的尊重,也是厂商在技术层面上防范自身卷入干扰第三方系统运行或不正当竞争争议的有效隔离墙。
其次,在关键任务节点强制保留人机共驾与可审计留痕。 针对具备执行能力的桌面代理,厂商必须在架构中设定风险动作阻断点。当代理的规划链路涉及到跨平台数据导出、对外发送文件、执行资金转账或提交正式表单等具有外部效力的高风险动作时,系统应强制中断自动执行,将最终的确认权和点击权交还给用户。同时,代理在运行过程中应当生成结构化、可追溯的操作日志,以确保在发生合规争议时,行为路径和责任归属是清晰可审计的。
最后,严格分离功能执行与模型训练的数据流转链路。 面对优化多模态视觉模型的数据渴求,厂商应当保持极度的克制。对于代理在执行任务时捕获的屏幕环境数据,应优先探索本地处理和脱敏技术。如确需上传云端推理,应当严格落实用完即焚或极短周期的数据清除机制。厂商绝不能将用于功能执行的环境数据,默认且隐蔽地回流至底层模型的训练池中。任何涉及模型二次训练的数据收集,都必须设置独立的、需要用户单独授权的加入计划选项。
结语
从对话框里的文本生成,到直接接管屏幕的视觉代理,AI 技术的每一次跃升,都在不可避免地试探着现有的规则边界。在这个技术狂飙的时代,法律与合规的存在并不是为了锁死创新的手脚,而是为了在效率的极致与安全的底线之间,找到那条能够让数字代理真正平稳、长久运行的轨道。当桌面代理拥有了前所未有的环境感知与执行能力时,无论是使用者还是开发者,唯有保持对数据边界的敬畏,才能在这场交互变革中立于不败之地。
![]() |
![]() |
李中贞律师
Base:上海/深圳/杭州/扬州DSC:曾是写代码的程序员,现在是用法律保护你的律师业务领域:1、刑事业务: - 网络犯罪辩护 - 涉黑灰产犯罪辩护 - 涉虚拟货币犯罪辩护 - 银行卡及加密资产解冻和找回2、数字经济业务: - 数据资产登记及投融资 - 数据合规 - 人工智能与算法合规3、传统业务: - 劳动人事争议及工伤 - 人身损害赔偿纠纷 - 传统民商事争议解决 - 企业法律顾问
夜雨聆风

