夜雨聆风学习资料网

ARTICLE · 1389704

(mac版可下载)dsh computer use重设计

(mac版可下载)dsh computer use重设计

我为什么要重新设计deepseek computer use功能,我的想法是把具体操作电脑的过程交给一个专门的视觉操作 Agent:看截图、判断下一步、执行、再看截图,直到完成

一、先说说dsh原本是怎么做的

先把3个名字分清

名称
大白话解释
Computer Use
DSH 中“观察和操作电脑”这一类能力的总称
DSH 的cua工具和 API
给模型使用的应用、窗口、截图、键鼠操作接口
Cua Driver
一套上游桌面操作实现;DSH 有专门接入它的实验性 provider,不能把它与所有 cua 功能混为一谈

官方文档明确区分computer use和cua driver,也列出了原生平台 provider 与 Cua Driver provider

原来的工作方向大体是

  1. DSH 的主模型接收需求,比如“在 WPS 新建演示文稿,点一下插入”。
  2. 模型调用电脑操作工具,选择应用、找到窗口。
  3. 工具返回界面信息:可以是截图,也可以是无障碍树——你可以把它理解成“按钮、输入框及其属性的结构化列表”。
  4. 模型分析这些信息,决定点击哪个控件、输入什么或按哪个键。
  5. 平台实现执行操作。
  6. 再获取新状态,模型判断是否成功;没有完成就继续。

所以原本dsh就支持“观察->操作->再观察”的循环,而且不止依赖截图,也支持结构化控件信息。macos原生实现使用swift helper,通过macos的相关能力读取界面和发送输入,ptc模式可以用过代码保留应用、窗口对象

1、dsh怎么知道用哪个桌面驱动?

由启动时的插件配置决定,computer use bundle会选择对应平台的原生provider,也可以通过配置显示加载其他provider,不是模型临时判断应该应该使用哪个驱动。共享服务只允许一个 provider 占用注册位置。

2、怎么截图、点击、输入,并把截图交给模型?

provider 负责具体操作;截图作为工具结果,通过 DSH 的图片附件机制送入支持图片的模型。不是只在硬盘保存一张图片,模型就自动看到了。

二、为什么cua不好

我是直接测试了一波,我要求dsh

只通过 WPS 图形界面操作:回到首页,新建 PPT,截图找到“插入”选项卡,点击一次,再截图,告诉你前三个插入功能。不要用脚本操作文件。

实际结果

项目
你观察到的结果
是否完成
完成了,停留在新建 PPT 的“插入”选项卡
返回内容
新建幻灯片、AI 生成封面、表格
总耗时
3 分 51 秒
中间过程
你观察到多次出错
你的判断
人操作大约几秒就能完成,当前体验无法接受

当时给我的感觉就是整体体验不好,具体慢在哪一层还没有定位

三、为什么重新设计

我不想在这个基础上修改了,3分51秒到目标5秒,这不是靠修改就能做到的,准备完全重设计

我的目标包括

  • 减少明显错误和重复尝试;
  • 缩短完成简单桌面任务的时间
  • 让整个过程由自己控制,方便换模型、调整循环、测性能
  • 最终仍然放在dsh桌面版中使用

我有明确的操作形式

需求 → 截图 → 分析下一步操作及坐标 → 执行 → 截图 → 继续,直到完成。

四、我比较了两条方案

方案
实际要做什么
当时的考虑
自己改写 CUA driver
自己处理截图、鼠标键盘、窗口、坐标、权限等底层执行能力,再接模型
可控,但开发和维护范围大;只改驱动也不一定能解决模型决策慢
GUIAgent + NutJSOperator
用 GUIAgent 组织视觉决策循环,用 NutJSOperator 执行桌面动作
先借用现成组件跑通完整流程,再接进 DSH

我最终接受的方案是:新增desktop_task工具,dsh主模型把整个桌面任务交给它,插件内部负责连续操作

这里有两个不同的职责

组件
负责什么
DSH 主模型
理解用户需求,决定调用 desktop_task,最后向用户汇报
插件内部的 GUIAgent
持续看截图、判断下一步和是否完成
GUI 模型
根据画面和任务输出具体操作
NutJSOperator
截图,执行鼠标、键盘等动作

这次重设计最大的变化,是把连续的桌面决策放进专门的任务执行器里,不是简单把cua换个名字,也不是只更换截图函数

但内部仍然需要多次视觉模型调用,因此不能因为外面只调用一次desktop_task,就任务整个任务只调用了一次模型

五、进度

可以翻看下前面20篇左右的文章,已经完成了这个链路的搭建,接下来应该是要专门优化GUIAgent这个东西

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料