ARTICLE · 1389704
(mac版可下载)dsh computer use重设计
我为什么要重新设计deepseek computer use功能,我的想法是把具体操作电脑的过程交给一个专门的视觉操作 Agent:看截图、判断下一步、执行、再看截图,直到完成
一、先说说dsh原本是怎么做的
先把3个名字分清
cua工具和 API | |
cua 功能混为一谈 |
官方文档明确区分computer use和cua driver,也列出了原生平台 provider 与 Cua Driver provider
原来的工作方向大体是
DSH 的主模型接收需求,比如“在 WPS 新建演示文稿,点一下插入”。 模型调用电脑操作工具,选择应用、找到窗口。 工具返回界面信息:可以是截图,也可以是无障碍树——你可以把它理解成“按钮、输入框及其属性的结构化列表”。 模型分析这些信息,决定点击哪个控件、输入什么或按哪个键。 平台实现执行操作。 再获取新状态,模型判断是否成功;没有完成就继续。
所以原本dsh就支持“观察->操作->再观察”的循环,而且不止依赖截图,也支持结构化控件信息。macos原生实现使用swift helper,通过macos的相关能力读取界面和发送输入,ptc模式可以用过代码保留应用、窗口对象
1、dsh怎么知道用哪个桌面驱动?
由启动时的插件配置决定,computer use bundle会选择对应平台的原生provider,也可以通过配置显示加载其他provider,不是模型临时判断应该应该使用哪个驱动。共享服务只允许一个 provider 占用注册位置。
2、怎么截图、点击、输入,并把截图交给模型?
provider 负责具体操作;截图作为工具结果,通过 DSH 的图片附件机制送入支持图片的模型。不是只在硬盘保存一张图片,模型就自动看到了。
二、为什么cua不好
我是直接测试了一波,我要求dsh
只通过 WPS 图形界面操作:回到首页,新建 PPT,截图找到“插入”选项卡,点击一次,再截图,告诉你前三个插入功能。不要用脚本操作文件。实际结果
当时给我的感觉就是整体体验不好,具体慢在哪一层还没有定位
三、为什么重新设计
我不想在这个基础上修改了,3分51秒到目标5秒,这不是靠修改就能做到的,准备完全重设计
我的目标包括
减少明显错误和重复尝试; 缩短完成简单桌面任务的时间 让整个过程由自己控制,方便换模型、调整循环、测性能 最终仍然放在dsh桌面版中使用
我有明确的操作形式
需求 → 截图 → 分析下一步操作及坐标 → 执行 → 截图 → 继续,直到完成。四、我比较了两条方案
我最终接受的方案是:新增desktop_task工具,dsh主模型把整个桌面任务交给它,插件内部负责连续操作
这里有两个不同的职责
desktop_task,最后向用户汇报 | |
这次重设计最大的变化,是把连续的桌面决策放进专门的任务执行器里,不是简单把cua换个名字,也不是只更换截图函数
但内部仍然需要多次视觉模型调用,因此不能因为外面只调用一次desktop_task,就任务整个任务只调用了一次模型
五、进度
可以翻看下前面20篇左右的文章,已经完成了这个链路的搭建,接下来应该是要专门优化GUIAgent这个东西















































































