AI 现在能自己操作电脑了：跨软件搬数据这类活先试，提交那一下还得人按

月底那天，财务要交一份经营表。开票软件里导一次，ERP 里导一次，出差带回来的发票照片再整理成一张表，三个数对完，还要做成 PPT 交给老板。

这三个软件之间没有接口。人来回切窗口，复制，粘贴，再对一遍。这样的下午，很多传统公司每个月都有一次。

11 月 4 日，腾讯发布混元 Hy4 正式版。发布稿里有两句新话。一句是首次引入视觉能力，另一句是首次支持电脑操作，可以灵活地结合使用命令行和图形界面。稿子里还写了，针对 Blender、CAD 等专业软件和跨应用长程任务做了专项训练。

标题说的「能自己操作电脑」，出处就是这份稿子，指的是混元这一代模型第一次支持电脑操作。别家产品也在往这个方向做，本文只按这一份发布稿说，不替整个行业下结论。

它举的例子集中在开发、游戏和金融办公。跨软件做一个 DIY 装修程序的前端与游戏开发，用 Three.js 构建的 3D 数字沙盘。办公那一段更贴我们的读者，出差回来的发票整理和稽查，金融估值建模和个股研究报告。发布稿还提到办公场景里的人机双写，人和模型可以实时协作编辑 Word 文档、Excel 表格和 PPT。

数字也给了。自建测试里，幻觉率从预览版的 15.76% 降到 5.45%，猜测导致的错误率从 23.1% 降到 5.6%。

财务那块还有一组。发布稿说他们联合腾讯金融科技做了 213 位专家的金融众测，其中 153 位来自外部头部金融机构，七成有五年以上工作经验。基于 579 个真实金融任务，Hy4 的综合得分 3.04，同场对比里 Kimi K3.1 Pro 是 2.68，GLM-5.3 是 2.68，DeepSeek-V4.1-Flash-1017 是 2.97。

这三项能力在发布稿里是分开写的。视觉讲的是看懂图像与图表，电脑操作讲的是命令行加图形界面，双写讲的是协作文档。稿子里没有一处把它们叠在同一台机器上跑完一整条链路。所以更准确的说法是，每一块都给了证据，合起来能走多远还不知道。

边界也要说清楚。这些是厂商自测和官方演示，目前没有第三方独立复现。它挑软件，也挑权限。发布稿点的 Blender、CAD 这类是专门训练过的对象，你们那套上了年纪的 ERP 不在名单里。装上就能跑通这句话，现在还成立不了。发布稿自己也承认，在前沿数学与长程开发这类内部高难度测试集上，它跟顶尖闭源模型还有较大差距。

变的那一件是门槛。过去上 AI 的第一道关是先打通系统，有接口才谈得上接。现在模型能改走屏幕，用鼠标键盘操作一个没有接口的老系统。门开着一条缝。

代价跟着一起进来。走屏幕，等于让它在你真实的系统里点按钮。它点错一个格子，和你点错一个格子，后果一样。区别在于它不会提醒你，它按下去的时候并不清楚那一格合不合规矩。

真到用的时候，三类活分开放。

跨软件搬数，可以交，但每一步的差异要人看。开票软件导出的金额合计和 ERP 里的应收对不上，它能老老实实把两个数都搬过去，判断差异仍然是人。这类活的风险不在搬，在于它搬得对不对，你事后还查不查得出来。

文档起草与改写，可以交前半段。双写能力已经写进发布稿，让它先出一版，措辞和数字由人改。底稿的格式它守得住，口径守不住。表格这类东西，让它填列比让它改公式安全，公式一旦被它改过，错在后面几行才显出来。

提交和入账，还有对外发送，这三样都带对外生效。审批流里那一下，邮件发送键，凭证记账，都得人按。

老系统这条路的具体麻烦，比演示里多。屏幕上没有无障碍标记的按钮，它只能靠看图猜位置。窗口一叠加，它可能把旧窗口当新窗口。弹出来的验证码和续期提示，它多数处理不了。夜里系统升级，界面挪了两厘米，第二天整套流程就得重调。

所以试的时候按这个顺序走，别一次铺开。

- 找一台不连生产库的机器，把老系统里最脏的那批真实数据抄一份放进去。

- 跑一条完整链路，全程不插手，看它停在哪儿，停的时候屏幕上是第几个窗口。

- 把停下来的那一步写成人能执行的规矩。谁看，看什么，看完在哪个格子里打勾。

- 再扩大范围。加一个软件，不要一次加三个。

这套试法要回答的问题只有一个，它在哪种情况下会悄悄错。视觉加上操作，出错的地方往往在认列。同一个数字在左边一列是本月数，右边一列是累计数，屏幕上看起来都差不多。

权限也要收着给。给它单独开一个账号，只开那条链路要用的模块，账号名写清楚用途。这样它做过什么，系统日志里能单独查出来，也不会顺手碰到别的模块。

还有一个常被漏掉的问题。它用的是谁的账号。让它用某个同事的账号登录老系统，操作记录和审批留痕都挂在那个人身上，责任归属也一样。这件事得先定，别等出事才问。

验收别用跑通了的说法，写成可数的事。同一条链路连跑五次，几次结果一致。差异出现时，人能不能在十分钟内定位到哪一步。答案是否，就先别扩大范围。

什么样的团队适合先试。手上有三四个没有接口的老系统，每月固定有一批跨软件的重复动作，团队里至少有一个人愿意陪它跑两周。三条都缺，先别碰，投入的时间比省下来的多。

反过来，如果你们那套流程一年只走两次，或者每一步都要不同部门签字，这类活留给人的成本反而更低。机器擅长的是重复而格式稳定的搬数，不是救火。

演示视频和你们的现场差得远。官方片子里的软件是挑过的，环境是干净的，屏幕分辨率是固定的。你把它放到自己那台装了七八个后台窗口的办公电脑上，第一件麻烦往往出在认路，它认不出该点哪个窗口。

所以别拿演示当验收。验收得用你们自己的数据和自己的机器，最好挑最乱的那个月份。

还有一句要写进制度里。整条链路可以自动跑，跨出边界的那一下必须有人按，按的人要能说出自己按的是什么。

这条界线放在哪个动作上，每家公司不一样。有的是付款，有的是发送，有的是记账。找不出来，说明这件事还没想清楚，先别交给机器。

发布稿提到，Hy4 已经在腾讯云和 OpenRouter 上线，也可以在 CodeBuddy 和 WorkBuddy 上体验，元宝、ima 里也有入口，计划开源模型权重。想自己摸一遍的，从这些现成入口起步比搭环境快。

本文依据厂商官方发布稿整理，观点与解读是学窝自己的。