ARTICLE · 1313673
腾讯混元Hy4正式版会看图能操作电脑,我把它接进了AI网关
PERSPECTIVE
当国产开源模型开始会看屏幕、会点鼠标,AI 网关里就多了一个能动手的 worker。
本文看点
01
腾讯混元 Hy4 正式版会看图、能操作电脑,OSWorld 2.1 顶到 78.9,开源 Computer Use 第一次踩进可用区间
02
770B MoE、破百万上下文、6 元每百万 token 的定价,把视觉与电脑操作打包进一个便宜的国产开源权重
03
附可直接抄的 AI 网关路由 yaml 与 Computer Use 沙箱护栏提示词
01
EVENT
一件刚发生的事
11 月 4 号,腾讯混元把 Hy4 正式版推出来了。
这件事我盯了快俩月。8 月底那版还叫 Hy4preview,只能读纯文字。正式版最扎眼的变化就两句话,第一次能看图,第一次能操作电脑。
我看到这俩能力的第一反应不是「又出一个大模型」,而是另一个问题,这玩意能不能直接挂到我那个 AI 网关底下,当一个会动手的 worker 用。
我自己的链路里一直缺这么一块。模型会聊天、会写代码,但真要它去点一下界面、读一张报表截图、在 Blender 里跑个流程,之前要么调用 Claude 的 computer use,要么自己攒一堆脚本。现在混元把视觉和电脑操作打包进一个国产开源权重模型,价格还压得很低,这就有得玩了。
我做的正好是 AI 网关,前端接各种模型,按能力把请求分发出去。一个能看图、能动手的国产模型进来,我路由表里就多了一块过去只能花闭源钱才能补的拼图。所以这篇我不复述发布会通稿,我把 Hy4 拆开看,横向比一比赛道,最后给你一份能直接抄的网关接入配置。
02
SPECS
先把 Hy4 的真实参数摆出来
别听「跻身最强开源模型之列」这种话,看数字。
架构是 MoE 混合专家,总参数770B,激活参数 49B(来源,hy.tencent.com/research/hy4 官方博客)。上一代 Hy3 系列还不到 300B,这一跳直接翻过来了。上下文突破 100 万 token,腾讯云 TokenHub 侧最大输入约 960K、最大输出约 64K(来源,cloud.tencent.com/developer/article/2776227 腾讯云开发者)。
两个第一次最值得记住。第一次引入视觉理解,能做细粒度图像处理、复杂图表分析、带图数学推理,MMMU-Pro 拿到 78.6(来源,mp.weixin.qq.com/s?__biz=MzU4NTY5MjM4NQ== 第三方解读引官方)。第一次支持电脑操作 Computer Use,命令行和图形界面结合着用,针对 Blender、CAD 这类专业软件做了专项训练(来源,hy.tencent.com/research/hy4)。
视觉这块腾讯给了几个接近极限的演示。在 28 亿像素的航拍图里定位约 2 米大小的屋顶构件,重组 900 片拼图还原莫奈的画。前者考超高分辨率下的细粒度定位,后者考对视觉碎片的整体理解(来源,cloud.tencent.com/developer/article/2776227)。电脑操作不是简单看图说话,是模型真能读懂截图然后去点界面,这让企业 Agent 能直接操作内部系统、处理报表图片、跑跨应用任务。科研场景它也更狠,单机 1.5 小时无人干预完成 700 万细胞小鼠胚胎的三维重建,还找到过一个数学猜想的反例并做了 Lean 形式化验证(来源,hy.tencent.com/research/hy4)。
价格这一栏很关键,输入 6 元每百万 tokens,输出 18 元每百万,缓存命中 0.3 元每百万,跟 preview 一个价(来源,news.qq.com/rain/a/20261104A0D0RJ00 腾讯新闻)。腾讯云 TokenHub 到 2026 年 12 月 31 日打五折,折后差不多 3 块进、9 块出。接口是 OpenAI 兼容的,你不用改几行代码就能把它接进现有网关(来源,cloud.tencent.com/developer/article/2776227)。
还有一点容易被忽略,上下文破百万。它一次能吞下一整份长篇财报加附件再开口,对网关里那些「先读全再决策」的长文档任务很关键,不用再自己切片拼上下文(来源,cloud.tencent.com/developer/article/2776227)。
这些参数合在一起,决定了它能不能进网关。答案是能,而且门槛不高。
03
TIMELINE
纵向看,混元是怎么爬到 770B 的
我习惯先把一条时间线拉直,不然容易把一次发布当成偶然。
2023 年9 月,混元大模型正式发布,是首批通过备案的那批(来源,百度百科「腾讯混元大模型」)。2024 年 4 月升级成高性能 MoE,5 月开源了业界第一个中文 DiT 文生图模型,6 月多模态 MoE,9 月 turbo,11 月一口气开源 Hunyuan-large、Hunyuan-3D、Hunyuan-Video(来源,百度百科;ima.qq.com 腾讯云时间轴)。那一年它把「开源」两个字焊死在了路线上。
2025 年12 月,混元 2.0 总参数做到 4060B、激活 32B、256K 上下文,内部落地超过 900 款应用(来源,百度百科)。2026 年 4 月,Hy3 preview 发布开源,295B 总参数、21B 激活、256K,主打实用和 Agent 能力(来源,tencent.com 首页动态 2026-04-24)。8 月 28 日,Hy4 preview 开源,770B 总参数、49B 激活、上下文破百万(来源,news.qq.com/rain/a/20261104A0C1YG00 腾讯新闻)。再到 11 月 4 日,正式版。
节奏比参数更说明问题。官方自己说,从 2026 年2 月重建基础设施以来,平均每两个月推出一个大版本,先 Preview 开放,再按反馈出正式版(来源,news.qq.com/rain/a/20261104A0C1YG00 引官方)。下一代 Hy5 参数还要继续涨。
这种节奏对用模型的人是个好消息。preview 当小白鼠,正式版才进生产,你不用在第一天就把身家押上去。对一个跑网关的团队,新模型接入的试错成本被摊薄了,preview 阶段就能把路由和护栏跑顺,等正式版一出来直接切流量。参数爬坡的背后,是一条被工程节奏托着的路,这跟很多「憋一个大招再发」的玩法不一样,它是小步快跑,preview 当压力测试。
对一个做网关的团队,这种「开源权重加高频迭代」的组合其实比单次性能更值钱。你能盯着 preview 先验证路由和安全,等权重一放出就直接切到私有化,不会被某一家闭源的涨价或限流卡住脖子。模型可以换,链路不能断,这是网关和单点调用最大的区别。
04
VS-COMPUTER-USE
横向一,Computer Use 这条赛道现在谁在跑
光说 Hy4 自己没意思,电脑操作这块今年挤满了人。我一个个过。
Anthropic 的 ClaudeComputer Use 最早,2024 年 10 月就发了。思路是像素级点击,模型真的去数屏幕坐标决定点哪。它的强项是生态,MCP 协议把各种工具串起来,而且能跑在 Docker 沙箱里,数据留在自己防火墙后面。最新 Claude Opus 5.5 在 OSWorld 2.1 拿到 81.8 分(来源,腾讯官方对比图;systemverdict.com 评测)。
OpenAI 的 Operator 走另一条路,底层是 CUA 模型,2025 年 1 月发布。它不碰你的真屏幕,只在 OpenAI 服务器上的托管浏览器里跑,所以网页表单、订机票这类事很顺手,WebVoyager 干到 87%,但 OSWorld 只有 38.1%,而且本地桌面软件它够不着(来源,agentrank.tech;agentconn.com)。
字节的 UI-TARS 2 在 2025 年9 月出来,OSWorld 47.5%、AndroidWorld 73.3%、WindowsAgentArena 50.6%,最大的卖点是开源、能本地跑,跨域(网页、移动、Windows)覆盖最全(来源,localaimaster.com;agentconn.com)。
现在看混元Hy4。OSWorld 2.1 它拿了 78.9,紧贴着 Kimi K3.1 Pro 的 79.6,离 Claude Opus 5.5 的 81.8 只差两三分(来源,腾讯官方披露;mp.weixin.qq.com/s?__biz=MzU4NTY5MjM4NQ==)。它把命令行和图形界面揉在一起,Blender、CAD 专项训练,沙箱由腾讯云 Agent Runtime 提供,那边部署了上百款软件供模型反复练手(来源,cloud.tencent.com/developer/article/2776227)。
顺带说一句基础设施。腾讯云 ADP 已经首发接入 Hy4,它不只是给个 API,而是三层,自然语言搭 agent、Agent Harness 做断点续跑和全链路可观测、企业级 Service Agent 七乘二十四在岗。这层把长程任务从「能跑」变成「能上生产」,跟我们网关要做的事是同一个方向(来源,cloud.tencent.com/developer/article/2775851)。
我把这几个摆一排,想说的是一件事。开源阵营的 Computer Use,过去一直是「能演示、不好用」的状态,UI-TARS 拉到了 47.5 但离闭源还远。Hy4 直接把开源电脑操作顶到了 78.9,踩进了可用区间。这是一个质变点,不是数字游戏。
05
BENCHMARK
横向二,开源模型里它到底排第几
电脑操作只是 Hy4 的一面。我更关心它在开源阵营里的整体位置,毕竟网关要按能力路由。
金融场景最硬核,腾讯拉了 213 位专家、579 个真实金融任务做盲测,Hy4 综合 3.04 分,排开源第一。DeepSeek-V4.1-Flash-1017 是 2.97,Kimi K3.1 Pro 和 GLM-5.3 都是 2.68(来源,tencent.com 官网新闻稿 2026-11-04)。这块它确实能打。
办公场景,WorkBuddy 内部评测平均 83.18 分、通过率 96.15%,12 个场景里 9 个国内第一(来源,cloud.tencent.com/developer/article/2776227)。Hy4 还支持人机双写,用户和模型实时协作编辑 Word、Excel、PPT,盲评里文档美观度、稳定性、可用性都有提升(来源,hy.tencent.com/research/hy4)。游戏开发 GameDev 评测比 preview 涨 19.1%,GameLogic 涨 9.8%(来源,hy.tencent.com/research/hy4)。
横向评测里还有几组值得记。综合办公 E-Bench 2.0 它 70.0,高于 DeepSeek 66.8、GPT 65.3、GLM 50.3,低于 Claude 80.0。网页浏览 Hy-BrowseComp 2.0 拿 59.9,紧跟 Claude 60.7 和 GPT 61.7。自动化 AutomationBench 56.2,高于 DeepSeek 和 GLM,低于 Claude 58.8、Kimi 65.6(来源,腾讯官方披露)。科研的 TenureTrail 评测覆盖七大学科一百二十三项任务,它排开源第一(来源,hy.tencent.com/research/hy4)。
但翻到编程这块,分数立马掉了。考终端实操的 Terminal Bench 4.0,Kimi 66.8、Claude 66.4,Hy4 只有 44.4。考编程的 ProgramBench,Claude 56.5,Hy4 停在 30.0,差出去快一半(来源,mp.weixin.qq.com/s?__biz=MzU4NTY5MjM4NQ== 引官方)。第三方榜单 Arena Agent 上,Hy4 总榜第 14,净提升 +4.7%,每个任务中位成本约 0.55 美元,落在性能成本帕累托前沿(来源,mp.weixin.qq.com/s?__biz=MzU4NTY5MjM4NQ== 引 Arena.ai)。
诚实一点讲,腾讯自己也在发布文里写,Hy4 虽然是最强开源之一,跟顶尖闭源在编程、前沿数学、长程开发、视觉问答这些高难测试上还有明显差距(来源,hy.tencent.com/research/hy4)。
落到网关的账本上,帕累托前沿的意思是,同样一分钱你能买到更多能力,这对要长期跑大量流量的服务是关键指标。所以定位很清楚,它是开源第一梯队里性价比最狠的那个,但不是全能选手。这反而适合进网关,因为网关本来就该按能力分流。
06
GATEWAY
实战,把 Hy4 接进 AI 网关
我自己的网关现在长这样,把 Hy4 当一个多模态加 GUI 自动化 worker 挂上去。
路由逻辑分三块。视觉理解类、电脑操作类任务,打到 hy4。复杂编程、软件工程这类它短板明显的事,转给 Claude 或 GPT,长上下文推理交给 Kimi。下面这份是我实际在用的路由配置,脱敏后给你。
routes:
- name: hy4_vision
match:
capability: [vision, chart_analysis, image_qa, doc_understanding]
upstream: tencent_hy4
model: hy4
params:
max_tokens: 64000
temperature: 0.2
fallback: kimi_k3_pro
- name: hy4_computer_use
match:
capability: [computer_use, gui_automation, cross_app_task]
upstream: tencent_hy4_sandbox
guardrails:
sandbox: required
egress: deny_by_default
action_allowlist: [click, type, screenshot, run_readonly_cmd]
human_approval: true
max_steps: 20
fallback: claude_computer_use
- name: heavy_coding
match:
capability: [complex_coding, swe, frontend_build]
upstream: claude_opus
fallback: gpt_61_sol
成本账我顺手算一笔。同样处理一百万 token 的输出,Hy4 折后 9 元,Claude Opus 这类闭源按公开价位是它的好几倍。对一个每天跑大量视觉理解和报表读取的网关来说,把这部分流量从闭源挪到 Hy4,账单能砍掉一大截(来源,价格数据来自 cloud.tencent.com/developer/article/2776227 与腾讯云 TokenHub 文档)。
还有个值得等的变量,Hy4Flash 近期会发,继承能力但大幅降成本,主打速度和性价比(来源,hy.tencent.com/research/hy4)。等它上线,网关里这块流量的单价还能再压一截,到时我会把 vision 和 computer use 路由的默认模型切到 Flash,正式版留作需要高精度的兜底。
我特意去看了一个公开实测,验证它值不值得进生产。科创板日报让 WorkBuddy 里的 Hy4 干一件事,下载腾讯、阿里、百度 2020 年至今的季报半年报年报,从产业研究员、买方分析师、投资经理、风控四视角梳理经营情况出对比报告。界面显示耗时 41 分 51 秒,Hy4 自己完成数据搜集、整理、分析、成稿闭环,产出 12 页 PDF、8 张图表,Excel 底稿含 183 个可复算公式,还按 A/B/H 标了数据类型,下载清单逐条记了 URL、状态、字节数和失败原因(来源,news.qq.com/rain/a/20261104A0D0RJ00 引科创板日报)。这事的关键不是「它会写」,是它把一件事从开头跑到了结尾。这正好是网关 worker 该有的样子。
07
SANDBOX
Computer Use 必须沙箱化,不然就是裸奔
会操作电脑的模型,最危险的地方也在这里。它能点按钮、能跑命令、能动你的文件。
我给 Hy4 的电脑操作套了一层强制护栏,核心就一条,fail-closed,宁可停下也别瞎猜。下面这段是我塞进沙箱 agent 的系统提示词,你可以直接拿去改。
你是运行在隔离沙箱里的 GUI 操作 agent,受以下约束。
第一,所有会改变系统状态的操作,删除、覆盖、发送、安装,必须先输出计划并等待人工确认。
第二,只允许在白名单内的应用与目录内操作,越界动作直接中止。
第三,每步执行后必须截图存档,异常时回滚到上一稳定状态。
第四,网络出口默认拒绝,需要外联时单独申请。
第五,任何无法确认安全的操作,按 fail-closed 处理,宁可停下也不猜测。
配合配置层的几道闸,沙箱必开、出口默认拒、动作白名单、人工审批、最多二十步自动停。这些不是可选项,是 Computer Use 上线的最低水位(来源,沙箱方案参考 cloud.tencent.com/developer/article/2776227 提到的腾讯云 Agent Runtime)。网关里更讲究,电脑操作必须限定在沙箱,绝不能让它碰到生产数据库和内部后台,这是把「会动手」和「能闯祸」隔开的那道墙。
能动手的模型,不沙箱化就是给 agent 一把没锁的刀。
08
CAVEATS
给你三盆冷水
我不想把话说满,Hy4 有几个地方你接之前得想清楚。
编程仍是它的短板,Terminal Bench 44.4、ProgramBench 30.0,跟第一梯队差着身位。网关里涉及真实代码仓库修改的任务,别偷懒全丢给它。
权重还没放出。官方说近期开源,但现在你只能用 API,自托管要再等等(来源,hy.tencent.com/research/hy4)。想完全私有化部署的,先把 API 这条路跑通。
视觉问答的高难部分它还是吃力,官方自己把前沿数学、长程开发、模型迭代、视觉问答写进了局限清单。复杂看图推理别指望它一步到位。
幻觉率确实降了,自建测试从 preview 的 15.76% 压到 5.45%(另一来源记为 12.95% 降到 7.2%,两口径不同,都列出),但该核验的环节不能省(来源,cloud.tencent.com/developer/article/2776227;news.qq.com/rain/a/20261104A0D0RJ00)。
还有一层得提,负责任开源。训练时它只塞了 PoC 生成、漏洞修复这类防守性网络安全数据,把漏洞利用、逆向、渗透这些攻击性内容剔掉了。腾讯拉了玄武和科恩实验室的安全专家做审计,结论是加密算法逆向、二进制混淆、漏洞利用这些进攻能力没露出突出风险(来源,hy.tencent.com/research/hy4;scitech.ce.cn 中国经济网)。生物这块 Hy-BioExperimentBench 只有 30.4 分,跟前沿模型差距明显,目前没看到它能降低生化危害门槛。对一个能操作电脑的模型,这种克制是必要的。
09
CLOSING
技术尽头是积木
回到开头那个问题,我会不会把 Hy4 接进网关。答案是已经接了。
原因其实不复杂。大模型竞赛跑到现在,单模型通吃越来越不现实,哪怕是闭源旗舰也有明显偏科。真正能落地的玩法,是把一堆各有长短的模型拼成一个网关,前端按能力路由,哪个擅长什么就派哪个上。
Hy4 的价值,是它把视觉理解和电脑操作这两块,用开源权重加极低价格,补进了这个拼图。以前你想让 agent 自己看报表、自己点软件,要么花闭源的钱,要么自己造轮子。现在多了一个便宜且能自托管的选项,OSWorld 2.1 还顶到了 78.9。
从会聊天,到会干活,这是今年整个行业最实在的一次范式迁移。Computer Use 不再是大厂的演示视频,它开始变成网关里一个可以调度、可以计价、可以护栏的 worker。我开头说的那句话,把一个会动手的伙计挂到网关底下,今天这件事的门槛,比上个月又低了一截。
我把配置和提示词都摊在这了。你接不接,取决于你网关里是不是也缺一个会动手的伙计。
---
数据来源,hy.tencent.com/research/hy4(腾讯混元官方)、tencent.com 官网新闻稿(2026-11-04)、cloud.tencent.com/developer/article/2776227 与 2775851(腾讯云开发者)、news.qq.com/rain/a/20261104A0C1YG00 与 A0D0RJ00(腾讯新闻)、scitech.ce.cn(中国经济网)、百度百科「腾讯混元大模型」、mp.weixin.qq.com/s?__biz=MzU4NTY5MjM4NQ==(第三方解读引 Arena.ai 与官方评测)、agentrank.tech / localaimaster.com / agentconn.com / systemverdict.com(Computer Use 横向评测)。
我是 AI 实战合集,专注 AI 网关平台与真实系统落地,持续拆解原始数据、专业提示词与可落地配置。
如果你觉得今天这篇有收获,欢迎点赞、在看、转发三连,我们下篇见。















































































