ARTICLE · 988576
腾讯Hy4权重开放:1M上下文能做文档表格,FP8也有814GB
腾讯混元开放 Hy4-preview 模型权重。它的总参数量为 7700 亿,每次推理激活 490 亿参数,原生上下文达到 100 万 Token。代码、文档、表格和幻灯片都被列入重点能力,但这仍是预览版。
100万Token面向整套资料
100 万 Token 可以让模型同时读取更大的代码库、成套合同、研究资料或多份办公文件,不必只追求一条更长的回答。项目说明还列出电子表格、PPT、科学推理和工具调用等场景。
能力展示和排行榜数字主要来自项目团队自己的测试。它们能说明训练方向,不能代替真实业务中的准确率、格式保真度和成本测试。尤其是表格公式、合同数字和引用关系,仍需要逐项复核。
开放权重不等于家用电脑可跑
BF16 权重体积约 1.56TB,FP8 版本也约 814GB。加上运行时缓存和并行开销,实际部署需要多张高显存服务器卡,更接近云端或数据中心任务,不是下载到家用电脑就能直接运行的模型。
仓库采用 Apache 2.0 许可证,给研究和二次开发留下了空间。真正的使用门槛仍在算力、推理框架、并行配置和长上下文成本,而不是权重文件能否下载。
预览版会出现过度推理
项目说明主动提到,Hy4-preview 有时会推理过长,或者反复验证已经成立的结论。这会拖慢响应,也会增加推理成本。长上下文能装下更多资料,但不会自动消除幻觉、遗漏和错误引用。
这次开放更适合团队评估下一代大模型的长文档和复杂任务能力。个人用户短期内更可能通过后续云服务接触它,而不是本地部署。
消息来源
Hy4-preview 项目仓库
https://github.com/Tencent-Hunyuan/Hy4-preview
Hy4-preview 模型页面
https://huggingface.co/tencent/Hy4-preview
Hy4-preview FP8 模型页面
https://huggingface.co/tencent/Hy4-preview-FP8
如果这篇对你有用,请点赞、留言、转发。