夜雨聆风学习资料网

ARTICLE · 988576

腾讯Hy4权重开放:1M上下文能做文档表格,FP8也有814GB

腾讯Hy4权重开放:1M上下文能做文档表格,FP8也有814GB

腾讯混元开放 Hy4-preview 模型权重。它的总参数量为 7700 亿,每次推理激活 490 亿参数,原生上下文达到 100 万 Token。代码、文档、表格和幻灯片都被列入重点能力,但这仍是预览版。

Hy4-preview 是腾讯混元新一代混合专家模型的预览版本。

100万Token面向整套资料

100 万 Token 可以让模型同时读取更大的代码库、成套合同、研究资料或多份办公文件,不必只追求一条更长的回答。项目说明还列出电子表格、PPT、科学推理和工具调用等场景。

能力展示和排行榜数字主要来自项目团队自己的测试。它们能说明训练方向,不能代替真实业务中的准确率、格式保真度和成本测试。尤其是表格公式、合同数字和引用关系,仍需要逐项复核。

项目给出的基准测试覆盖知识、推理、代码与长上下文等能力。

开放权重不等于家用电脑可跑

BF16 权重体积约 1.56TB,FP8 版本也约 814GB。加上运行时缓存和并行开销,实际部署需要多张高显存服务器卡,更接近云端或数据中心任务,不是下载到家用电脑就能直接运行的模型。

仓库采用 Apache 2.0 许可证,给研究和二次开发留下了空间。真正的使用门槛仍在算力、推理框架、并行配置和长上下文成本,而不是权重文件能否下载。

附加测试展示了模型在智能体、软件工程与专业任务上的结果。

预览版会出现过度推理

项目说明主动提到,Hy4-preview 有时会推理过长,或者反复验证已经成立的结论。这会拖慢响应,也会增加推理成本。长上下文能装下更多资料,但不会自动消除幻觉、遗漏和错误引用。

这次开放更适合团队评估下一代大模型的长文档和复杂任务能力。个人用户短期内更可能通过后续云服务接触它,而不是本地部署。

消息来源

Hy4-preview 项目仓库

https://github.com/Tencent-Hunyuan/Hy4-preview

Hy4-preview 模型页面

https://huggingface.co/tencent/Hy4-preview

Hy4-preview FP8 模型页面

https://huggingface.co/tencent/Hy4-preview-FP8

如果这篇对你有用,请点赞、留言、转发。

相关学习资料

返回首页浏览学习资料