夜雨聆风学习资料网

ARTICLE · 1206407

免费开源!千亿大模型可以在自己电脑上跑了

免费开源!千亿大模型可以在自己电脑上跑了

一台电脑,大约一小时,竟然做出了一套12个页面的管理系统。

客户预约、员工管理、账单统计、经营报表,连可以拖动调整的预约日历都有了。

更厉害的是,给他干活的1250亿参数大模型,就运行在自己的电脑上。

不用租服务器,也不用向云端大模型付费。

这背后用到的,是一个叫 Strata 的免费开源工具。截至10月18日,它在 GitHub 上已经获得超过2.7万颗 Star。

它能帮助个人电脑运行原本通常需要服务器才能带动的千亿参数大模型,还能连接其他AI工具,帮人完成实际任务。

以前觉得这么大的AI离普通电脑很远,现在还真有人把它搬回了家。

01一小时,做出一套管理系统

10月7日,开发者 Ken Yasue 分享了一次挺有意思的测试。

他用 Strata 在自己的 Windows 电脑上运行千问大模型,再连接一个叫 OpenCode 的AI编程工具,让它开发一套预约管理系统。

简单说,千问模型负责生成代码,OpenCode 负责调用工具执行开发任务,Strata 则负责让这个大模型在电脑上跑起来。

最后做出来的系统叫 ORBIT。

看起来还真挺像那么回事。

左边有客户、预约、员工、账单等功能菜单,中间能查看经营数据、场地使用情况,下面还有每天的工作安排。

再看看预约日历。

不同场地安排了什么活动、哪个时间段有人预约,一眼就能看清,还可以直接拖动调整。

整套系统一共12个页面,约5700行代码,初步开发耗时62分钟。

当然,这仍然是一套待完善的系统,部分功能还有问题,如果真正使用还需要继续优化。

但光是能在个人电脑上,用本地运行的大模型完成这么多开发工作,就已经挺让人意外了。

而且,它还能做点更有意思的东西。

还有人用 Strata 搭配另一款AI编程工具 Pi,做出了一款中文版俄罗斯方块 RPG 游戏。

普通俄罗斯方块只能消除方块,他做的这个还可以选择战士、法师、刺客,打怪升级、释放技能,甚至还有 BOSS 战。

整个过程耗时约1小时50分钟,生成1077行代码。

AI 还自己编写测试,检查游戏里的职业、技能和战斗逻辑是否正常。

一个做管理系统,一个做小游戏。

两个案例用的是不同电脑、不同AI编程工具,但背后都运行着同一个1250亿参数的千问大模型。

这也让人看到,如今装在个人电脑里的AI,已经可以参与完成相当复杂的工作。

02网上免费AI那么多,为什么还要在电脑里装一个?

说到这里,可能有人会想:

现在豆包、DeepSeek、千问都能免费用,直接打开就能聊天、写文章,何必折腾着往电脑里装一个?

确实,如果只是平时聊聊天、查查资料,在线AI方便得多。

但自己电脑里运行的大模型,也有一些挺实在的优势。

首先,可以按照自己的需要搭配工具。

比如想给孩子做一个练口算的小游戏,或者给自己弄个带图表的家庭记账页面。

现在不少在线AI也能做这些事。

而本地运行的模型,还可以连接兼容的AI编程工具,在自己电脑上反复修改、测试,慢慢把想法做成能用的东西。

其次,不用再为每次调用云端模型单独付费。

如果经常让AI写代码、改网页,几十轮甚至上百轮沟通下来,调用量可能相当大。

Strata 运行的是自己电脑里的模型,不需要按生成的文字数量向云端模型厂商付费。

当然,电脑硬件、电费和维护仍然有成本。对于偶尔使用AI的人,这未必更划算。

还有一个优势,就是处理私密资料。

个人账单、客户合同、公司内部文件,有些东西确实不适合随便上传到网上。

如果模型和配套工具都在本机运行,就能让AI在电脑里处理这些资料,减少上传云端的需要。

不过,一旦连接联网插件或外部服务,仍然得留意数据会不会被传出去。

这些用途不代表装上 Strata 就能自动实现,很多还需要其他工具配合。

但至少,以后想使用AI时,我们除了打开云端服务,又多了一条可以自己掌控的路。

031250亿参数,究竟怎么塞进电脑?

先解释一下,1250亿参数到底有多大。

你可以把参数理解成AI在训练中学到的大量数字设置,它们共同决定模型怎么理解问题、生成回答。

1250亿,意味着模型内部有多达1250亿个这样的参数。

当然,参数多不代表一定更聪明,但这么大的模型,光是装下它就很吃硬件。

千问这款 Qwen3.8-Flash-Next 模型用了一个挺巧妙的办法,叫混合专家架构。

你可以把它想成一家拥有24576名专家的公司。

每次生成一小段内容,只需要按需调用其中10名专家参与计算,不用让所有人一起上班。

Strata 则进一步解决电脑资源怎么分配的问题。

它把常用的专家放进显卡,其他专家主要放在电脑内存里,让处理器也参与工作。

就像餐馆把常用食材摆在手边,其他食材放在储藏室,需要时再取。

再配合模型压缩和计算加速,个人电脑才有机会运行这么大的AI。

而且,Strata 提供的不止一种选择。

目前主要围绕同一个千问大模型,提供不同优化版本:

•  完整通用版: 适合聊天、中文写作、综合分析,也能看图片。

•  Coder 编程版: 保留更多与编程有关的能力,更省内存,但中文等非编程任务会弱一些。

•  Swift 1.5 快速版: 减少回答前的思考等待时间,适合希望AI尽快给出答复的人。

同一个版本还可以选择不同的压缩程度,在运行速度、占用空间和回答质量之间做取舍。

需要说明的是,Strata 目前主要支持这一个千问模型家族,还不能把各种主流大模型随意装进去。

04自己装一个,没想象中那么折腾

以前提到在本地运行大模型,总感觉要装一堆软件,还得敲不少看不懂的命令。

Strata 已经把安装过程尽量简化了。

Windows 用户下载项目、解压后,双击 START-HERE.bat,就能启动安装程序。

接下来,它会自动检查电脑配置,推荐合适的模型和运行参数。

不懂怎么选?按回车接受推荐选项即可。

程序还会自动下载模型文件。全部完成后,浏览器里就能打开本地AI聊天页面。

除了聊天,还能查看模型运行状态。

更有意思的是,你甚至可以让AI帮你安装AI。

如果已经在用 Claude Code、Codex 等AI编程助手或者像WorkBuddy这类 AI 办公助手,可以把官方提供的安装说明交给它,让它协助检查配置、选择模型和完成安装。

安装好之后,也可以根据需要添加、切换不同版本的模型。

Strata 还提供了官方简体中文使用说明,国内用户照着操作会方便不少。

05先收藏,哪天说不定真用上了

最后,还有个必须说清楚的问题:电脑配置。

虽然安装步骤已经简化,但想运行1250亿参数的大模型,硬件门槛仍然不低。

以 Windows 电脑为例,如果想运行保留全部专家的压缩版本,通常需要12GB显存、48GB电脑内存,以及约80GB硬盘空间。

如果主要用于AI编程,也有适合32GB内存电脑的精简 Coder 版本,不过其他能力会有所取舍。

所以,现在的普通办公电脑未必能带得动。

但如果你本来就有一台配置不错的游戏电脑,平时也喜欢研究AI,那这个项目确实值得了解一下。

如果暂时用不上,也可以先把官方地址留着。

Strata 免费开源项目:

https://github.com/Niko1221/Strata

官方简体中文说明:

https://github.com/Niko1221/Strata/blob/main/README.zh-CN.md

模型版本与配置说明:

https://github.com/Niko1221/Strata/blob/main/docs/MODELS.md

以后想在自己电脑里运行AI、开发个人小工具,或者研究本地处理私密资料,这些入口就能派上用场。

身边如果有朋友喜欢折腾电脑、研究AI,或者经常使用付费模型接口,也可以把这个项目分享给他。

以前想让这么大的AI干活,通常得依赖云端服务器。

现在,一台符合配置要求的个人电脑,就已经能让1250亿参数的大模型运行起来,还能连接工具参与开发实际软件。

等到本地AI继续发展,也许未来我们需要什么小工具,真的可以直接告诉自己电脑里的AI,让它帮忙做出来。

相关学习资料