昨天半夜刷到一个帖子,叫《Open-Source AI Radar: 19 Rising GitHub Repos (June 2026)》,一口气刷了19个正在疯涨的开源AI项目。
看完第一反应:这篇要是让我自己从零筛,得累死。
19个项目,有TTS、有推理引擎、有浏览器Agent、有记忆工具——看起来每个都牛逼,但实际能直接上手用的有几个?
我花了一整晚,把这19个项目挨个看了文档、测了安装、试了效果。结论很直接:
真正能「下载即用」的,大概4个。其他的要么半成品,要么硬件门槛太高,要么license有坑。
今天把这4个真正能用的拆给你看。
先说个有意思的事情。
我看完第一遍的时候,第一反应是「shimmy」这个纯Rust推理引擎——单二进制文件,不需要Python,跑Vulkan/D3D12/Metal,听起来碉堡了。
但仔细看下去发现一个问题:它的GPU核心代码没有开源,用户没法审计。「MIT协议但核心闭源」——这比直接说自己是商业软件更让人不放心。
如果你要在生产环境用推理服务,我劝你先等等它的GPU代码开源。
真正让我眼前一亮的,是下面这几个。

第一个:whichllm — 你该拿什么跑大模型?它替你算好了
whichllm 是个CLI工具,你输入你的硬件配置,它直接告诉你「你的机器最适合跑哪个模型」。
不是靠参数数量拍脑袋,而是基于LiveBench、Artificial Analysis、Aider、Arena ELO四个真实榜单的数据。
我试了一下,在服务器上跑 npx whichllm detect,10秒出结果——它检测到我的硬件(8核CPU+16G内存),推荐的模型列表直接命中我日常用的那几个。
最骚的是它还有个「GPU选购模拟器」功能。你想买一张新显卡,先输入预算,它告诉你RTX 4090在你的场景下能跑什么模型,A100又能跑什么。买卡前先问它,省得花冤枉钱。
这玩意儿在一个领域内做到极致,比十个半成品有用。
如果你是纠结买什么显卡、跑什么模型的人——这工具可以直接省你半天查资料的时间。

第二个:VoxCPM
TTS开源工具我测过不下10个。Coqui挂了之后,一直在等一个「能自部署、说话自然、多语言、还TM是Apache 2.0」的替代品。
VoxCPM 2做到了。
2B参数,30种语言,支持语音设计(不用参考音频,用文字描述你想要的音色),实时流式输出,而且权重也是Apache 2.0——这意味着商用完全不受限。
我搭了个demo,输入「一个30岁男性,声音略低沉,像深夜电台主播」,10秒后它用这个虚拟音色读了一段中文新闻。听着不出戏。
当然,门槛还是有:需要一个至少8G显存的GPU,CUDA 12+。Linux用户直接拉Docker就能跑,Windows稍微折腾点(WSL2是捷径)。
如果你一直在等一个能自部署的类ElevenLabs替代品——VoxCPM 2就是你要的那一个。

第三个:OpenMemory
用过ChatGPT记忆功能的都知道,它能跨对话记住你的偏好。但自部署的模型一直缺这个——每次对话都是全新开始,像个失忆症患者。
OpenMemory就是个给LLM加长期记忆的中间件。它保存对话片段、用户偏好、关键事实,下次同一个人回来,自动加载上下文。
最实用的是它支持多用户隔离——每个人有自己的记忆空间,互不干扰。
部署方式:docker compose up,然后配置LLM后端API地址,把你的应用指向OpenMemory的端点即可。
如果你的应用需要「记住用户是谁」,这个比你自己写向量数据库+检索逻辑省事10倍。
开源版ChatGPT记忆功能——名字虽然有点拗口,但用了就回不去。

第四个:UI-TARS-desktop
字节跳动出的开源GUI Agent,能让AI看你屏幕、理解界面、操作鼠标键盘。
它跟Claude Computer Use是一个思路,但开源+免费。
我实测了一个场景:让它帮我整理桌面——把截图丢进「Screenshots」文件夹,PDF丢进「Documents」,剩下的按类型分类。它做到了。 虽然比人慢(一张桌面整理了大概40秒),但胜在不用动手。
缺点是Docker环境,GPU推荐(但不强制)。而且当前版本对中文界面理解还不如英文好——如果你桌面全是英文软件,体验会顺畅很多。
这4个工具其实指向了AI开源生态的一个趋势:
不再是「一个全能模型打天下」,而是一批小而精的工具各司其职。
whichllm帮你选模型,VoxCPM处理语音,OpenMemory解决记忆,UI-TARS替你操作界面。每个工具只做一件事,但这件事做到能直接用。
与其等一个「万能AI」,不如先搭一套「自己能跑的工具链」。
2026年的AI不再是看谁跑得快,而是看谁跑得稳。
觉得有用的话,点个赞和分享,让更多人的工具链也能这么搭。你最近在用哪个开源AI工具?评论区聊聊。
夜雨聆风