乐于分享
好东西不私藏

本地跑AI不用手动装6个工具,ODS一键搞定

本地跑AI不用手动装6个工具,ODS一键搞定

想在自己电脑上跑 AI 模型,又不想手动装 Ollama、Open WebUI、n8n、ComfyUI 这一堆东西?一条命令装完所有,数据全在本地,不用交月费。

① 一句话:把你的电脑变成私有 AI 服务器

ODS(Osmantic Deployment System)是一个一键部署的本地 AI 服务器框架。它把模型推理、聊天界面、自动化工作流、RAG 检索、图像生成、隐私工具打包成一个整体,装完就能用。

核心解决两个问题:一是省去手动组装多个开源工具的麻烦,二是让 AI 数据完全留在本地,不用上传到任何云端 API。

② 五个核心亮点

一键安装,零依赖启动
Linux/macOS 一行 curl 命令装完,Windows 用 PowerShell 安装器。不需要提前装 Docker、Python 或任何依赖,脚本自动处理。
整合六种工具,开箱即用
Ollama(模型推理)、Open WebUI(聊天界面)、n8n(工作流自动化)、ComfyUI(图像生成)、Qdrant(向量检索)、Traefik(反向代理)全部预装好,不用自己配端口和依赖。
统一控制面板
浏览器打开 localhost:3000 就能管理所有模型、服务、GPU 状态和扩展。不用记不同工具的端口和命令。
无 GPU 也能跑
支持云模式(--cloud 参数),用 OpenAI/Anthropic/Together 的 API 替代本地推理,其他功能完全一样。有 GPU 时自动用 Metal/CUDA 加速。
隐私优先,数据不出门
所有服务认证、密钥、日志、监控都在本地。除非你主动配置云端 API,否则没有任何数据离开你的机器。

③ 怎么用:一条命令搞定

Linux/macOS 安装:

curl -fsSL https://install.osmantic.com/ods.sh | bash

Windows 安装: 用 PowerShell 安装器,或参考 Windows Quickstart 文档。

无 GPU 用云模式:

./install.sh --cloud

改端口: 所有端口可通过环境变量配置,例如:

WEBUI_PORT=9090 ./install.sh

装完后浏览器打开 http://localhost:3000 直接开始聊天。API 默认暴露在 localhost:11434(Linux Docker)或 localhost:8080(macOS/Windows),方便集成到现有项目。

④ 谁该用

AI 开发者: 本地跑模型调试,不用反复调 API 密钥和配额。ODS 的 API 兼容 Ollama 格式,现有项目改个 base_url 就能接入。

企业 IT 团队: 搭建内部知识库 RAG 系统,员工通过本地 AI 查询文档,数据不出公司内网。适合金融、医疗、法律等合规要求高的行业。

个人极客/家庭实验室玩家: 在旧 PC 或 Mac Mini 上跑私有 AI 服务,配合 Home Assistant 做语音助手、自动化工作流。

文档方面,项目提供了 Friendly Guide(友好指南)和音频版教程,非技术用户也能跟着走。GitHub 上 release 验证流程透明,每个版本都经过完整测试。

⑤ 项目价值

变现潜力: 可以为企业部署私有 AI 服务器,按节点收费(参考 500 元/月/节点)。或者提供定制化部署服务,针对教育、医疗等敏感行业做合规方案。未来可开发插件市场,抽成 20%。

提效价值: 省去手动安装和配置 6 个以上工具的时间(至少半天),一条命令 10 分钟搞定。控制面板统一管理,运维成本降低 80%。

生态价值: 项目采用 Apache 2.0 开源协议,社区活跃(GitHub 有 release 验证流程和贡献指南)。相比手动组合 Ollama+Open WebUI,ODS 提供了一体化管理和更广的功能覆盖(语音、工作流、图像生成),且支持更多 GPU 平台(NVIDIA、AMD、Apple Metal)。

🔗 工具链接

https://github.com/Osmantic/ODS

👇 长按二维码,关注这个号

AI 帮你筛能挣钱 / 省时间的工具,每天一个挣钱路