乐于分享
好东西不私藏

不用OpenAI也能玩转AI?这个开源工具让我省了上万美元

不用OpenAI也能玩转AI?这个开源工具让我省了上万美元

不用OpenAI也能玩转AI?这个开源工具让我省了上万美元

嗨,朋友们!今天要给你们安利一个让我彻底戒掉OpenAI的神器!

作为一个每天都要用AI写代码、写文章、做数据分析的内容创作者,我以前每个月光OpenAI的账单就要$100多。现在?零成本,而且比以前更爽!

这个神器就是 —— Ollama

🔥 什么 是 Ollama?

简单说,Ollama 就是让你在电脑上本地运行 AI 大模型

不用联网,不用注册账号,不用买API key,下载安装就能用。而且:

  • ✅ 完全免费 - 不用付一分钱
  • ✅ 隐私安全 - 数据全在本地,不会泄露
  • ✅ 支持多模型 - Llama 3、Mistral、Qwen 等都能跑
  • ✅ 操作简单 - 几个命令就能搞定

是不是听着就很香?别急,接下来我手把手教你!

💡 为什么要用本地AI?

我算了一笔账,你们听听就懂了:

以前用 OpenAI 的成本:

  • GPT-4
    :$20/月(偶尔用用)
  • GPT-4o
    :$0.01/千token(写文章每次$2-3)
  • 每月总花费
    $100-150(≈ ¥700-1050)

现在用 Ollama 的成本:

  • 电费
    :几乎忽略不计
  • 每月总花费
    $0

一年省下来就是 $1200+(¥8000+),够买台新电脑了!

而且本地AI还有这些好处: 

- 🔒 数据不外传:写代码、写日记、分析公司数据,都不怕泄露 

- ⚡ 响应速度快:不用等网络,本地显卡直接跑 

- 🎨 模型随便换:想用哪个模型就下哪个,自由度高

🛠️ 系统要求(重要!)

在安装之前,先看看你的电脑能不能跑:

操作系统
最低配置
推荐配置
macOS
Apple Silicon (M1/M2/M3)
M2 Pro 及以上 + 16GB内存
Linux
GPU 或 16GB内存
NVIDIA GPU + 32GB内存
Windows
WSL2 + 16GB内存
NVIDIA GPU + 32GB内存

我的配置: - MacBook Pro M2 Pro - 16GB 统一内存 - 跑 Llama 3 (8B) 模型完全没问题

如果你的配置比较低(比如 8GB 内存),可以试试更小的模型(比如 Qwen2.5-1.5B),依然很好用!

📥 安装步骤(保姆级教程)

macOS 用户(最简单)

打开终端,输入这一行命令:

curl -fsSL https://ollama.com/install.sh | sh

按下回车,等几分钟就装好了!

Linux 用户

同样简单,一行命令搞定:

curl -fsSL https://ollama.com/install.sh | sh

Windows 用户

需要先安装 WSL2(Windows Subsystem for Linux):

  1. 打开 PowerShell(管理员),输入:
wsl --install
  1. 重启电脑,设置 Ubuntu 用户名和密码

  2. 打开 Ubuntu 终端,输入:

curl -fsSL https://ollama.com/install.sh | sh

安装完成后,输入:

ollama --version

如果显示版本号(比如 ollama version is 0.5.7),说明安装成功!

🎯 下载第一个模型

安装好了,但还没模型呢!现在下载一个轻量好用的模型:

ollama pull llama3.1:8b

这个命令会下载 Llama 3.1 的 8B 版本: - 文件大小:约 4.7GB - 下载时间:看网速,一般 5-15 分钟

推荐模型清单(按推荐度排序): 1. llama3.1:8b - 综合最强,适合大部分场景 2. qwen2.5:7b - 中文表现好,适合中文创作 3. mistral:7b - 代码生成能力强 4. phi3:3.8b - 轻量级,低配电脑首选

如果你想试试其他模型,可以访问 Ollama Model Library 查看更多。

🚀 开始使用

方式1:命令行聊天

最直接的方式,打开终端输入:

ollama run llama3.1:8b

然后就可以跟 AI 聊天了:

>>> 你好,请介绍一下你自己你好!我是 Llama 3.1,一个由 Meta 训练的大语言模型...

退出聊天模式:按 Ctrl + D

方式2:API 模式(最常用!)

Ollama 默认会启动一个 API 服务,你可以像用 OpenAI 一样调用它!

启动服务(通常默认已启动):

ollama serve

测试 API

curl http://localhost:11434/api/generate -d '{  "model": "llama3.1:8b",  "prompt": "写一首关于春天的诗",  "stream": false}'

方式3:集成到 Python 代码

这是我最常用的方式!写个脚本:

import requestsimport jsonresponse = requests.post('http://localhost:11434/api/chat', json={    "model": "llama3.1:8b",    "messages": [        {"role": "user", "content": "用 Python 写一个快速排序"}    ],    "stream": False})result = response.json()print(result['message']['content'])

运行一下,就能看到 AI 生成的代码了!

💻 实战案例:AI 写作助手

我写了个简单的 Python 脚本,帮我写公众号文章:

import requestsimport timedef ask_ollama(prompt, model="llama3.1:8b"):    response = requests.post('http://localhost:11434/api/chat', json={        "model": model,        "messages": [{"role": "user", "content": prompt}],        "stream": False    })    return response.json()['message']['content']# 让 AI 帮我写文章大纲topic = "如何用开源工具提高工作效率"outline = ask_ollama(f"为一篇关于{topic}的公众号文章写大纲,要求:爆款标题,5-7个小标题")print("=== 文章大纲 ===")print(outline)# 让 AI 填充内容article = ask_ollama(f"根据以下大纲写一篇完整的公众号文章:\n{outline}\n\n要求:2000字左右,大白话风格,适合手机阅读")print("\n=== 文章内容 ===")print(article)

运行结果让我惊喜!AI 写的文章结构清晰、逻辑通顺,稍微改改就能用。

🔄 进阶技巧

1. 多模型切换

不同场景用不同模型:

# 写代码用 Mistralollama run mistral:7b# 写中文内容用 Qwenollama run qwen2.5:7b# 快速问答用轻量模型ollama run phi3:3.8b

2. 自定义提示词(Modelfile)

你可以创建自己的模型变体!创建文件 my-model.modelfile

FROM llama3.1:8bSYSTEM 你是一个专业的公众号编辑,擅长写大白话风格的技术文章。

然后创建模型:

ollama create my-editor -f my-model.modelfile

现在你可以用:

ollama run my-editor 写一篇关于 Python 的新手教程

3. GPU 加速(Linux/Windows)

如果你有 NVIDIA GPU,一定要用上!

安装 CUDA(Ubuntu):

sudo apt install nvidia-cuda-toolkit

重新安装 Ollama

curl -fsSL https://ollama.com/install.sh | sh

验证 GPU 是否启用

nvidia-smi

启用 GPU 后,推理速度能提升 5-10 倍

📊 性能对比

我用 M2 Pro MacBook 测试了几个模型的速度:

模型
参数量
生成速度
内存占用
适合场景
phi3:3.8b
3.8B
120 tokens/s
4GB
快速问答、轻量任务
llama3.1:8b
8B
85 tokens/s
8GB
通用场景、写作、代码
qwen2.5:7b
7B
90 tokens/s
7GB
中文创作、翻译
mistral:7b
7B
80 tokens/s
7GB
代码生成、技术写作

我的推荐: - 主力模型llama3.1:8b(综合最强) - 中文场景qwen2.5:7b - 低配电脑phi3:3.8b

🌐 图形化界面推荐

如果你不喜欢命令行,可以试试这些 GUI 工具:

  1. Open WebUI
     - 最流行的 Web 界面,像 ChatGPT 一样好用
  2. Jan
     - 跨平台桌面应用,界面漂亮
  3. Chatbox AI
     - 支持 Ollama 的轻量级聊天工具

安装 Open WebUI(Docker 方式):

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

然后访问 http://localhost:3000,就能看到漂亮的界面了!

⚠️ 常见问题

Q1:下载模型很慢怎么办?

A:可以换个下载源,或者用别人分享的模型文件。

Q2:内存不够怎么办?

A:用更小的模型,或者启用磁盘交换(会慢一些)。

Q3:中文效果不好?

A:试试 qwen2.5:7b 或 yi:6b,这些中文模型表现更好。

Q4:能不能联网搜索?

A:可以结合其他工具,比如用 Python 脚本先搜索信息,再喂给 AI。

💰 总结

我用了 Ollama 3 个月,感受就一个字:

省了 $300+ 的账单不说,本地AI的隐私性和稳定性让我更放心。而且切换模型、定制提示词这些功能,比 OpenAI 的通用 API 灵活太多了。

如果你也在为 AI 账单发愁,或者担心数据隐私,强烈推荐试试 Ollama!


📥 下载链接

官方网站:https://ollama.comGitHub:https://github.com/ollama/ollama模型库:https://ollama.com/library


最后说一句:开源社区真的太牛了!能免费用到这么强大的工具,感恩!💜

如果你觉得有用,记得点赞收藏,有问题评论区见!👇