乐于分享
好东西不私藏

Ollama:在自己电脑上跑大模型,我用它搭了个私人AI内容助手

Ollama:在自己电脑上跑大模型,我用它搭了个私人AI内容助手

用ChatGPT做内容有一个永远绕不开的问题:数据在别人那里。你的选题库、写作风格、竞品分析……全都经过OpenAI的服务器。

Ollama 让你在本地跑大模型,数据不出电脑,还不用花API费用。


安装有多简单

# macOS / Linuxcurl -fsSL https://ollama.ai/install.sh | sh# 下载并运行 Llama3ollama run llama3# 或者试试中文更好的 Qwenollama run qwen2.5:7b

就这样。没有注册,没有API key,没有额度限制。


内容创作者怎么用

本地文章润色助手

# 启动API服务ollama serve# 调用APIcurl http://localhost:11434/api/generate -d '{  "model": "qwen2.5:7b",  "prompt": "帮我把这段文字改得更口语化、更有感染力:[你的文章段落]",  "stream": false}'

配合 Open WebUI 有聊天界面

docker run -d -p 3000:8080 \  --add-host=host.docker.internal:host-gateway \  ghcr.io/open-webui/open-webui:main

打开 localhost:3000,就是一个本地版ChatGPT,连接你的Ollama模型。

批量处理文章

import ollamaarticles = ['文章1内容', '文章2内容', '文章3内容']for article in articles:    response = ollama.chat(model='qwen2.5:7b', messages=[        {'role': 'user',         'content': f'给这篇文章写一个吸引人的微信公众号标题:\n{article}'}    ])    print(response['message']['content'])

批量给30篇文章生成标题,一次跑完,不花一分钱。


推荐模型

  • • qwen2.5:7b:中文最好,7B模型普通电脑跑得动
  • • llama3.1:8b:综合能力强,英文内容处理一流
  • • deepseek-r1:7b:推理能力强,适合做内容分析
  • • nomic-embed-text:文本向量化,做知识库必备

配置要求

  • • 7B模型:8GB内存基本够,有GPU更快
  • • 13B模型:16GB内存,GPU加速明显
  • • Mac M系列:体验最好,Apple Silicon对大模型优化很好

128k star,最活跃的本地大模型工具。内容创作者用它的最大价值:完全私有、完全免费、完全可控。

GitHub:https://github.com/ollama/ollama