AI 工具 | Ollama 本地部署大模型,隐私数据不出门

# 使用 Homebrew 安装
brewinstallollama

# 或从官网下载
# https://ollama.com/download

# 一键安装脚本
curl-fsSLhttps://ollama.com/install.sh|sh

# 验证安装
ollama--version

dockerrun-d-vollama:/root/.ollama-p11434:11434--nameollamaollama/ollama

ollamalist

# Qwen2.5（阿里开源，中文友好）
ollamapullqwen2.5:7b

# Llama 3（Meta 开源，综合能力强）
ollamapullllama3:8b

# Mistral（欧洲开源，代码能力强）
ollamapullmistral:7b

# CodeLlama（代码专用）
ollamapullcodellama:7b

# ChatGLM3（清华开源，中文优化）
ollamapullchatglm3:6b

# 运行模型
ollamarunqwen2.5:7b

# 开始对话
>>>你好，请介绍一下你自己
>>>帮我写一个Python函数，计算斐波那契数列

>>>/bye

ollamashowqwen2.5:7b

ollamaserve

importrequests

defchat_with_ollama(prompt, model="qwen2.5:7b"):
    url = "http://localhost:11434/api/generate"

    payload = {
        "model": model,
        "prompt": prompt,
        "stream": False
    }

    response = requests.post(url, json=payload)
    return response.json()["response"]

# 使用示例
result = chat_with_ollama("你好，请介绍一下你自己")
print(result)

constaxios=require('axios');

asyncfunctionchatWithOllama(prompt,model='qwen2.5:7b'){
constresponse=awaitaxios.post('http://localhost:11434/api/generate',{
model:model,
prompt:prompt,
stream:false
});
returnresponse.data.response;
}

// 使用示例
chatWithOllama('你好').then(console.log);

ollamarunqwen2.5:7b
# 查看是否显示 GPU 加速

# 创建自定义模型配置
ollamacreatemymodel-fModelfile

# Modelfile 内容：
FROMqwen2.5:7b
PARAMETERnum_ctx4096# 增加上下文长度

# 下载量化版本
ollamapullqwen2.5:7b-q4_K_M# 4bit 量化，内存减半

# 量化等级对比：
# q4_0：最快，精度略低
# q4_K_M：平衡
# q8_0：最慢，精度最高

# 一次处理多个请求
prompts = ["问题 1", "问题 2", "问题 3"]
results = [chat_with_ollama(p) for p in prompts]

# 将文档整理为文本格式
mkdirdocs
cp*.pdfdocs/
cp*.mddocs/

fromlangchain_community.llmsimport Ollama
fromlangchain_community.document_loadersimport DirectoryLoader
fromlangchain.text_splitterimport RecursiveCharacterTextSplitter
fromlangchain_community.vectorstoresimport Chroma
fromlangchain_community.embeddingsimport HuggingFaceEmbeddings

# 加载文档
loader = DirectoryLoader('./docs', glob='**/*.txt')
docs = loader.load()

# 分割文档
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
splits = text_splitter.split_documents(docs)

# 创建向量库
embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/all-MiniLM-L6-v2")
vectorstore = Chroma.from_documents(documents=splits, embedding=embeddings)

# 创建问答链
llm = Ollama(model="qwen2.5:7b", base_url="http://localhost:11434")
retriever = vectorstore.as_retriever()

# 问答
query = "产品退换货政策是什么？"
relevant_docs = retriever.get_relevant_documents(query)

# 设置镜像（如果官方支持）
exportOLLAMA_MIRROR=https://mirror.example.com