# 下载量化模型（以Qwen3-72B为例）
huggingface-cli download \
  Qwen/Qwen3-72B-GGUF \
  qwen3-72b-q4_k_m.gguf \
  --local-dir ./models

# 启动llama.cpp推理服务器
./llama-server \
  -m ./models/qwen3-72b-q4_k_m.gguf \
  -c 8192 \
  --host 0.0.0.0 \
  --port 8080 \
  -t 16 \
  --gpu-layers 32

# 调用方式与OpenAI API完全兼容
curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role":"user","content":"解释KV Cache"}],
    "max_tokens": 512
  }'

# GPTQ量化（AutoGPTQ）
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig

quantize_config = BaseQuantizeConfig(
    bits=4,           # 4-bit量化
    group_size=128,   # 分组大小，越大精度越高
    damp_percent=0.01,
    desc_act=True     # 激活值感知量化
)

model = AutoGPTQForCausalLM.from_pretrained(
    "Qwen/Qwen3-72B",
    quantize_config=quantize_config
)

# 用校准数据集量化
model.quantize(calibration_dataset)
model.save_quantized("./qwen3-72b-gptq")

# AWQ量化（更易用，推荐新手）
from awq import AutoAWQForCausalLM

model = AutoAWQForCausalLM.from_pretrained("Qwen/Qwen3-72B")
model.quantize(tokenizer, quant_config={"zero_point": True, "q_group_size": 128, "w_bit": 4})
model.save_quantized("./qwen3-72b-awq")

# 安装vLLM
pip install vllm==0.22.1

# 启动OpenAI兼容的推理服务
python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen3-72B-AWQ \
  --quantization awq \
  --tensor-parallel-size 4 \
  --gpu-memory-utilization 0.9 \
  --max-model-len 32768 \
  --enable-prefix-caching \
  --host 0.0.0.0 \
  --port 8000

# 关键优化参数：
# --tensor-parallel-size 4  → 4卡并行，线性扩展
# --enable-prefix-caching   → 前缀缓存，RAG场景提速3-5x
# --gpu-memory-utilization  → 显存利用率，0.9是甜点值

# 安装Ollama（Linux）
curl -fsSL https://ollama.com/install.sh | sh

# 拉取并运行量化模型
ollama pull qwen3:72b-q4_K_M

# 启动API服务（默认已启动）
ollama serve

# 调用API
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3:72b-q4_K_M",
    "messages": [{"role":"user","content":"你好"}]
  }'

# Ollama v0.30.6新特性：
# ✅ 自动GPU/CPU混合推理
# ✅ 模型热切换，无需重启服务
# ✅ 内置KV Cache量化
# ✅ 支持多模型并发加载

🆓 完全免费（无需信用卡）
  • OpenRouter Free Tier → 每天50次免费调用，支持Qwen3/DeepSeek等
  • Groq → 免费API，基于LPU芯片，推理速度极快
  • Cloudflare Workers AI → 每天10,000次免费推理
  • HuggingFace Inference API → 免费CPU推理，适合小模型
  • GitHub Copilot（教育版）→ 学生/教师免费

💰 有免费额度
  • Google Gemini API → 每月60美元免费额度
  • Together AI → 注册送$25额度
  • Fireworks AI → 每月$10免费额度
  • DeepSeek API → 价格极低（$0.28/百万token）

🔧 完全免费开源（自建）
  • Ollama → 本地运行任何开源模型
  • llama.cpp → CPU/GPU推理
  • vLLM → 高性能GPU推理
  • Text Generation WebUI → 一键部署界面

你的场景是什么？
│
├─ 个人学习/开发测试
│   └─→ Ollama + Q4量化模型（零成本，5分钟上手）
│
├─ 小团队（<10人），日均请求<1万
│   ├─ 有GPU → vLLM + AWQ量化（月成本$200-500）
│   └─ 无GPU → OpenRouter免费额度 + llama.cpp
│
├─ 中型团队（10-100人），日均请求10万+
│   ├─ 预算充足 → vLLM多卡部署 + Prefix Cache
│   └─ 预算紧张 → 自建llama.cpp集群 + 负载均衡
│
└─ 企业级（100人+），日均请求100万+
    └─→ vLLM + Tensor Parallel + 自动扩缩容
          + Token用量监控（接入Tokenomics标准）