本文仅为开源工具个人实操分享，所有工具、模型均来自官方开源渠道，请勿用于商用、违规用途，模型使用请严格遵守对应开源协议，所有操作均为本地环境测试，个人需自行承担操作相关风险。

家人们，谁懂啊！ 想用好点的 AI 写方案、改代码，动辄充几十上百会员，聊不了几次就限额； 传个工作文件、私密内容到云端 AI，总怕信息泄露，半夜都睡不着； 搜 “本地部署 AI” 教程，全是代码黑话，看 5 分钟直接劝退，感觉自己像个傻子……

今天我就将这个门槛降低，给所有读者出一份「零代码、零成本、30 分钟搞定」的保姆级教程！不用懂编程，不用花一分钱，照着抄就能把 GPT-4 级别的私人 AI 装到你电脑里，断网也能用，数据全在本地，彻底跟会员费、隐私泄露说拜拜

先唠明白：下面这堆玩意儿到底是啥？

把本地部署 AI 比作 “给你电脑装个专属智能机器人”，就 4 个核心装备，一眼看懂：

总结：用免费工具装免费 AI 大脑，一分钱不花，数据全在自己电脑里，爽到飞起

第一步先自查：看看你的电脑能不能安装？

不用买几万块的服务器，普通家用电脑就行，对号入座：

补充：AMD 显卡也能跑，但 NVIDIA 优化更好；纯 CPU 跑就是生成文字慢一点，能接受就不用换显卡！

动手第一步：装 3 个基础工具（全程点下一步）

这一步就装 3 个免费工具，全是官方包，不用动脑子，跟着来就行！

1.先装 Python

推荐安装Python 3.13/3.14 稳定版（官方长期维护，兼容性最佳，避免使用已停止维护的 3.9 及以下版本）

1. 打开 Python 官方下载页：https://www.python.org/downloads/
2. 点击页面中间的黄色「Download Python」按钮，下载最新稳定版安装包；
3. ✅ 划重点！安装界面底部一定要勾选「Add Python to PATH」，再点「Install Now」；
4. 等待安装完成，出现「Setup was successful」提示即安装成功。

验证是否安装成功（10 秒搞定）

Windows 电脑按下Win\+R，输入cmd打开命令提示符窗口； 输入以下命令并回车：

python --version

能看到类似Python 3.14.0的版本号，即为安装成功；无版本信息请重新安装，务必勾选 PATH 选项。

2.装 llama.cpp（AI 发动机）

无需复杂代码编译，直接下载官方预编译成品包，解压即用（当前最新版本为 b6484）：

1. 打开 llama.cpp 官方发布页：https://github.com/ggerganov/llama.cpp/releases
2. 下滑找到最新版本的 Assets 文件列表；
3. 根据自己的电脑系统选择对应安装包：
4. Windows 纯 CPU 用户：下载llama\-b6484\-bin\-win\-cpu\-x64\.zip
5. Windows NVIDIA 显卡用户：下载llama\-b6484\-bin\-win\-cuda\-12\.4\-x64\.zip
6. Mac M 系列芯片用户：下载llama\-b6484\-bin\-macos\-arm64\.zip
7. Mac Intel 芯片用户：下载llama\-b6484\-bin\-macos\-x64\.zip
8. 下载完成后，解压到非中文、无空格的文件夹（比如D:\\llama\.cpp），禁止放桌面、禁止中文路径，避免后续报错。

3.装 Pi 框架（给 AI 装手脚）

1. 重新打开一个新的 cmd 命令行窗口；
2. 输入以下命令，回车等待自动安装完成：

pip installpi-ai

这一步有的小伙伴会报错，原因是官方升级了pi-ai的包，导致pip管道找不到安装什么版本，大家可以前往python官网，去搜索安装什么版本的pi-ai。

安装完成后，输入以下命令并回车，能看到版本号即为安装成功：

pi--version

动手第二步：启动 AI 服务器

这步是核心！命令已做官方最优配置，无需修改，直接复制粘贴即可。

先搞懂命令

llama-server-hfunsloth/Qwen3.6-35B-A3B-GGUF:Q4_K_XL--jinja--chat-template-kwargs"{\"preserve_thinking\":true}"--temp0.6--top-p0.95--top-k20--min-p0

• llama\-server：启动 AI 服务器程序，让 AI 大脑在后台运行；
• \-hf xxx：自动从官方 AI 模型仓库，下载选定的压缩版 Qwen3.6-35B 模型，无需手动找资源；
• 后续参数：官方优化的对话参数，保证 AI 回复流畅、逻辑稳定，小白直接用无需修改。

Windows 用户操作：

1. 打开刚才解压好的 llama.cpp 文件夹（比如D:\\llama\.cpp）；
2. 在文件夹空白处，按住 Shift 键 + 鼠标右键，选择「在此处打开 PowerShell 窗口」（或「在终端中打开」）；
3. 把下面的命令完整复制粘贴到弹出的窗口中，按下回车：

.\llama-server.exe-hfunsloth/Qwen3.6-35B-A3B-GGUF:Q4_K_XL--jinja--chat-template-kwargs"{\"preserve_thinking\":true}"--temp0.6--top-p0.95--top-k20--min-p0

按下回车后，程序会自动下载 AI 模型文件（约 20 多 G），下载完成前绝对不要关闭窗口！

Mac/Linux 用户操作：

1. 打开终端，通过 cd 命令进入你解压好的 llama.cpp 文件夹，示例：

cd llama.cpp

把下面的命令完整复制粘贴到终端中，按下回车：

./llama-server-hfunsloth/Qwen3.6-35B-A3B-GGUF:Q4_K_XL--jinja--chat-template-kwargs'{"preserve_thinking":true}'--temp0.6--top-p0.95--top-k20--min-p0

等待程序自动下载模型，下载完成前不要关闭终端窗口。

怎么判断启动成功？

当窗口里出现以下这句话，就代表 AI 服务器启动成功！

llama server listening at http://localhost:8080

重点提醒：这个窗口绝对不能关闭！关闭后 AI 服务就会停止，只需最小化在后台运行即可，继续进行下一步操作。

下载太慢？2 个救命解决办法

1. 国内镜像加速：把命令里的unsloth/替换成hf\-mirror\.com/unsloth/，下载速度会大幅提升；
2. 手动下载模型：用迅雷、IDM 等下载工具提前下载好模型文件，放到 llama.cpp 文件夹的models目录中，然后把命令里的\-hf xxx替换成\-m models/你的模型文件名\.gguf，即可跳过在线下载。

动手第三步：配置 Pi 框架

只需新建一个配置文件，内容直接复制，无需修改任何内容。

1. 新建一个文件夹（比如D:\\pi\agent），禁止使用中文路径；
2. 在文件夹内，新建一个文本文档，将文件名修改为pi\.json（重点：必须把后缀\.txt改成\.json，否则无法使用）；
3. 用记事本打开这个pi\.json文件，把下面的内容完整复制进去，直接保存即可：

{
"providers": {
"llama-cpp": {
"baseUrl": "http://localhost:8080",
"api": "openai-completions",
"apiKey": "none",
"models": [
        {
"id": "unsloth/Qwen3.6-35B-A3B-GGUF:Q4_K_XL"
        }
      ]
    }
  }
}

动手第四步：测试！你的私人 AI 助手正式上线了

1. 不要关闭之前的 llama.cpp 运行窗口
   
   ，重新打开一个新的 cmd 命令行窗口；
2. 用命令进入你存放pi\.json的文件夹，示例：先输入D:按回车，再输入cd D:\\pi\-agent按回车；
3. 输入下面的命令，按下回车，启动 Pi 框架交互模式：
4. pi –config pi.json
5. 当窗口里出现pi\>的提示符，就代表全部部署成功！

现在你就可以直接和它聊天了，试试输入这些指令，解锁你的私人 AI 能力：

• 帮我写一份新媒体运营的周工作计划
• 帮我把这份会议纪要整理成结构化要点（直接粘贴内容即可）
• 帮我写一段 Python 自动化整理 Excel 文件的代码
• 帮我规划一下 7 天的云南自驾游行程

避坑指南！99% 的问题都能在这里解决

1. ❌ llama.cpp 启动失败，提示缺少 dll 文件 去微软官网下载「Visual C++ Redistributable」最新版，安装完成后重启电脑即可解决，完全免费。
2. ❌ Pi 框架连不上 AI，提示连接失败 先检查 llama.cpp 的运行窗口是否正常开启（必须保持后台运行）；再检查pi\.json里的地址是否为http://localhost:8080，不要写错字母和符号。
3. ❌ AI 生成文字特别慢，半天出一个字 纯 CPU 运行本身速度偏慢，优先升级内存条到 64G，或使用 NVIDIA 显卡加速，速度会大幅提升；也可以更换更小的模型，比如 Qwen3.6-14B 版本，对电脑配置要求更低。
4. ❌ 模型下载到一半中断了 不用慌，重新输入启动命令，程序会自动断点续传，无需重新从头下载。

最后说句掏心窝的

大家别觉得本地部署 AI 是程序员的专属！现在开源工具已经优化到了极致，普通人照着步骤 30 分钟就能搞定，再也不用被 AI 会员割韭菜，再也不用怕隐私数据泄露。

建议收藏这篇教程，部署的时候一步步对照着做，踩坑了可以在评论区留言，有时间我会一一解答✅

关注我 @浩宇提效实验室，后续会持续分享低配置电脑也能跑的 AI 部署教程、各种小白可落地的 AI 提效神器，帮你用免费技术工具，少花 90% 的冤枉钱！