Ai应用_从源码到双击启动:27B 本地大模型搭建手记

7

编译的结果在build\bin里，模型在别处，每次手动敲一长串参数显然不是我想要的。因此需要将其一键打包（不含模型）约630MB，整目录随便挪位置，双击 start.bat 即用，结构如下：

D:\llama\├── start.bat                 ← 一键启动（双击它）├── bin\                      ← 3 个 exe + 16 个 DLL│   ├── llama-cli.exe / llama-server.exe / llama-bench.exe│   ├── 依赖dll 10 个：ggml、ggml-base、ggml-cpu、ggml-cuda(41MB)、│   │   llama、llama-common、mtmd、llama-{cli,server,bench}-impl│   ├── VC 运行库 3 个：msvcp140、vcruntime140、vcruntime140_1│   └── CUDA 运行库 3 个：cudart64_12(0.5MB)、cublas64_12(95MB)、│       cublasLt64_12(451MB)└── models\    ├── Ternary-Bonsai-2-27B-PQ2_0-MTP-Q8_0.gguf   (7.13 GB)    └── Ternary-Bonsai-2-27B-mmproj-Q8_0.gguf      (600 MB)

两个容易漏的东西：

1、CUDA 依赖库：ggml-cuda.dll运行时会动态去找cublas、cudart，缺一个会弹"找不到 DLL"。直接从安装的12.9 的CUDA toolkit bin目录里拷贝

2、VC 运行库（VS2022 Redist）也拷进去

start.bat启动文件

@echo offrem ============================================================rem  Ternary Bonsai 2 27B - one-click launcherrem  MTP speculative decoding + dual GPU (5060/P40) + web UIrem  Double-click to start; close this window to stop server.rem ============================================================if /i "%~1"=="poll" goto :pollcd /d "%~dp0"title Ternary Bonsai 2 27B - llama-server (close window to stop)set HOST=0.0.0.0set PORT=8080set CTX=131072set MODEL=models\Ternary-Bonsai-2-27B-PQ2_0-MTP-Q8_0.ggufset MMPROJ=models\Ternary-Bonsai-2-27B-mmproj-BF16.ggufrem spawn a background poller that opens the browser once /health is OKstart "" /b cmd /c "call "%~f0" poll"bin\llama-server.exe ^  -m "%MODEL%" ^  -md "%MODEL%" ^  --spec-type draft-mtp --spec-draft-n-max 1 --parallel 1 ^  -ngl 999 -sm layer -mg 0 -fa auto ^  -t %NUMBER_OF_PROCESSORS% ^  -c %CTX% ^  --host %HOST% --port %PORT% ^  --mmproj "%MMPROJ%" ^  --no-mmproj-offload ^  --reasoning off ^  --reasoning-effort mediumecho.echo [start.bat] llama-server exited with code %ERRORLEVEL%.pauseexit /b %ERRORLEVEL%:pollrem wait up to 120s for /health, then open the web UIfor /l %%i in (1,1,60) do (  curl -s -f -o nul "http://127.0.0.1:%PORT%/health" && (    start "" "http://127.0.0.1:%PORT%/"    exit /b 0  )  timeout /t 2 /nobreak >nul)echo [start.bat] WARNING: server did not become healthy within 120s, browser not opened.exit /b 1

想改配置就改文件头部那几个 set即可：

1、变量都集中在开头：端口、上下文、模型路径，想换配置改那几行

2、自动开浏览器：脚本开头把自己再调用一次（call "%~f0" poll）跑出一个后台轮询器，每 2 秒 curl 一下 /health，最多等 120 秒，一旦服务就绪就 start http://127.0.0.1:8080/ 拉起浏览器

3、`cd /d "%~dp0"`：所有相对路径（bin\、models\）以 bat 所在目录为准，整个文件夹移动也能跑

4、关窗即停：server 在前台窗口里跑，日志全程可见；异常退出时 pause 留屏，不会窗口一闪而过看不到报错

5、-t %NUMBER_OF_PROCESSORS%：线程数动态取本机逻辑核数

启动情况

双击 start.bat，完整时间线：

1、控制台出现，开始加载两个模型（主模型 + 视觉投影器）——下图是服务就绪后的控制台：

2、WebUi打开，约8 秒后 /health 返回 200，后台轮询器立刻打开浏览器，Web UI 自动打开：

3、开始对话，此时可在对话框中直接输入问题开始对话。服务监听 0.0.0.0:8080（局域网内其他设备也能访问，注意防火墙放行），日志里能看到 speculative decoding enabled: draft-mtp 和实时的 draft acceptance，生成速度 约25.9 t/s

4、想停服务，直接关控制台窗口，进程全部结束

9

 常用设置

1、上下文开多大？

llama.cpp的默认机制是：如果不传-c，会从模型上限（262144）往下自动拟合，KV cache在启动时一次性全量预分配，所以默认会将显存全部用上，仅受限于模型上限。本机实测四档（后三档是通过-c配置的，256K直接是显存不足，无法启动）：

最终选了 131072（128K）：P40 还剩 4.5 G 余量，对话一口气聊几万字也用不完。改 start.bat 里的 set CTX= 一行即可。

2、怎么关掉深度思考（reasoning）？

有两种方式关闭，一种是通过前端注入enable_thinking=false，另一种是直接在模型端关闭（--reasoning off），同时如果设置为on，则可选的reasoning_effort 根据不同模型有不同，一般来说有low/medium/high等。start.bat 里加上：

--reasoning off ^--reasoning-effort medium

当前是关闭状态；哪天想让它思考，把off改成on即可以medium档思考。验证过：关闭后回答直接给结果，不吐任何思考段，响应里连reasoning_content字段都没有。