目标

本文教你在 Mac 或 Windows 上部署 Survival LLM——一个完全离线运行的 AI 问答系统，内置 150 万篇急救/医疗/生存类文章。部署完成后，断网、断电（配合 UPS）的情况下依然能用自然语言查询"停电后冰箱食物能放多久"、"如何处理烧伤"等问题，并且每条答案都会标注来源原文。

· · ·

一、为什么需要离线 AI，而不是直接搜索文档

这个问题值得认真回答。Hacker News 上有人提出：一个可搜索的离线文档库就够了，为什么要加 LLM？

这个质疑有道理，但忽略了一个场景：紧急情况下，你往往不知道该搜什么关键词。

比如你发现有人晕倒，你不知道是低血糖还是心脏骤停，搜索框需要你先有判断。而 LLM 可以接受"他突然倒下，嘴唇发紫，我该怎么办"这样的描述性输入，从多篇文章里综合出一个有优先级的行动步骤，并告诉你它参考了哪篇 CDC 指南。

当然，LLM 会出错，尤其是小模型。Survival LLM 的作者在测试中发现，16GB 内存机器上跑的 IBM Granite 4.2 8B 只答对了 22 题中的 14 题；更小的 Granite 4.2 3B 甚至给出了"不要对手臂使用止血带"这样的危险建议。这就是为什么每条答案都必须显示来源——让用户自己核对原文，而不是盲目信任模型。

对比其他离线方案：

• Ollama + 自建 RAG
  ：灵活，但需要自己准备语料、写向量检索逻辑，门槛高
• LM Studio
  ：模型管理方便，但没有预置急救知识库，也没有来源高亮功能
• Survival LLM
  ：开箱即用，知识库已经整理好，来源引用是内置功能，适合"不想折腾但要能用"的场景

· · ·

二、技术架构一览

在动手之前，先了解它的内部结构，有助于后续排查问题。

Survival LLM 的核心组件：

1. 本地 LLM 推理引擎：底层通过 Ollama 运行模型，Mac 版已将 Ollama 打包进应用，Windows 版需要单独下载（安装脚本会自动处理） 2. 知识库检索：使用 SQLite FTS5（全文搜索索引）+ BM25 排名算法，将文章切成约 1500 字的段落，官方来源（FEMA、CDC、NHS 等）在排名中有加权 3. 工具调用：模型通过 function calling 调用三个工具——search_library（搜索知识库）、read_article（读取全文）、show_article（在界面高亮显示来源段落） 4. 本地服务器：后端监听 127.0.0.1，不对外暴露，保证隐私 5. 自定义文件：用户可以把 PDF、Word、EPUB 拖入应用，系统会自动索引并与内置知识库一起检索

· · ·

三、硬件要求与模型选择

应用启动时会自动检测内存并下载对应模型，下表是官方测试数据：

| 机器配置 | 自动选用模型 | 模型下载大小 | 22 题测试得分 | |---|---|---|---| | Mac，128 GB+ | NVIDIA Nemotron 3.5 Super | 80 GB | 21/22 | | Mac，32–96 GB | Qwen3.8 27B | 18 GB | 21/22 | | Windows，32 GB+ | NVIDIA Nemotron 3.5 Lightning | 25 GB | 19/22 | | Mac 或 PC，16–31 GB | IBM Granite 4.2 8B | 6 GB | 14/22 | | 8 GB 及以下 | 无推荐模型 | — | 仅支持文档搜索 |

关键结论：16 GB 以下的机器不建议依赖 AI 回答，只用文档搜索功能。 作者明确说明，Granite 4.2 3B（8 GB 机器的候选）在测试中给出了可能致命的错误建议，因此没有上线。

知识库有两个版本：

• 完整版
  ：9 GB 下载，安装后约 19 GB，含 93 万篇 Wikipedia 文章
• 精简版（Essentials）
  ：1.3 GB 下载，安装后约 3 GB，不含 Wikipedia 和 iFixit

磁盘空间计算公式：模型大小 + 知识库大小 + 5 GB 缓冲 + 安装过程中约 27 GB 临时空间（精简版约 10 GB）。以 32 GB 内存的 Mac 为例，需要预留约 18 + 19 + 5 + 27 = 69 GB 可用空间用于安装，安装完成后约 42 GB。

· · ·

四、安装步骤

4.1 下载与解压

前往 brangus.io/survival-llm 下载对应平台的压缩包：

• Mac 版：212 MB（含 Ollama 引擎）
• Windows 版：25 MB（Ollama 会在首次运行时自动安装）

Mac 解压：双击 .zip 文件，得到 Survival LLM 应用包。

Windows 解压：右键 zip 文件，选择"全部提取"（Extract All）。不要直接双击 zip 里的文件运行，必须先解压到一个固定目录。

4.2 首次启动与系统安全提示

由于应用没有通过 App Store 或 Microsoft Store 分发，系统会弹出安全警告。

Mac（macOS 14 Sonoma+）：

1. 双击 "Survival LLM" 尝试打开2. 系统弹出"无法打开，因为无法验证开发者"3. 打开 系统设置 > 隐私与安全性4. 向下滚动，找到 "Survival LLM 已被阻止"5. 点击 "仍要打开"，输入密码确认

这个操作只需要做一次。

Windows 10/11：

1. 双击 Survival LLM.bat2. SmartScreen 弹出蓝色警告框3. 点击 "更多信息"（More info）4. 点击 "仍要运行"（Run anyway）

4.3 自动下载阶段

应用打开后会依次下载三个部分：

[1/3] AI 推理引擎（Mac 版已内置，Windows 版约 500 MB）[2/3] AI 模型（根据内存自动选择，6 GB 到 80 GB 不等）[3/3] 知识库（完整版 9 GB，精简版 1.3 GB）

整个过程需要 20 分钟到 2.5 小时，取决于网速和机器性能。这是唯一需要联网的阶段，之后完全离线运行。

下载过程中不需要操作，让它跑完即可。如果中途断网，重新打开应用会从断点续传。

4.4 验证安装

下载完成后，在输入框里问一个测试问题：

停电后，冰箱里的食物能放多久？

如果安装正常，你会看到： 1. 模型给出一段回答（USDA 建议：冰箱门关闭的情况下食物可保存约 4 小时） 2. 回答下方列出参考文章标题和来源（如 USDA Food Safety） 3. 点击来源链接，原文在右侧面板打开，相关段落高亮显示

· · ·

五、添加自定义文件

这是 Survival LLM 最实用的功能之一：把你自己的文档加入检索范围。

支持格式：PDF、Word（.docx）、EPUB、网页（.html）、纯文本（.txt）

两种添加方式：

1. 拖拽：直接把文件拖到应用窗口 2. 文件夹：把文件放到 ~/Survival LLM Files/ 目录（Mac）或 %USERPROFILE%\Survival LLM Files\（Windows），应用会自动检测并索引

适合加入的文件类型：

• 家用发电机说明书（PDF）
• 家庭成员的过敏和用药记录（Word/TXT）
• 家庭应急预案
• 当地医院和急救电话清单

注意：应用目前不支持扫描版 PDF（图片型 PDF），只能处理可选中文字的文档。

· · ·

六、记忆功能与指令自定义

记忆笔记

你可以告诉应用一些持久化信息，它会在每次对话中自动带入：

我女儿对青霉素过敏。我家有一台本田 EU2200i 发电机。

应用会把这些信息保存为本地纯文本文件，每次回答时自动附加到系统提示里。每条记忆都有"撤销"按钮，可以随时删除。

修改系统指令

点击界面上的 Instructions 按钮，可以看到并编辑模型收到的系统提示。应用会自动在你的指令后面追加当前日期、你的文件列表和记忆笔记。

如果你想让模型回答时更简洁，或者总是用中文回答，可以在这里修改。点击 Reset 恢复默认。

· · ·

七、踩坑记录

坑 1：Windows 上 .bat 文件双击没反应

原因通常是解压不完整。确保用"全部提取"而不是直接从 zip 内部运行。提取后，检查目录里是否有 Survival LLM.bat 和 resources/ 子目录。

坑 2：Mac 上下载模型时卡住不动

Ollama 的模型下载有时会在后台静默失败。解决方法：关闭应用，打开终端，运行：

# 检查 Ollama 是否在运行ps aux | grep ollama# 如果没有，手动启动ollama serve

然后重新打开 Survival LLM，它会继续下载。

坑 3：Qwen3.8 27B 回答时一直在"思考"

Qwen 系列模型默认开启 chain-of-thought 推理（即使不勾选"Think harder"）。如果你觉得等待时间太长，可以在 Instructions 里加一行：

Answer directly without extended reasoning. Keep answers under 200 words.

坑 4：磁盘空间不足导致安装失败

安装过程中需要额外的临时空间（完整版约 27 GB）。如果 C 盘或系统盘空间不足，安装会静默失败。建议在安装前用 df -h（Mac）或磁盘清理工具确认有足够空间。

坑 5：小模型给出危险建议

这不是 bug，是已知限制。16 GB 以下机器上的 Granite 4.2 8B 在急救场景下准确率只有 55%，作者自己也在文档里明确警告。对于高风险问题（止血、心肺复苏、用药剂量），务必点开来源原文核对，不要只看模型的总结。

· · ·

八、效果与适用边界

适合的场景：

• 自然灾害、停电期间的基础急救查询
• 离网环境（野外、船上、偏远地区）的生存技能查询
• 对隐私要求极高、不希望问题上传云端的场景
• 把家庭文档（发电机手册、药品说明）和通用知识库结合检索

不适合的场景：

• 替代专业医疗诊断（模型会出错，且无法检查患者）
• 需要实时信息的场景（知识库是静态的，不会自动更新）
• 8 GB 内存以下的机器（没有推荐模型，只能做关键词搜索）

在作者的盲测中，32 GB 以上机器上的大模型（Nemotron 3.5 Super 和 Qwen3.8 27B）都达到了 21/22 的准确率，表现相当可靠。关键是：答案旁边永远有来源链接，这是最重要的安全机制。

· · ·

九、总结与资源

Survival LLM 的核心价值不是"最强的本地 LLM"，而是把可信知识库、离线推理和来源引用三件事打包成一个不需要配置的工具。对于想在断网环境下有一个可查询的 AI 助手的工程师来说，它是目前门槛最低的方案。

如果你已经在用 Ollama，也可以参考它的架构思路（SQLite FTS5 + BM25 + 工具调用）自己搭一套，灵活性更高。

相关资源：

• 官网与下载：brangus.io/survival-llm
• GitHub（MIT 协议）：github.com/anonnerdfrenzy/survival-llm
• 知识库来源与许可证列表：见官网底部"full list with licenses"链接
• Ollama 官方文档（了解底层推理引擎）：ollama.com