第四篇:AI 说完＂谢谢＂就开始复读,我查了三天

前几篇讲得挺顺，好像一路绿灯。

其实不是。这篇把我踩过的坑全摊开讲——每个坑都附根因和解法，你可以直接抄作业。

坑一：写完"谢谢"就开始复读

现象

我让主力模型写一段东西，它写得挺好，结尾礼貌地说了句"谢谢"，然后——又开始写。把刚才的内容换个说法再来一遍，接着第三遍、第四遍，停不下来。

我一开始以为是模型坏了。

根因（两层）

第一层：防重复的力度太弱。

当时"重复惩罚"这个参数设的是 1.05。这个值基本等于不设防——模型一旦错过该停的地方，没有任何力量把它拉回来。

第二层："思考模式"开着。

这个模型有个先推理再作答的模式。做数学和逻辑题有用，但写散文根本不需要它先想几千字再动笔。开关开着，输出尾巴被拉长，撞上循环的概率更高。

我的改法

改完重启，复读消失。

一句话总结："谢谢"不是病因，只是分水岭——模型到这儿本该停，但它没停住，而防重复的力量又太弱，于是无限循环。

坑二：明明内存有富余，模型就是加载失败

现象

我给模型划了上限，某天想加载一个约 7GB 的新模型，失败了。

根因（两种，我先后都遇到过）

1. 内存守卫的档位选低了。
    保守档只给模型约 7.9GB，连 8GB 以上的单个模型都装不下——而我机器明明有 24GB。
2. 位置被常驻模型占满了。
    常驻的两个模型加起来已经 14GB 上下，再加 7GB 就超线。

解法（按顺序来）

1. 先把档位调对。
    保守档约 7.9GB、均衡档约 17.3GB。要跑 12GB 的主力模型，必须选后者。
2. 给模型排班。
    常用的设永久驻留，不常用的设闲置十分钟自动让位。
3. 加载大块头前，先让主力"下班"。

内存是零和游戏，得排班，不能一味把线画高——画太高系统会卡死。

坑三：换模型的时候，旧模型自己消失了

现象

我加载一个新模型，回头发现原来在跑的那个不见了。

根因

这是驱逐机制在起作用：位置不够时，它会按规则把"最近没用"的模型请出去。如果那个被请走的恰好是你的主力，就会出现"明明没动它，它却没了"。

解法

给必须常驻的模型设 TTL = 0（永久驻留），它们就不会被驱逐。

我把主力推理模型和检索模型都设成了 0，其余设成 600（闲置十分钟让位）。

坑四：不支持的模型类型

现象

我下载了一个 270 亿参数的新模型，一加载就报错：

不支持的模型类型

我反复检查路径、格式、配置——全都没问题。

根因

不是我配错了，是这个模型的内部构造太新，我的引擎还没学会怎么读它。

它用了一种很新的压缩方式，需要配套的运行时代码。没有这套代码，引擎连"这是个什么模型"都判断不出来，视觉加载和普通加载两条路都会失败。

三条出路

1. 换一个认识它的引擎
   （这是我最终选的路线）。
2. 找该模型的"标准格式版本"
   ——有些模型会另外发布一个展开回标准结构的版本，能被通用引擎读取，但体积往往大得多。
3. 放弃。
    不是所有新模型都值得折腾，尤其你的主力场景并不真的需要它时。

坑五：其他六个小坑（速查表）

六、排错方法论（这比单个坑更值钱）

回头看这些坑，我总结出四条：

1. 先分清"我配错了"还是"它不认识"。

这两类的解法完全不同：前者改配置，后者换工具。我在第 4 个坑上浪费的时间最多，就是因为一直在查自己的配置。

2. 报错信息是线索，不是判决书。

"不支持"不代表你不行，"加载失败"不代表机器不行。把报错里的关键词拿去搜，通常都能定位到根因。

3. 改配置前先备份，一次只改一处。

一次改一堆参数，好了不知道是哪个起作用，坏了也不知道该回退哪个。

4. 记下来。

我把每个坑的现象、根因、解法都记成了笔记。下次再遇到，三十秒就能解决，而不是重新查三天。

最后一篇，讲讲这套东西我实际拿它干了什么：断网也能问股票，以及用本地 AI 写一部百万字的小说。