家里的AI小助手,为啥总卡壳

家里的AI小助手，为啥总卡壳

最近捣鼓本地AI小助手，发现聊久了反应就变慢，重启才能缓过来。查了查才明白，是缓存数据把内存占满了。

看到有方案把KV Cache挪到SSD上跑，主控芯片专门划独立高速分区，跟普通数据分开走。听起来像给AI开了条专用道，多任务并行也不容易断。

不过这种企业级方案啥时候能进家用设备，真说不准。PCIe 5.0国内才刚铺开，6.0还得再等。眼下只能先清着内存用，盼着以后小主机也能用上这技术。