ARTICLE · 1059524
把 AMD 官方文档库装进本机:AMD-Doc-Searc
把 AMD 官方文档库装进本机:AMD-Doc-Searc
把 AMD 官方文档库装进本机:AMD-Doc-Searc
AMD 官方刚放了个大招,把全量文档塞进本机,让 AI 查资料全程不出电脑。
这套东西把检索和写答案彻底解耦。嵌入模型在本机当“图书管理员”找资料,回答模型随便你挑。你可以接云端 Copilot,也能用本地 ROCm GPU 跑开源大模型,实现端到端零出网。
本地部署最香的是私密和稳定。提问里的项目细节不会外泄,单次检索只要二三十毫秒。不过代价是吃资源:得留出约 8GB 磁盘,实测空闲时内存就占了 7.45GB,llama.cpp 容器常驻 2.8GB,比预想的吃内存。
部署门槛其实不高,装好 Docker 跑三条命令等十分钟就行。但有两个坑得避开:一是换嵌入模型必须先 purge 清空数据,不然会报错;二是千万别拿代码专用模型当回答模型,它容易凭记忆瞎编,必须强制要求 AI 只按检索结果答。
原文把 AMD 官方文档库装进本机:AMD-Doc-Search 本地部署完全指南
湖北,1小时前,