新手入门:用Ollama在本地部署AI模型(从0到能用) 事先声明,作者并非专业人士,仅个人经验。一,Ollama是什么? Ollama是一个让你在电脑上运行AI大模型的工具,你平时用的ChatGPT和Claude都是需要联网和付费API的,这些都在别人的服务器上跑,但是Ollama把AI模型下载到你电脑里,可以在本地运行。二,为什么要部署本地AI? 1.可以离线使用,本地聊天 2.不用API key 2.不花钱!!!!! 3.很灵活,可以自己改模型,和接插件 所以作者在这里推荐用Ollama,很简单,适合新手。三,开始部署(步骤开始!)Step1:安装Ollama 从官网下载:https://ollama.com 安装后,打开终端(cmd/PowerShell),输入: ollama -v 回车>>>如果有版本号,就代表你成功了!!!Step2:输入模型 在终端输入 ollama run llama3:8b/ollama pull llama3:8b(以llama3为例) 成功之后会出现 >>>到这一步你就算成功啦!!!!!很简单对吧!从这一步开始你就可以开始和它对话啦!ollama是默认就有API的。四,你需要理解的几个“陌生概念” 1.ollama run qwen:7b # 7b是指70亿参数(理论上来说数值越高,AI也就越聪明,具体要看电脑配置) 2.CPU和GPU是干嘛的? #CPU可以跑,但慢,GPU可以加速AI 3.API是什么? #我认为是一个中转站,比如你在Chatbox输入:hi,Chatbox会通过API发给Ollama,Ollama调用模型,再把结果返回。 4.如何查看自己已有的模型? # cmd输入 ollama list # 删除模型输入 ollama rm llama3五,最后,作者想说,本地部署很吃配置,配置一般可能就只有“不用联网和Free”这两个优点,而且其实大多数时候我们都是有网的,所以就只有Free这一个优点了,想要更好的体验,就要更高的配置,更好的模型,而对于一些超级小白来说,他们只是想知道这个东西是什么,想体验一下,我想这会是一篇很通俗易懂的文章。