新手入门:用Ollama在本地部署AI模型(从0到能用)

     事先声明，作者并非专业人士，仅个人经验。

一，Ollama是什么？

     Ollama是一个让你在电脑上运行AI大模型的工具，你平时用的ChatGPT和Claude都是需要联网和付费API的，这些都在别人的服务器上跑，但是Ollama把AI模型下载到你电脑里，可以在本地运行。

二，为什么要部署本地AI?

     1.可以离线使用，本地聊天

     2.不用API key

     2.不花钱！！！！！

     3.很灵活，可以自己改模型，和接插件

     所以作者在这里推荐用Ollama，很简单，适合新手。

三，开始部署（步骤开始！）

Step1：安装Ollama

   从官网下载：https://ollama.com

   安装后，打开终端（cmd/PowerShell），输入：

   ollama -v         回车>>>如果有版本号，就代表你成功了！！！

Step2：输入模型

   在终端输入

          ollama run llama3:8b/ollama pull llama3:8b（以llama3为例）

   成功之后会出现  >>>

到这一步你就算成功啦！！！！！很简单对吧！从这一步开始你就可以开始和它对话啦！ollama是默认就有API的。

四，你需要理解的几个“陌生概念”

     1.ollama run qwen:7b

    # 7b是指70亿参数(理论上来说数值越高，AI也就越聪明，具体要看电脑配置）

     2.CPU和GPU是干嘛的？

     #CPU可以跑，但慢，GPU可以加速AI

     3.API是什么？

     #我认为是一个中转站，比如你在Chatbox输入：hi，Chatbox会通过API发给Ollama，Ollama调用模型，再把结果返回。

     4.如何查看自己已有的模型？

     # cmd输入   ollama list

     # 删除模型输入   ollama rm llama3

五，最后，作者想说，本地部署很吃配置，配置一般可能就只有“不用联网和Free”这两个优点，而且其实大多数时候我们都是有网的，所以就只有Free这一个优点了，想要更好的体验，就要更高的配置，更好的模型，而对于一些超级小白来说，他们只是想知道这个东西是什么，想体验一下，我想这会是一篇很通俗易懂的文章。