乐于分享
好东西不私藏

小白也能安装的本地AI大模型工具|玩转AI

小白也能安装的本地AI大模型工具|玩转AI

实用工具、网站收集者,隔天更新,目标连更10000期!关注Ctrl+Tools,效率提高不迷路!

前言

云端厂商token太贵?openclaw、dify烧token?一个工具教你部署本地大模型,玩转AI工具!

工具介绍:ollama

ollama是一款开源轻量级本地大模型部署工具,能让用户用简单命令在 Windows、macOS、Linux 设备上一键下载、运行与管理 Llama 3、DeepSeek 等主流开源大语言模型,自动处理环境依赖与推理优化,支持离线私有化部署与 API 对接,大幅降低个人与开发者本地运行 AI 大模型的门槛。

工具安装

直接下载系统安装包

下载大模型

搜索“qwen”,选择需要的模型下载,大模型中的 “多少 B” 指参数数量(Billion,十亿),参数越多代表模型的理解、推理和生成能力越强,但对电脑显存等硬件配置要求也更高,是衡量本地大模型性能与运行门槛的核心指标。

简单来说:

参数越多 = 书读得越多、脑子越聪明、逻辑越强

参数越少 = 知识少、回答简单、容易犯傻

所以根据电脑配置“量力而行”,一般配普通电脑7B左右,显卡12G显存以上可以酌量提高

大模型运行

下载完成后即可运行本地大模型

也可以让他联网搜索

没有联网之前的回答

给了联网功能后的回答(虽然在乱讲。。。无语了)

结语

适合小白搭建,基本零基础动动手就行,后面打算再出本地openclaw和dify调用的本地大模型的文章,请多多支持!

在日常生活、工作办公、娱乐上有什么工具需求,欢迎后台或留言私信!

下载链接:公众号回复“**0326**”获取