乐于分享
好东西不私藏

qwenVL的GGUF版安装教程

qwenVL的GGUF版安装教程
▍PART comfyUI教程合集
    comfyui安装熟悉界面提示词翻译(CLIP文本编码)整线下载模型models、工作流、解决报错报红界面整理(固定节点、分组)安装llama-cpp-pythonqwenVL安装、图片反推、打标看内存、CPU、GPU占用率插件-ComfyUI-Crystools
    ▍PART 效果预览
    1. 本文讲的是下Qwen3VL-8BGGUF版本下载和安装
    2. 你不一定按着我的版本下,我只是用来举例罢了。
    3. 如图这个版本
    • 博主电脑是rtx2000ada 16g
    • 运行一次
    • 差不多用23秒
    ▍PART 流程简要
    1. 确认前置条件:已成功运行基础版 qwenVL 工作流(若未安装,先参考作者上一篇教程)。

    2. 下载 GGUF 模型文件:访问 https://hf-mirror.com/Qwen/Qwen3-VL-8B-Thinking-GGUF → 进入 Files and versions 页面 → 下载 所有文件(包括主 .gguf 和 mmproj-*.gguf,后者极易遗漏)。

    3. 放置到正确目录:在 ComfyUI 的 models 文件夹下依次创建 LLM\GGUF\Qwen\Qwen3-VL-8B-Thinking-GGUF\ → 将下载的两个文件放入该文件夹(若下载其他版本,最后一层文件夹名对应改为版本名)→ 重启 ComfyUI

    4. 替换节点并运行:在空白处右键 → AILab → QwenVL → QwenVL(gguf) 拖入工作流 → 连接好上下游节点 → 选择刚下载的模型版本 → 输入中文提示词(如“请用中文描述”)→ 点击运行。若报错,查看左侧控制台日志,常见原因:遗漏 mmproj 文件或目录放错。

    ▍PART Qwen3VL-8B的gguf版本和需要的内存
    • 一下表格是博主从网上收集整理得来,
    • 不能保证内容的100%准确性,
    • 你需要自己去核实
    模型
    精准翻译
    一句话总结
    4B vs 8B
    参数量不同。
    8B版本通常更聪明,但对显卡要求更高。
    Instruct vs Thinking
    响应方式不同。
    Instruct追求速度与准确;Thinking追求深度推理,适合复杂逻辑问题。
    F16 vs Q8_0 vs Q4_K_M
    模型的压缩级别。
    F16文件最大、效果最好;Q8_0精准度损失可能小于2%;Q4_K_M牺牲性能换取体积
    模型名称
    近似显存占用
    Qwen3VL-4B-Instruct-F16.gguf
    约 9 GB 显存-3
    Qwen3VL-4B-Instruct-Q4_K_M.gguf
    约 2.5 GB [文件大小约3.3GB-]
    Qwen3VL-4B-Instruct-Q8_0.gguf
    约 5 GB-3
    Qwen3VL-4B-Thinking-F16.gguf
    约 9 GB
    Qwen3VL-4B-Thinking-Q4_K_M.gguf
    约 2.5 GB
    Qwen3VL-4B-Thinking-Q8_0.gguf
    约 5 GB
    Qwen3VL-8B-Instruct-F16.gguf
    约 14.7 GB
    Qwen3VL-8B-Instruct-Q4_K_M.gguf
    约 6 - 8 GB
    Qwen3VL-8B-Instruct-Q8_0.gguf
    约 7.9 GB
    Qwen3VL-8B-Thinking-F16.gguf
    约 14.7 GB
    Qwen3VL-8B-Thinking-Q4_K_M.gguf
    约 6 - 8 GB
    Qwen3VL-8B-Thinking-Q8_0.gguf
    约 7.9 GB
    ▍PART 正文
    本文默认你已经成功运行了qwenVL的基本工作流基础上开始的,你要还不会用看这篇👉qwenVL安装、图片反推、打标👈

    8B对应我们之前的4b版本反推能力就上不止几个台阶

    越高当然越好,对于个人而言,你显卡刚好跑的动的是刚刚好

    1. Qwen3-VL-8B-Thinking-GGUF来举例

    2. 点开下面网址

    3. https://hf-mirror.com/Qwen/Qwen3-VL-8B-Thinking-GGUF

    4. 然后你会看到右边目前有3个版本

    他是要配合视觉大模型和语言编码器来配合使用的
    所以你切过来Files and versionsxet菜单
    这个文件都要下下来
    1. 本地存放路径是这样的,
    2. \models\LLM\GGUF\Qwen\Qwen3-VL-8B-Thinking-GGUF\

    3. 是在comfyui安装路径往下看找到models文件夹

    4. 看看里面有没有LLM文件,没有你就新建LLM文件夹,

    5. 在点进去新建GGUF文件夹

    6. 在点进去新建Qwen文件夹

    7. 在点进去新建跟你下载的gguf版本一样的名字的文件夹Qwen3-VL-8B-Thinking-GGUF

    8. 你下的如果是Qwen3-VL-8B-Instruct-GGUF版本你最后那个文件夹记得改名字

    9. 然后把2个文件放进去

    10. 重启comfyUI记得哈!!!!

    至于这个文件夹是在

    1. 鼠标右键添加节点

    2. AILab

    3. QwenVL

    4. QwenVL(gguf)

    1. 你拖进来后连下线

    2. 选下版本就可以了

    • 点击运行就可以了,

    • 他是支持中文提示词的,

    • 所以你可以提示框那边打“请用中文描述

    ▍PART 关于报错,运行不了的问题
    1. 你运行的时候记得打开左侧控制台
    2. 他日志里面会显示你啥东西没下载
    3. 或者你模型位置是不是放错了
      ▍PART 雪狼ps
      1. 你看的可能这篇没多长,
      2. 单单放错目录和还要下一个mmproj-Qwen3VL-8B-Thinking-F16.gguf
      3. 关这两条,就已经是卡了我一天
      4. 网上写关于安装教程的博主又少
      5. 都是写使用教程的
      6. 所以且看且珍惜。

      雪狼之夜ps:既然都看到这行了,不如给个3连,亲~~~