LLaMA Factory 安装指南

源码安装

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.gitcd LLaMA-Factorypip install -e .pip install -r requirements/metrics.txt

从镜像安装

docker run -it --rm --gpus=all --ipc=host hiyouga/llamafactory:latest

该镜像基于 Ubuntu 22.04（x86_64）、CUDA 12.4、Python 3.11、PyTorch 2.6.0 和 Flash-attn 2.7.4 构建。

快速开始

下面三行命令分别对 Qwen3-4B-Instruct 模型进行 LoRA 微调、推理和合并。

llamafactory-cli train examples/train_lora/qwen3_lora_sft.yamlllamafactory-cli chat examples/inference/qwen3_lora_sft.yamlllamafactory-cli export examples/merge_lora/qwen3_lora_sft.yaml

LLaMA Board 可视化微调

（由 Gradio 驱动）

llamafactory-cli webui

安装中遇到的问题

1. ERROR: No matching distribution found for accelerate<=1.11.0,>=1.3.0

使用pip install accelerate 最高版本安装到1.0.1

解决办法：

https://pypi.tuna.tsinghua.edu.cn/simple/accelerate/

中查找符合要求的版本下载whl文件进行安装，如下图：

2. 执行 pip install accelerate-1.9.0-py3-none-any.whl时报如下异常：

ERROR: Package 'accelerate' requires a different Python: 3.8.10 not in '>=3.9.0'

python版本小于3.9.0，虚拟环境的python版本为3.10.0

运行pip --version 发现pip关联python版本为3.8.0

解决办法：

完全切换到3.10.0

# 卸载 Python 3.8 的 pippython3.8 -m pip uninstall pip -y# 安装 Python 3.10 的 pipcurl -sS https://bootstrap.pypa.io/get-pip.py | python3.10# 确保 ~/.local/bin 在 PATH 最前面export PATH="$HOME/.local/bin:$PATH"

3. 使用docker方式安装无法访问webUi

使用官方提供的dockers运行命令没有对外开放端口

解决方法：

docker stop {镜像名称}docker run -d--name llamafactory-p 7860:7860hiyouga/llamafactory:latestllamafactory-cli webui --host 0.0.0.0

使用以上命令重新启动，可以正常访问

4. docker方式启动，微调训练无法使用GPU

可能镜像构建环境与实际环境不匹配，建议使用docker构建要求环境进行部署

技术累积，遇见即是缘

本公众号为日常工作记录

欢迎留言交流