乐于分享
好东西不私藏

ai-toolkit训练lora-图文教程1

ai-toolkit训练lora-图文教程1
▍PART 效果预览
训练前是写实的
下图为迭代0次(写实的)
下图为迭代250次(国漫感觉出来了)
迭代500次(我擦,就是缺点皮肤纹理,我rtx2000ada是16g显存,每次迭代用6.5秒,500差不多是1小时)
▍PART 序
▍PART 流程简要
  1. 准备图片集并统一规格:收集至少15-50张同一风格的图片(推荐50张左右),图片不能有纯色填充区域,不拉伸,分辨率统一(宽高不超过1024,最大1536)。依次完成:批量修改分辨率(保持比例选crop)→ 批量改后缀为jpg → 批量修改文件名(如0001.jpg顺序编号)。

  2. 生成打标txt文件:推荐用ComfyUI打标(方法1),流程见《comfyui-图片批量打标、批量反推》,每个图片生成同名txt描述文件(建议用英文,兼容更多模型)。或使用ai-toolkit内“数据标注”功能(需新建数据集文件夹,每次打标需重新新建)。

  3. 配置本地数据集存放路径:在ai-toolkit设置中,将数据集存放目录配置到机械硬盘(避免固态硬盘),图片和txt文件可直接放入该目录。重新运行ai-toolkit后,数据集界面会显示本地文件(中文版可能有描述文字不显示的bug,可忽略)。

  4. 验证数据集:检查图片与txt文件一一对应(文件名相同),图片无留白拉伸,格式统一为jpg,分辨率一致。完成后即可用于后续LoRA训练。

▍PART 正文
  • 首先,你得有自己的图片集,就是用于训练的图片。
  • 你别急操作,我先说下流程,你心里有个底,
  • 后面我告诉你怎么弄图片和给图片打标!!!!!!!!!!!
用于训练的图片有几点要求:
第一:
  • 不要填充纯色的位置,
  • 不然生成出来图片也会有空白,
  • 如下图这种不行
第二:
  • 图片格式统一要jpg,
  • 分辨率要统一,
  • 图片名字最好是顺序排序
  • 图片不要拉伸!
  • 图片宽高 最好是不要超过1024,最大不能超过1536
第三:必须有打标文件
  • 什么是打标文件?
  • 就是把这张图片什么风格的,光线,构图远近,拍摄角度,人物啥姿势动漫还是写实等很多信息 推理出来保存为.txt
你像z-image、qwen这种模型对中文理解能力都可以,所以其实是可以保存成中文(最好还是统一英文),但是其他模型他对中文理解能力很差,所以最好都统一英文,不然你以后换模型还得重新生成一份。
所以关于图片(数据集),流程应该是这样:
第一步 改图片分辨率
  • 新建一个文件夹,放图片(数据集)
  • 图片最好都是一个风格!最小不能低于15张
  • 我是用46张推理的,50左右是最佳,当然肯定是多多益善。也别太多,还是看你显卡。
  • 然后对图片进行分辨率修改,看这篇=>comfyui-kjnodes 批量修改分辨率
  • 注意!所有图片分辨率要一样,比如我都是576*1024,所以教程里的Load Images From Folder (KJ)节点的keep_aspect ratio要选crop
第二步 改图片后缀
第三步 改文件名
第四步 图片打标
  • 这一步就是生成txt文件
方法1:(推荐)
你想在comfyui里面打标看这篇=>comfyui-图片批量打标、批量反推
方法2:
  • 运行ai-toolkit后,左侧有一个数据标注
  • 点创建新数据集 随便命名个"1"
他是还在你的数据集菜单新建一个文件夹
然后下面有安装流程
  • 有一个要注意的就是这里打标要选下模型
  • 你下哪个模型你就选哪个
  • 而且每次打标都要重新新建文件夹,
  • 这个是我最没办法接受的
  • 还一个问题是下载模型的时候,如果你没魔法,会很慢!!!!!!!!!
本地存放数据集(放图片jpg和打标的txt)的文件夹在哪里?
设置里面有一个给你配置放图片数据集的地方
你要自己配置下,给他配置到你本地的机械硬盘去,不要存在固态硬盘里
所以你其实可以本地找到他们
  • 你的图片和手动打标的文件可以直接放你配置的文件夹下面
  • 然后重新运行AI-TOOLKIT后,
  • 在数据集这里是会出来你本地文件的
  • 注意,中文版是有一个bug,
  • 截图的这个位置他打标的描述文字不会出来,
  • AI-TOOLKIT原版是会出来

  • 问题不大,可以忽略
到这里你操作到这里没问题的话,
下一篇我写怎么训练lora.
▍PART comfyUI教程合集(有按照顺序写教程,从前面往后面看)
    comfyui安装熟悉界面提示词翻译(CLIP文本编码)整线下载模型models、工作流、解决报错报红界面整理(固定节点、分组)下载、读取GGUF格式图生图安装llama-cpp-pythonqwenVL安装、图片反推、打标
    qwenVL的GGUF版安装教程comyfUI看内存、CPU、GPU占用率妙笔入我梦中来声音克隆子工作流LoRA看节点用了哪个扩展插件comfyui-kjnodes 批量修改分辨率comfyui 批量改图片后缀png改jpgcomfyui-批量修改文件名图片批量打标

    雪狼之夜ps:既然都看到这行了,不如给个3连,亲~~~

    ☟

    相关学习资料