hmo/face-lora-qwen-image
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
master
face-lora-qwen-image/README.md
T

9.5 KiB
Raw Permalink Blame History

脸部 LoRA 训练项目（Qwen-Rapid-AIO 匹配版）

创建：2026-08-03 目标：用老莫的照片训练一个脸部 LoRA，让 AI 出图永久自带他的脸，配合常用 checkpoint Qwen-Rapid-AIO-NSFW-v23 使用

项目背景

  • 灵感来源：[Z:\wiki\raw\articles\2026-08-02-z-image-turbo-face-lora-训练实操.md]（Z-Image-Turbo 路线，已验证技术可信但模型不匹配）
  • 老莫实际模型：Qwen-Rapid-AIO-NSFW-v23.safetensors（26.48GB，位于 D:\AI\sd\novelai-webui-aki-v3-r\models\Stable-diffusion\）
  • 该 checkpoint 本质：HuggingFace Phr00t/Qwen-Image-Edit-Rapid-AIO 融合模型 = Qwen-Image-Edit-2511 底模（20B MMDiT） + Lightning 4/8 步蒸馏 LoRA + NSFW LoRAs + VAE + Qwen2.5-VL CLIP（FP8）
  • 结论：LoRA 必须在 Edit-2511 bf16 官方底模上训练（不能直接用 FP8 融合模型），训完叠加回 Rapid-AIO 推理

硬件环境

项 值
GPU RTX 3080 Laptop GPU 16GB（Ampere, sm_86）
驱动 591.74 / CUDA 13.1
内存 32GB（无 64G，靠 fp8 量化 + TE 预缓存压内存）
存储 D 盘 153GB 空闲

训练方案（定稿）

工具：kohya musubi-tuner（D:\AI\sd\musubi-tuner，v0.3.4） 底模：Qwen-Image-Edit-2511 bf16（从 ModelScope 下载 diffusers 分片，musubi load_split_weights 原生支持分片，无需转换）

核心参数

--model_version edit-2511
--network_module networks.lora_qwen_image --network_dim 16
--learning_rate 5e-5 --optimizer_type adamw8bit
--fp8_base --fp8_scaled --fp8_vl --gradient_checkpointing --blocks_to_swap 32
--max_train_epochs 80（≈1600步）
--timestep_sampling shift --discrete_flow_shift 2.2
分辨率 1024×1024

内存策略（32G 关键）

  1. --fp8_base --fp8_scaled：DiT 权重 fp8 存储（40GB→20GB）
  2. 预缓存 text encoder 输出（qwen_image_cache_text_encoder_outputs.py）：训练时不加载 TE（省 7GB）
  3. pagefile 设 64G（SSD）当兜底保险
  4. 训练时关闭浏览器等大内存应用

实测速度（2026-08-05 冒烟实测）

系统状态 速度 1600 步预估
ComfyUI 运行中（空闲占 4.6GB VRAM） 503-670 s/步（页面抖动，逐步变慢） ~12 天，不可行
干净系统（初次冒烟） ~55 s/步 ~24 小时，隔夜可跑

启动条件（必须）：关闭 ComfyUI + 浏览器等大内存程序 → 双击 启动训练.bat（bat 有前置检查：ComfyUI 在跑则拒绝启动、commit <30GB 拒绝启动）。 根因：32GB 物理内存跑 20B fp8 是极限状态，blocks_to_swap 24 的 CPU↔GPU 交换在内存不足时落到 pagefile（SSD），速度跌 10 倍+。训练必须独占物理内存。 共存验证：ComfyUI 空闲时 VRAM 11.8GB 下训练可跑通（不 OOM），但速度不可接受，仅作应急参考。

文件位置

用途 路径
训练素材（照片） 素材/
打标 caption 打标/
训练配置 config/
LoRA 输出 output/
参考资料 资料/
musubi-tuner D:\AI\sd\musubi-tuner
模型文件 D:\AI\sd\models\qwen-edit-2511\（transformer 5 分片 + text_encoder 4 分片 + vae）
VAE（已有） D:\AI\sd\ComfyUI\ComfyUI_windows_portable_2\ComfyUI\models\vae\qwen_image_vae.safetensors

流程

  1. 调研文章 + Qwen 路线验证（2026-08-03）
  2. 排查本地资源（VAE 已有，DiT/TE 需下载）
  3. 立项 + musubi-tuner 就位
  4. 下载模型完成（DiT 38GB + TE 15GB + VAE，ModelScope 8MB/s）
  5. uv 环境装依赖（cu132：torch 2.13 + CUDA 验证通过）
  6. 开发 face_checker 辅助工具（审核 + 智能选图，测试通过）
  7. 冒烟训练验证（分片加载 + fp8 + swap 内存，3 步小样）
  8. 素材准备（老莫选照片 → face_checker pick → batch 整理）
  9. 打标（触发词 + 场景描述，不描述五官）
  10. 正式训练（1024 + blocks_to_swap 32 + 隔夜）
  11. checkpoint 对比（每 10 epoch 存档挑最佳）
  12. 叠加 Rapid-AIO 推理验证

辅助工具（全部就绪）

工具 位置 功能
auto 流水线 tools/face_checker.py auto 丢一堆照片 → 自动分类裁剪打标（见下）
face_checker tools/face_checker.py 审核/选图/整理/合影裁切（check/pick/batch/crop）
打标 GUI tools/caption_gui.py Gradio 网页（localhost:7860），支持目录切换
融合工具 tools/merge_fixed.py 原图 + ComfyUI 修改图 无缝合并（见下）
验证脚本 tools/validate_lora.py 训练后出图对比（备选）

merge_fixed 融合工具（ComfyUI inpainting 后处理）

问题：ComfyUI 移除合影人物时，即使指定"非修改区域不得漂移"，全图清晰度仍损失。 方案：按修改幅度连续分级融合 —— 有限修改区保留原图像素，明显修改区用修改图像素，中间平滑过渡。

python tools\merge_fixed.py <原图目录> <修改图目录> <输出目录> [--alpha-threshold 15] [--softness 6]

核心规则（老莫定）：

区域 修改幅度 用谁的像素
有限修改（放大才看出，如全图降质/面部） diff 小 原图精确像素（alpha≈0）
明显修改（一眼看出，如人物移除） diff 大 修改图像素（alpha≈1）
中间 平滑过渡 sigmoid 渐变（无接缝）
  • 算法：Lab 色彩空间差异 → 高斯模糊去结构噪声 → sigmoid 连续 alpha → 加权混合
  • 面部保护（默认开，--no-protect-face 关）：检测修改图残留人脸，强制原图像素兜底
  • 验证：面部 MAE 0.000（逐像素零改变）、被移除区干净用修改图、过渡无接缝

参数：

参数 默认 说明
--alpha-threshold 15 修改幅度分界。残留残影时调低到 8-10（更多区域归修改图）
--softness 6 过渡带宽度，越大越平缓
--no-protect-face - 关闭面部强制保护

注意：残影分两种——① 人物边缘未清除的痕迹（调低 alpha-threshold）；② inpainting 区域内部 AI 生成的残留（ComfyUI 质量问题，融合救不了）。

auto 全自动流水线（v2，核心！）

python tools\face_checker.py auto <照片目录> --out <输出目录> [--limit 20]

自动完成：

  1. 质量评分（0-100）：人脸绝对像素(40) + 面部清晰度(35) + 分辨率(25) —— 脸小但锐利 > 脸大但糊
  2. 清晰度区分：面部 Laplacian vs 整体 Laplacian（脸糊=淘汰；背景糊但脸清楚=可用）
  3. 构图分类+自动裁剪（占比 + 脸像素双指标）：
    • 脸占比 ≥8% 或 脸短边 ≥256px → 裁面部特写（人脸居中放大 1.8 倍）
    • 脸占比 ≥2% 且脸 ≥150px → 保留半身
    • 检测到完整人体 → 裁全身构图
    • 多人合影 → 自动裁最大人脸；裁后短边不足 → 降级保留原图
  4. 超量筛选（--limit 20）：每类内部 质量优先 + pHash 多样性贪心，自动挑最优（默认 特写10/半身6/全身4）
  5. 淘汰：无人脸/脸糊/脸太小无人体/分辨率不足 → 移入 淘汰/ + 原因
  6. 打标草稿：按类型自动生成 caption txt，GUI 里微调

输出：out/特写/、out/半身/、out/全身/、out/未选中/、out/淘汰/

验证证据：脸43px极清晰(1260) → 保留；脸大但模糊 → 淘汰。34 张输入 → 自动筛选 12 张最优。

老莫使用流程（最终版）

  1. 照片全丢进 photos_原始/（不挑，合影也无所谓）
  2. 跑 auto photos_原始 --out photos_auto → 自动分类裁剪打标
  3. 打开 http://127.0.0.1:7860 → 顶部输入 photos_auto → 加载 → 微调 caption/发型 → 保存
  4. 一键整理训练集 → 喊我开训

训练自动样本图（已验证）

  • config/sample_prompts.txt：4 个验证场景（证件照/日常/户外全身/半侧脸）
  • 训练脚本已加 --sample_prompts --sample_every_n_epochs 10
  • 每 10 epoch 自动出 4 张样本图到 output/checkpoints/sample/，隔天看样本图即可判断 LoRA 演化
  • 冒烟验证通过（EXIT 0，样本图正常生成）

使用流程（最终版）

  1. 老莫选 15-25 张照片 → 丢进 photos/
  2. 浏览器开 http://127.0.0.1:7860 → 审核/选类型/填发型/改 caption → 保存 → 一键整理
  3. 跑 config\训练脚本.py（80 epoch ≈ 1600 步 + 自动样本图，约 25 小时隔夜跑）
  4. 看 output/checkpoints/sample/ 样本图挑最佳 checkpoint
  5. checkpoint 复制到 WebUI models\Lora\qwen\，加载 Rapid-AIO + LoRA 出图验证

训练验证要点

  • musubi 分片加载：--dit 指向 ...-00001-of-00005.safetensors 自动合并（源码确认）
  • Edit-2511 无 control image 时自动降级 T2I 训练（源码 117-118 行确认）→ 脸部 LoRA 无需编辑图
  • 数据集 toml 不能有 BOM（toml 库报错）→ 用无 BOM UTF-8 写
  • 模型路径保持 ASCII（D:\AI\sd\models\...），数据集目录中文路径 PIL 可读

伦理与合规

  • 只训老莫自己的脸，不涉及他人照片
  • 生成内容公开使用按规标注"AI 生成"

关键结论备忘

  • musubi 支持分片加载：--dit 指向 diffusion_pytorch_model-00001-of-00005.safetensors 自动合并全部 5 分片（load_split_weights 源码确认）
  • fp8_scaled / fp8_e4m3fn 版本不能用于训练（musubi 文档明确）
  • 训练底模用 bf16 官方权重；推理用 Rapid-AIO（FP8）叠加 LoRA
Reference in New Issue View Git Blame Copy Permalink