stable diffusion快速入门到精通

1 训练模型

• https://github.com/kohya-ss/sd-scripts
• https://zhuanlan.zhihu.com/p/616500728 → https://github.com/Akegarasu/lora-scripts/releases
• https://www.bilibili.com/video/BV1Kj411V78D
• 阿里云抠图： 百度盘
• 模型训练论坛贴：https://dfldata.xyz/forum.php?mod=viewthread&tid=12930

2 ControlNet

• https://github.com/lllyasviel/ControlNet

3 llama-dl 模型

• shawwn/llama-dl

I’m running LLaMA-65B on a single A100 80GB with 8bit quantization. $1.5/hr on vast.ai

3.1 Inpaint-Anything

• https://github.com/geekyutao/Inpaint-Anything
• https://github.com/continue-revolution/sd-webui-segment-anything

4 一致性出图

• Huggingface: dominic1021/controls

5 Stable Diffusion WebUI 安装与模型说明

• 官方模型介绍: https://huggingface.co/runwayml/stable-diffusion-v1-5

5.1 训练与生成提示：

• 使用 ChilloutMix + 自定义数据集进行二次训练，生成图片具备原始模型能力并体现个性化特征
• 环境推荐：1/6 GPU + 8GB 显存机器
• 启动方式：运行 webui.sh 启动，安装插件，prompt 提示词控制生成内容与风格

5.1.1 提示词构建技巧：

• Prompt = 生成目标
• Negative Prompt = 避免内容
• ChatGPT 可辅助提示词撰写

示例 LORA：

• 训练于 sd1.5，关键词“女孩”“女人”，也支持 taiwanDollLikeness_v10
• ChilloutMix 配合效果好
• 建议使用 DPM++ SDE Karras、Euler a 等采样器

推荐设置：

• txt2img 权重 0.5~0.8
• img2img 权重 0.4~0.8

5.2 实例教程

• Korean Doll Likeness 效果实现教程：https://www.iculture.cc/vip/pig=32980
• AI 绘图体验教程：https://www.cnblogs.com/Hedgehogcat/p/17146368.html
• Node.js + OpenAI 自动图像项目：https://cloud.tencent.com/developer/article/2207696
• DALL·E 2 接口批量下载：https://zhuanlan.zhihu.com/p/610434135
• 免费 OpenAI 服务部署：https://github.com/MRwangqi/chatGPT-nodejs/blob/main/index.js

6 Stable Diffusion 图像生成与拓展

• 根据图片生成 prompt：https://www.bilibili.com/video/BV16j411A7BL
• DreamStudio：https://beta.dreamstudio.ai/dream
• 八重神子图像示例：https://www.pixiv.net/artworks/105943019

7 deepfacelab

• 官网：https://dfldata.xyz/forum.php?mod=forumdisplay&fid=38
• faceswap 教程：https://dfldata.xyz/forum.php?mod=viewthread&tid=13220

8 本地部署实用命令

pushd D:\Software\AI\DeepFaceLab_NVIDIA_RTX2080Ti_Maozhihanhua\workspace
D:\Software\AI\DeepFaceLab_NVIDIA_RTX2080Ti_Maozhihanhua\_internal\clear_local_env.bat
D:\Software\AI\DeepFaceLab_NVIDIA_RTX2080Ti_Maozhihanhua\_internal\setenv.bat

9 模型对比

10 模型格式说明

• .ckpt：原始格式，包含完整网络结构
• .safetensors：优化后格式，加载更快，适用于部署
• LoRA：微调模型，需与 Base 模型联合使用，实现特定风格或人物图像
• VAE：压缩图像信息，起滤镜作用，影响颜色风格
• pt 文件：嵌入式引导，用于精确控制输出内容

10.1 人脸 pt 文件获取流程（SD-WebUI）

1. 上传清晰正脸图片
2. “Encode” 模块中点击 Encode
3. 生成 encoded_image.pt
4. 设置 > Face Restoration > Input Image 路径粘贴
5. 保存配置，即可复用该人脸信息生成不同造型

11 示例命令（Python）

python\python.exe venv\Lib\site-packages\flatbuffers\encode.py "D:\Software\AI\roop\resource\roop\test\梓涵大大\23.jpg" -o 23.pt

12 Torch 加速设置

import torch

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
torch.backends.cudnn.benchmark = True
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.max_workspace_size = 256