史上最全Stable Diffusion操作指南：从安装到进阶的完整教程

一、环境搭建与基础配置

1.1 硬件要求与软件依赖

Stable Diffusion的运行对硬件有明确要求：推荐NVIDIA GPU（显存≥8GB），CUDA 11.x/12.x支持，以及至少16GB系统内存。软件层面需安装Python 3.10+、PyTorch 2.0+及Git。可通过以下命令验证环境：

nvidia-smi  # 检查GPU驱动
python --version  # 验证Python版本
nvcc --version  # 确认CUDA版本

1.2 安装方式对比

• 本地安装：通过git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git克隆WebUI项目，运行webui-user.sh（Linux/macOS）或webui-user.bat（Windows）启动服务。
• Docker部署：使用预构建镜像docker pull ghcr.io/automatic1111/stable-diffusion-webui:latest，适合快速部署且环境隔离。
• 云服务方案：Colab、Kaggle等平台提供免费GPU资源，但需注意会话时长限制。

1.3 模型与插件管理

模型文件（.ckpt或.safetensors）需放置在models/Stable-diffusion目录，通过WebUI的Checkpoint下拉菜单加载。推荐模型：

• 通用型：Realistic Vision V5.1
• 动漫风：Anything V5
• 写实派：DreamShaper XL

插件扩展通过Extensions选项卡安装，例如ControlNet用于精准控制生成结构，LoRA实现轻量级风格迁移。

二、核心功能操作详解

2.1 基础文本生成

在WebUI的txt2img标签页输入提示词（Prompt），例如：

A highly detailed digital painting of a cyberpunk city at night, neon lights, cybernetic enhancements, 8k resolution

关键参数设置：

• 采样方法：DPM++ 2M Karras（平衡速度与质量）
• 步数：20-30步（过高可能导致过拟合）
• 分辨率：512x512（通用尺寸），1024x1024需启用Hi-res fix

2.2 高级控制技术

2.2.1 ControlNet应用

通过预处理模型（如Canny边缘检测）锁定图像结构。示例配置：

# ControlNet单元配置示例
{
  "input_image": "path/to/edge_map.png",
  "module": "canny",
  "model": "control_v11p_sd15_canny",
  "weight": 0.8,
  "resize_mode": "Just Resize"
}

2.2.2 LoRA微调

训练自定义LoRA模型需准备数据集（建议50-200张同类图像），使用sd-scripts库执行：

python train_network.py \
  --pretrained_model_name_or_path="models/Stable-diffusion/v1.5-pruned.ckpt" \
  --train_data_dir="data/train" \
  --output_dir="models/Lora" \
  --network_module="networks.lora" \
  --text_encoder_lr=5e-5 \
  --unet_lr=1e-4 \
  --num_cpu_threads_per_process=8

2.3 输出优化技巧

• 重绘幅度：Denoising strength控制在0.3-0.7避免过度变化
• 面部修复：启用CodeFormer或GFPGAN插件
• 批量生成：使用X/Y/Z plot脚本测试参数组合

三、进阶应用场景

3.1 视频生成工作流

结合TemporalNet插件实现帧间连贯性：

1. 提取视频关键帧（FFmpeg命令）
2. 对每帧生成SD图像
3. 使用EbSynth进行帧间插值

3.2 3D模型纹理生成

通过Texture Diffusion扩展，输入OBJ文件生成UV贴图：

# 配置示例
{
  "model_path": "models/Stable-diffusion/texture_v1.ckpt",
  "prompt": "metallic robot armor, sci-fi, 4k",
  "width": 1024,
  "height": 1024,
  "batch_size": 4
}

3.3 商业级输出设置

• 色彩管理：启用sRGB IEC61966-2.1色彩空间
• 多通道输出：通过Segment Anything插件分离前景/背景
• 自动化流水线：使用Gradio接口构建API服务

四、常见问题解决方案

4.1 性能优化

• 显存不足：启用--medvram或--lowvram模式
• 生成速度慢：使用xformers注意力机制（需CUDA 11.7+）
• CUDA错误：检查torch.cuda.is_available()输出

4.2 模型兼容性问题

• 版本冲突：保持WebUI、模型、扩展版本同步
• 损坏文件：使用md5sum校验模型文件哈希值
• 格式转换：通过ckpt_convert.py脚本转换模型格式

五、资源与社区支持

• 官方文档：Stable Diffusion GitHub Wiki
• 模型仓库：CivitAI、Hugging Face Model Hub
• 交流社区：Reddit r/StableDiffusion、知乎AI绘画专题

本指南覆盖了Stable Diffusion从入门到精通的核心知识点，通过结构化流程与代码示例帮助读者系统掌握技术要点。实际使用时建议结合具体需求调整参数，并持续关注社区更新以获取最新功能。