logo

扩散模型DPO训练服务部署全流程指南

作者:c4t2026.11.18 12:09浏览量:0

简介:本文讲解如何把经过DPO偏好训练的扩散模型部署成在线生成服务。内容包括显存估算、依赖安装、训练参数设置、推理接口搭建,以及CLIP分数、偏好胜率等上线验证方法,读完即可完成一次从训练到上线的完整流程。

DPO扩散模型适合哪些场景

扩散模型已广泛用于图像生成、视频合成和分子设计等连续数据生成任务。传统训练以最大似然为目标,拟合训练数据的分布,但业务更关心生成结果是否美观、是否符合提示词。

DPO(直接偏好优化)可以直接使用“同一提示词下的好图与差图”成对数据优化模型。标准的Diffusion-DPO不需要单独训练奖励模型,也不需要把去噪过程建模为马尔可夫决策过程(MDP)。只有DDPO等强化学习变体才会把去噪轨迹当作MDP,并计算奖励信号。本文以Diffusion-DPO为例,聚焦图像生成场景。药物分子和机器人轨迹同样可以用偏好数据训练,但需要领域专用的评价器和标注标准,这里不展开。

部署前估算显存

全量微调时,混合精度训练中每个参数大约占用16到18字节:fp32主权重4字节、梯度4字节、Adam的两个动量状态8字节,外加fp16工作副本2字节。DPO还需要一份冻结的参考模型,按fp16计,每个参数2字节。

显存估算公式:
显存 ≈ 参数量 × (16到18字节 + 2字节参考模型) + 激活值占用

激活值与分辨率和批次大小相关,需要用nvidia-smi实测。以SD1.5的UNet(约8.6亿参数)为例,仅参数与优化器状态就需要约17GB,因此全量微调建议24GB显存的卡起步。

经验配置如下,具体数值以实测为准:

方案 分辨率 单卡建议显存 关键设置
SD1.5全量微调 512 24GB起 梯度检查点、8bit Adam
SD1.5 LoRA微调 512 12GB起 只训练适配器参数
SDXL全量微调 1024 80GB或多卡 梯度检查点、DeepSpeed ZeRO

推理时,SD1.5在fp16下通常只需约4GB显存。

环境初始化与依赖安装

需要Linux系统、Python 3.10以上版本,以及驱动版本不低于530的NVIDIA GPU(CUDA 12.1)。

  1. python3.10 -m venv dpo_diffusion_env
  2. source dpo_diffusion_env/bin/activate
  3. pip install torch==2.3.1 torchvision==0.18.1 --index-url https://download.pytorch.org/whl/cu121
  4. pip install diffusers==0.30.3 transformers==4.44.2 accelerate==0.34.2 datasets==2.21.0 peft==0.12.0 bitsandbytes==0.43.3
  5. pip install fastapi==0.111.0 uvicorn==0.30.1 pillow
  6. nvidia-smi

上面是一组经过验证的版本组合。若CUDA版本不同,更换对应的PyTorch版本即可,其他包保持一致。

准备数据与配置

训练数据采用公开的Pick-a-Pic v2数据集(Hugging Face仓库名yuvalkirstain/pickapic_v2),每条样本包含一个提示词、两张生成图和用户选择的偏好结果。若使用自有数据,格式需要统一为提示词、好图、差图三元组。数据和基础模型权重可以用对象存储命令行工具(如ossutil)上传到云端,训练节点再拉取到本地目录。

示例配置如下。它不能直接运行,字段需要与训练脚本的参数名逐一核对。

  1. # 示例配置,不可直接运行。运行前请用脚本的 --help 核对参数名。
  2. model:
  3. pretrained_model_name_or_path: "stable-diffusion-v1-5/stable-diffusion-v1-5"
  4. output_dir: "/data/checkpoints/dpo_sd15_v1"
  5. data:
  6. dataset_name: "yuvalkirstain/pickapic_v2"
  7. resolution: 512
  8. dpo:
  9. beta_dpo: 5000 # 社区实现常用几千量级,不要照搬语言模型DPO中的0.1
  10. learning_rate: 2.0e-8 # 全量微调的参考范围约1e-8到1e-7,需按有效批次调整
  11. max_train_steps: 2000
  12. train:
  13. train_batch_size: 4
  14. gradient_accumulation_steps: 4 # 有效批次 = 4 × 4 × 卡数
  15. mixed_precision: "fp16"
  16. use_8bit_adam: true
  17. gradient_checkpointing: true
  18. seed: 42

这些数值是文献与社区示例的参考值,不是通用推荐值。beta_dpo控制模型偏离参考模型的程度,取值越大,模型越保守。学习率与有效批次强相关,批次变小时需要重新调参。

另外,DPO训练时每个样本的去噪时间步是随机采样的,与推理步数无关。推理步数通常在25到50步之间,需要单独设置。

训练流程

训练脚本位于diffusers仓库的Diffusion-DPO示例中。每个训练步骤中,脚本对好图和差图使用相同的随机时间步加噪,分别计算可训练UNet与冻结参考UNet的去噪误差,再通过损失函数让可训练模型在好图上的误差相对差图更小。整个过程不需要奖励模型。

  1. accelerate launch train_diffusion_dpo.py \
  2. --pretrained_model_name_or_path="stable-diffusion-v1-5/stable-diffusion-v1-5" \
  3. --dataset_name="yuvalkirstain/pickapic_v2" \
  4. --resolution=512 \
  5. --train_batch_size=4 \
  6. --gradient_accumulation_steps=4 \
  7. --gradient_checkpointing \
  8. --mixed_precision="fp16" \
  9. --use_8bit_adam \
  10. --learning_rate=2e-8 \
  11. --beta_dpo=5000 \
  12. --max_train_steps=2000 \
  13. --seed=42 \
  14. --output_dir="/data/checkpoints/dpo_sd15_v1"

参数名以所用diffusers版本的—help输出为准。训练结束后,检查输出目录中是否包含model_index.json和unet子目录,然后用对象存储工具同步到共享存储,保留每次训练的版本号。

构建推理服务

推理服务使用FastAPI加载训练好的pipeline。下面的代码将图片编码为PNG字节再进行base64编码。原示例中的image.encode()无法得到图片字节流,不能直接使用。

```python
import asyncio
import base64
import io
import os

import torch
from diffusers import DDIMScheduler, StableDiffusionPipeline
from fastapi import FastAPI
from pydantic import BaseModel, Field

MODEL_DIR = os.environ[“MODEL_DIR”]
DEVICE = “cuda”

pipe = StableDiffusionPipeline.from_pretrained(MODEL_DIR, torch_dtype=torch.float16).to(DEVICE)
pipe.scheduler = DDIMScheduler.from_config(pipe.scheduler.config)
pipe.enable_attention_slicing()

gpu_lock = asyncio.Lock()
app = FastAPI()

class GenerateRequest(BaseModel):
prompt: str = Field(…, min_length=1, max_length=1000)
steps: int = Field(30, ge=10, le=50)
seed: int | None = None

@app.post(“/generate”)
async def generate(req: GenerateRequest):
generator = None
if req.seed is not None:
generator = torch.Generator(device=DEVICE).manual_

发表评论

活动