logo

24GB显存跑大图像模型:量化与卸载选型

作者:KAKAKA2026.11.18 11:24浏览量:0

简介:本文面向24GB显存的消费级显卡,比较INT8加CPU卸载与3bit混合精度全驻留两种部署方式。文章给出显存估算方法、权重校验步骤、可运行的加载与生成代码,以及显存溢出、生成变慢和画质下降的排查流程。读者可用自己的硬件和验收标准选出可行方案,并保留回退路径。

适用范围与前提

本文面向有Python基础的算法工程师和部署运维人员。目标任务包括文生图和多参考图编辑。硬件假设如下:

  • 显卡:NVIDIA,24GB显存。
  • 系统内存:INT8方案至少32GB;3bit全驻留方案至少8GB,推荐16GB。
  • 磁盘:预留50GB以上可用空间,权重放在NVMe固态硬盘上。
  • 系统:优先使用Linux。Windows用户请在WSL2中运行,因为bitsandbytes在原生Windows上支持有限。
  • 驱动:驱动支持的CUDA版本必须不低于所装PyTorch的CUDA版本。可用 nvidia-smi 查看驱动信息。

本文中的GB按十亿字节计算,与文件大小和模型卡的标称值口径一致。nvidia-smi 显示的MiB按2的20次方字节计算,两者相差约7%,比较数字时需要统一口径。

先估算显存是否够用

权重显存(GB)≈ 参数量(十亿)× 位宽 ÷ 8

举例:一个100亿参数的模型,INT8权重约10GB,4bit约5GB,3bit约3.75GB。这只是演示公式,数值不对应任何具体模型。

套用到本文的模型。原始资料给出裁剪后的DiT约40.2GB。若权重以BF16存储,每个参数占2字节,参数量约为201亿(40.2 ÷ 2)。由此得到两种方案的权重体积:

  • INT8:约20.1GB。在24GB显存中只剩约3.9GB,还要放文本编码器、VAE解码器、激活值和CUDA上下文,因此必须使用CPU卸载。
  • 3bit:约7.5GB。与标称的7.67GB接近,差额可能来自量化缩放参数等元数据,需以实测为准。

运行时显存不只有权重。下表列出各部分及其测量方法:

组成部分 随什么变化 测量方法
权重 量化方案与位宽 加载后用 torch.cuda.memory_allocated() 查看
文本编码器 基本固定 单独加载后测量
VAE解码 分辨率,开启tiling后峰值下降 对比开启与关闭tiling的峰值
激活值 分辨率与批大小,增长最快 生成后用 torch.cuda.max_memory_allocated() 查看
CUDA上下文 随驱动和库版本变化 比较 nvidia-smi 与PyTorch的数值差

分辨率每翻一倍,像素数变为4倍,注意力计算的增长更快。权重装得下,不代表2048像素的生成能稳定运行。

两种部署方案怎么选

项目 方案一:INT8加CPU卸载 方案二:3bit混合精度全驻留
量化方式 INT8 混合精度,平均约3bit
显存策略 动态卸载到内存,文本编码器可磁盘流式加载 权重全部驻留显存,不做运行时卸载
内存要求 至少32GB 至少8GB,推荐16GB
画质特点 细节保留较好 毛发、水面反光等复杂纹理可能丢失细节
适合场景 单张高质量生成、交互式编辑 大批量连续生成、吞吐优先

方案二允许把注意力输出层等关键层保留为更高精度,代价是显存上升。原始资料给出的“约10至12GB”没有说明分辨率、批大小以及是否包含VAE和文本编码器,本文不沿用这个数字。请用后文的测量方法,在目标分辨率下重新测定。

选型规则如下:

  1. 大批量连续生成,且方案二通过画质验收,选方案二。
  2. 单张高质量生成或交互式编辑,选方案一。
  3. 方案二画质验收不通过,切换到方案一。

两种方案都要记录四项指标:吞吐(张/分钟)、首图延迟(秒)、峰值显存(GB)、画质验收结果。

获取权重并校验完整性

  1. 打开官方模型卡,记录仓库ID、版本号(commit哈希或发布标签)、许可证以及是否允许商用。
  2. 下载权重。仓库ID和版本号从模型卡复制。未设置变量时,脚本会直接退出,避免下载到错误的仓库。
  1. : "${REPO_ID:?请先设置官方仓库ID,例如 export REPO_ID=<模型卡中的值>}"
  2. : "${REVISION:?请先设置版本号,例如 export REVISION=<模型卡中的值>}"
  3. huggingface-cli download "$REPO_ID" --revision "$REVISION" --local-dir ./weights

huggingface-cli download 支持断点续传。若官方指定了其他工具,请改用该工具,并保留版本号参数。

  1. 校验SHA256哈希。若模型卡提供校验文件,优先使用它:
  1. cd weights && sha256sum -c checksums.txt

若模型卡没有提供校验文件,请逐个计算哈希,并与模型卡公布的值比对:

  1. sha256sum dit_model/*.safetensors

Windows可使用 certutil -hashfile 文件名 SHA256。哈希不一致时,删除该文件并重新下载,不要用它继续部署。

  1. 整理目录结构,便于脚本读取:
  1. ./weights/
  2. ├── dit_model/ # DiT骨干网络
  3. ├── text_encoder/ # 文本编码器
  4. └── vae/ # VAE

目录名以模型卡为准。若不同,请同步修改后面加载代码中的路径。

  1. 确认许可证条款允许你的用途。权重不得用于许可证禁止的场景。

配置推理环境

  1. conda create -n lowvram-img python=3.10 -y
  2. conda activate lowvram-img
  3. # 版本号为示例,请以官方推理库的要求为准,并确保CUDA版本与驱动兼容
  4. pip install torch==2.1.1 torchvision==0.16.1 --index-url https://download.pytorch.org/whl/cu121
  5. pip install diffusers transformers accelerate sentencepiece bitsandbytes

若diffusers要求更高版本的PyTorch,请按其文档调整。若模型官方推理库有额外依赖,请按其仓库说明安装,不要用通用包替代。

安装后运行自检脚本,确认GPU可用,且显存容量符合预期:

  1. import torch
  2. import diffusers
  3. import transformers
  4. print("torch", torch.__version__, "cuda", torch.version.cuda)
  5. print("diffusers", diffusers.__version__, "transformers", transformers.__version__)
  6. print("cuda可用:", torch.cuda.is_available())
  7. if torch.cuda.is_available():
  8. props = torch.cuda.get_device_properties(0)
  9. print("显卡:", props.name, "显存(GB):", round(props.total_memory / 1e9, 2))

同时运行 python -m bitsandbytes,它会输出bitsandbytes的CUDA诊断信息。若诊断报错,先解决它再继续。

加载模型

以下代码把两种方案放在同一个文件中,通过环境变量 SCHEME 切换。将代码保存为 load_model.py。

  1. import os
  2. import sys
  3. import torch
  4. from diffusers import DiffusionPipeline
  5. MODEL_DIR = "./weights"
  6. SCHEME = os.environ.get("SCHEME", "int8") # 可选值: "int8" 或 "3bit"
  7. if SCHEME == "int8":
  8. from diffusers import BitsAndBytesConfig
  9. # 填入模型卡指定的DiT类名。未填写时直接退出,避免静默失败。
  10. DiTClass = None
  11. if DiTClass is None:
  12. sys.exit("请在 load_model.py 中填入模型卡指定的DiT类名")
  13. transformer = DiTClass.from_pretrained(
  14. f"{MODEL_DIR}/dit_model",
  15. quantization_config=BitsAndBytesConfig(load_in_8bit=True),
  16. torch_dtype=torch.bfloat16,
  17. )
  18. pipe = DiffusionPipeline.from_pretrained(
  19. MODEL_DIR, transformer=transformer, torch_dtype=torch.bfloat16
  20. )
  21. pipe.enable_model_cpu_offload()
  22. elif SCHEME == "3bit":
  23. # bitsandbytes 不支持3bit。请使用官方提供的加载函数,加载后调用 pipe.to("cuda"),
  24. # 并且不要调用任何 offload 方法。
  25. sys.exit("3bit方案需按官方推理库的加载方式实现,本文件不提供该分支")
  26. else:
  27. sys.exit(f"未知的 SCHEME: {SCHEME}")
  28. pipe.vae.enable_tiling()

说明:

  • 方案一调用 enable_model_cpu_offload()。它按模块搬运权重,速度较快,峰值显存较高。
  • 方案二不能调用任何offload方法,否则权重不会常驻显存,失去吞吐优势。
  • PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True 只能缓解显存碎片,不能保证解决溢出。

生成图像与设置参数

将下面的代码保存为 generate.py,与 load_model.py 放在同一目录:

  1. import time
  2. import torch
  3. from load_model import pipe
  4. prompt = "A majestic white horse running across a misty mountain lake, photorealistic"
  5. negative_prompt = "blurry, low quality, watermark"
  6. generator = torch.Generator("cuda").manual_seed(1234)
  7. torch.cuda.reset_peak_memory_stats()
  8. torch.cuda.synchronize()
  9. t0 = time.perf_counter()
  10. image = pipe(
  11. prompt=prompt,
  12. negative_prompt=negative_prompt,
  13. height=1024,
  14. width=1024,
  15. num_inference_steps=6, # 以模型卡推荐值为起点
  16. guidance_scale=5.5, # 以模型卡推荐值为起点
  17. num_images_per_prompt=1,
  18. generator=generator,
  19. ).images[0]
  20. torch.cuda.synchronize()
  21. elapsed = time.perf_counter() - t0
  22. peak_gb = torch.cuda.max_memory_allocated() / 1e9
  23. print(f"耗时 {elapsed:.1f}s,PyTorch峰值显存 {peak_gb:.2f}GB")
  24. image.save("out_1024.png")

max_memory_allocated() 只统计PyTorch分配的显存,不含CUDA上下文,所以它通常小于 nvidia-smi 的数值。记录峰值时,请说明采用的口径。

参数说明:

参数 作用 调整建议
height / width 决定像素数和激活值显存 先用1024测通,再逐步提高
num_inference_steps 步数,耗时大致与步数成正比 以模型卡推荐值为起点
guidance_scale 提示词的约束强度 过高可能使画面僵硬或出现伪影,需逐组对比
generator / seed 固定随机性,便于复现 做A/B对比时固定种子
num_images_per_prompt 每次生成的张数 显存紧张时保持为1

卸载方式的取舍:

方式 显存占用 速度 适用情况
enable_model_cpu_offload() 较低 较快 方案一的默认选择
enable_sequential_cpu_offload() 最低 明显更慢 前一种仍然溢出时使用
不调用任何offload 全部权重常驻显存 最快 方案二

排查:显存溢出、生成变慢、画质下降

显存溢出(CUDA out of memory)

按以下顺序排查,每次只改一项:

  1. 把分

发表评论

活动