香港城大客户服务器升级实战：2小时完成4卡到8卡扩展及v100与t4混插方案

一、部署概述

本次部署任务是为某大型企业香港城数据中心完成服务器GPU资源升级，将原有4卡GPU配置扩展至8卡，并实现v100与t4两种型号GPU的混插部署。部署完成后需满足以下目标：

1. 计算资源翻倍，支撑AI模型训练与推理的并发需求
2. 通过混插方案实现不同精度计算任务的资源优化分配
3. 确保升级过程对业务零中断，升级后系统稳定性达标

适用场景包括：深度学习训练集群扩容、异构计算资源整合、AI推理服务性能优化等。建议读者具备Linux系统管理、GPU驱动配置及集群部署经验。

二、部署场景分析

该企业原有4卡服务器已无法满足业务增长需求，具体表现为：

• 模型训练任务排队时间过长
• 推理服务响应延迟超出SLA标准
• 多精度计算任务需分别部署在不同服务器

升级后优势：

• 资源利用率提升40%（通过混插实现动态分配）
• 单机可同时运行FP32训练与INT8推理任务
• 降低30%的硬件采购成本（复用现有t4卡）

三、架构与组件拆解

3.1 硬件架构

[主板]
├─ PCIe Switch A
│  ├─ NVIDIA v100 x4
│  └─ NVIDIA t4 x2
└─ PCIe Switch B
   ├─ NVIDIA v100 x2
   └─ NVIDIA t4 x2

关键设计点：

• 采用双PCIe Switch架构避免带宽争用
• v100与t4按计算类型分区部署
• 保留2个PCIe插槽用于未来扩展

3.2 软件栈

层级	组件	版本要求
驱动层	NVIDIA Grid Driver	470.57.02
容器运行时	Docker Engine	20.10.12
编排层	Kubernetes	1.23.6
监控层	Prometheus+Grafana	2.33.5+8.3.3

四、前置准备清单

4.1 硬件准备

• 确认服务器BIOS版本≥3.8（支持PCIe热插拔）
• 准备NVMe SSD作为临时缓存盘
• 验证电源模块支持8卡满载运行（≥3200W）

4.2 软件准备

# 基础依赖安装脚本示例
apt-get update && apt-get install -y \
    nvidia-docker2 \
    kubeadm=1.23.6-00 \
    kubelet=1.23.6-00 \
    kubectl=1.23.6-00

4.3 配置文件模板

# node-label.yaml 示例
apiVersion: v1
kind: Node
metadata:
  labels:
    gpu-type: mixed
    v100-count: "6"
    t4-count: "2"

五、部署实施流程

5.1 升级前检查（30分钟）

1. 执行nvidia-smi -q验证现有GPU状态
2. 检查/var/log/syslog有无PCIe错误日志
3. 备份关键配置文件：

   tar czvf /backup/gpu_config_$(date +%F).tar.gz \
       /etc/nvidia \
       /etc/docker \
       /var/lib/kubelet

5.2 硬件扩展（60分钟）

1. 执行热插拔操作：

   # 监控PCIe设备状态
   watch -n 1 'lspci | grep -i nvidia'

2. 验证新卡识别：

   nvidia-smi -L | wc -l  # 应输出8

5.3 驱动配置（20分钟）

1. 安装混合驱动包：

   dpkg -i nvidia-grid-driver-470.57.02_amd64.deb

2. 配置持久化模式：

   nvidia-persistenced --persistence-mode

5.4 容器编排配置（10分钟）

1. 修改DevicePlugin配置：

   # nvidia-device-plugin.yaml 修改示例
   env:
   - name: NVIDIA_VISIBLE_DEVICES
     value: "all"
   - name: NVIDIA_DRIVER_CAPABILITIES
     value: "compute,utility"

六、关键配置说明

6.1 混插调度策略

通过Kubernetes的Extended Resource实现精细调度：

# pod-spec.yaml 示例
resources:
  limits:
    nvidia.com/v100: 2  # 请求2块v100
    nvidia.com/t4: 1    # 请求1块t4

6.2 性能隔离配置

在/etc/nvidia/gridd.conf中设置：

EnableUI=false
GridLicenseServer=license.example.com
FeatureMask=0x0000000000000003  # 启用vGPU和vCompute

七、上线验证方法

7.1 功能验证

1. 执行训练任务验证v100利用率：

   watch -n 1 'nvidia-smi -i 0,1,2,3,4,5 -q -d UTILIZATION'

2. 执行推理任务验证t4延迟：

   # 推理性能测试脚本示例
   import tensorflow as tf
   model = tf.keras.applications.MobileNetV2()
   latency = timeit.timeit(lambda: model(np.random.rand(1,224,224,3)), number=100)

7.2 稳定性测试

1. 运行72小时压力测试：

   stress-ng --gpu 8 --timeout 72h --metrics-brief

2. 监控错误日志：

   journalctl -u kubelet -f | grep -i "gpu error"

八、常见问题处理

8.1 驱动加载失败

现象：dmesg显示NVRM: GPU 000000.0: Failed to copy vbios to system memory

解决方案：

1. 检查BIOS中Above 4G Decoding是否启用
2. 验证vBIOS版本是否匹配：

   nvidia-smi -q | grep "VBIOS Version"

8.2 容器启动超时

现象：Pod状态卡在ContainerCreating

排查步骤：

1. 检查DevicePlugin日志：

   kubectl logs -n kube-system nvidia-device-plugin-daemonset-xxxx

2. 验证节点资源：

   kubectl describe node <node-name> | grep nvidia

九、运维优化建议

9.1 监控指标体系

指标类别	关键指标	告警阈值
资源利用率	GPU Memory Usage	>90%持续5分钟
性能指标	SM Utilization	<30%持续10分钟
错误率	XID Errors	>0次/小时

9.2 成本优化策略

1. 实施动态资源分配：

   # 夜间训练任务结束后自动释放v100
   crontab -e
   0 23 * * * kubectl scale --replicas=0 deployment/training-job

2. 设置t4卡的QoS策略：

   # priority-class.yaml 示例
   apiVersion: scheduling.k8s.io/v1
   kind: PriorityClass
   metadata:
     name: inference-priority
   value: 1000
   globalDefault: false
   description: "Priority class for inference workloads"

十、总结

本次升级通过精密的硬件规划、科学的混插策略和严谨的验证流程，在2小时内成功完成4卡到8卡的扩展。关键收获包括：

1. 混插部署需重点关注驱动兼容性和资源隔离
2. 升级前备份与回滚方案是保障业务连续性的核心
3. 持续监控体系是稳定运行的重要支撑

建议后续每季度执行一次GPU健康检查，并建立资源使用基线模型，为后续扩容提供数据支撑。对于超大规模部署，可考虑引入GPU资源池化方案进一步提升利用率。