OpenCompass大模型评测平台部署指南

一、部署概述

OpenCompass作为开源的大模型评测平台，支持语言、多模态、代码、智能体等多维度能力评估，覆盖学科、推理、创作等核心场景。本文面向开发者、架构师及企业技术团队，提供从本地环境到云环境的通用部署方案，帮助用户快速搭建可复现、可扩展的评测系统，实现模型能力的全面诊断与行业榜单动态更新。

二、部署场景

1. 学术研究：高校实验室需快速验证新模型在数学推理、代码生成等维度的性能。
2. 企业AI中台：技术团队需构建私有化评测体系，支持多业务线模型迭代对比。
3. 开源社区：开发者需共享评测基准，推动行业标准化评估方法落地。
4. 垂直领域：法律、金融等场景需定制化评测数据集与安全评估模块。

三、架构与组件

OpenCompass的部署架构分为三层：

1. 计算层：支持单机、分布式集群两种模式。单机模式适用于轻量级评测（如单模型单维度测试），分布式模式通过任务拆分与结果聚合实现大规模评测（如1.5万双语问题并行处理）。
2. 存储层：需配置对象存储（存放评测数据集）与关系型数据库（存储评测结果与榜单数据）。建议使用云对象存储服务，其弹性扩展能力可应对数据集动态增长。
3. 服务层：包含核心评测引擎、CompassRank榜单服务、CompassHub社区服务及CompassKit工具链。各服务通过RESTful API交互，支持容器化部署以实现资源隔离与快速扩容。

四、前置准备

1. 环境要求：
   • 操作系统：Linux（Ubuntu 20.04+或CentOS 7+）
   • 运行时：Python 3.8+、CUDA 11.x（GPU加速场景）
   • 依赖库：PyTorch、HuggingFace Transformers、FastAPI
2. 资源规格：
   • 单机模式：8核32GB内存+1块NVIDIA V100 GPU（基准测试场景）
   • 分布式模式：主节点16核64GB内存，工作节点4核16GB内存+GPU（大规模评测场景）
3. 数据准备：
   • 下载官方评测数据集包（含学科、语言、代码等70+子集）
   • 自定义数据集需转换为平台标准格式（JSONL，每行包含问题、答案、评估指标）
4. 网络策略：
   • 开放80/443端口（榜单服务）
   • 配置内网访问权限（分布式节点间通信）

五、部署流程

1. 单机模式部署

步骤1：环境初始化

# 安装基础依赖
sudo apt update && sudo apt install -y git python3-pip nvidia-cuda-toolkit
pip install torch transformers fastapi uvicorn
# 克隆代码库
git clone https://github.com/open-compass/opencompass.git
cd opencompass

步骤2：配置评测参数
编辑configs/eval_config.py，指定数据集路径与评测维度：

dataset_config = {
    "math": {"path": "/data/math_dataset", "metrics": ["accuracy", "f1"]},
    "code": {"path": "/data/code_dataset", "metrics": ["pass@1", "pass@10"]}
}

步骤3：启动评测服务

python run_eval.py --config configs/eval_config.py --device cuda:0

2. 分布式模式部署

步骤1：主节点配置

# 安装分布式任务调度框架
pip install celery redis
# 启动任务队列
celery -A tasks worker --loglevel=info --concurrency=4

步骤2：工作节点注册
在工作节点执行：

# 设置主节点地址
export MASTER_NODE="http://<主节点IP>:5672"
# 启动评测任务消费者
python worker.py --master $MASTER_NODE --device cuda:0

步骤3：任务分发与结果聚合
通过主节点API提交评测任务：

import requests
data = {
    "dataset": "math",
    "model": "llama-7b",
    "nodes": ["worker1", "worker2"]  # 工作节点标识
}
response = requests.post("http://<主节点IP>:8000/submit", json=data)

六、配置说明

1. 评测维度配置：
   • metrics字段定义评估指标，如accuracy（准确率）、bleu（机器翻译质量）、rouge（文本生成流畅度）。
   • 新增维度需实现对应评估函数（参考src/metrics/目录模板）。
2. 分布式策略：
   • 任务拆分：按数据集子集或模型参数切片分配至不同节点。
   • 结果聚合：主节点收集各节点Partial Result后计算全局指标。
3. 安全控制：
   • 启用API认证：通过JWT令牌限制榜单服务访问权限。
   • 数据隔离：为不同租户分配独立存储桶，避免数据交叉污染。

七、上线验证

1. 服务可用性检查：
   • 访问http://<部署IP>:8000/health，返回{"status": "ok"}表示服务正常。
2. 评测结果验证：
   • 检查输出目录是否生成results.json，包含各维度得分与耗时统计。
   • 对比官方基准结果，误差在±0.5%内视为部署成功。
3. 分布式效率测试：
   • 提交1万条评测任务，观察任务完成时间是否随节点数增加呈线性下降。

八、常见问题与排查

1. GPU利用率低：
   • 原因：任务批处理大小（batch size）设置过小。
   • 解决：调整eval_config.py中的batch_size参数（建议值：32~128）。
2. 数据加载失败：
   • 原因：数据集路径权限不足或格式错误。
   • 解决：检查/data目录权限，使用jq工具验证JSONL文件格式。
3. 分布式节点离线：
   • 原因：网络抖动或资源不足导致心跳超时。
   • 解决：缩短celery的broker_transport_options心跳间隔（默认60秒建议改为30秒）。

九、运维与优化

1. 监控告警：
   • 部署Prometheus+Grafana监控GPU利用率、内存占用、任务队列长度。
   • 设置阈值告警（如GPU利用率持续10分钟>90%时触发扩容）。
2. 性能优化：
   • 启用混合精度训练（FP16）加速推理过程。
   • 对长文本评测任务启用分块处理（chunk_size=1024）。
3. 成本优化：
   • 使用竞价实例承担非核心评测任务，降低云资源成本。
   • 配置存储生命周期策略，自动清理30天前的评测日志。

十、总结

本文通过单机与分布式两种模式，详细阐述了OpenCompass的部署全流程。关键步骤包括环境初始化、配置调优、任务分发与结果验证，运维重点涵盖监控告警、性能调优与成本控制。技术团队可根据实际需求选择部署方案，快速构建高效、可扩展的大模型评测体系，为AI模型迭代提供数据支撑。