LLaMA-Factory官方保姆级教程：从环境搭建到模型训练评估全流程详解

LLaMA-Factory官方保姆级教程：从环境搭建到模型训练评估全流程详解

随着大型语言模型（LLM）的普及，如何高效地进行模型微调成为开发者关注的焦点。LLaMA-Factory作为一款专为LLaMA系列模型设计的微调工具，以其易用性和高效性受到广泛欢迎。本文将提供一份详尽的官方教程，从基础环境搭建到最终模型评估，手把手教你掌握这一”微调神器”。

一、环境搭建

1.1 硬件要求

建议使用配备NVIDIA GPU的机器，显存至少16GB（如A100/V100）。对于7B参数量的模型，16GB显存可支持全参数微调；13B模型建议32GB以上显存。

1.2 软件依赖安装

# 创建conda环境
conda create -n llama_factory python=3.9
conda activate llama_factory
# 安装PyTorch（根据CUDA版本选择）
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
# 安装LLaMA-Factory
pip install llama-factory

1.3 模型权重准备

需从官方渠道获取LLaMA模型权重（需Meta许可），推荐使用Hugging Face格式的权重文件。将下载的权重存放于./models/llama-7b等目录下。

二、数据准备

2.1 数据格式要求

LLaMA-Factory支持JSON格式数据集，标准结构如下：

[
  {
    "instruction": "解释牛顿第一定律",
    "input": "",
    "output": "牛顿第一定律又称惯性定律..."
  },
  // 更多样本...
]

2.2 数据预处理技巧

• 使用jq工具验证JSON格式有效性
• 建议样本量：特定任务至少500-1000条
• 文本清洗推荐使用ftfy库修复编码问题

三、模型训练

3.1 基础配置

创建配置文件train_config.yaml:

model_name_or_path: ./models/llama-7b
data_path: ./data/train.json
output_dir: ./output
per_device_train_batch_size: 4
gradient_accumulation_steps: 8
learning_rate: 2e-5
num_train_epochs: 3

3.2 启动训练

llama-factory train --config train_config.yaml

3.3 高级训练策略

• LoRA微调：添加--use_lora参数
• 梯度检查点：gradient_checkpointing: true节省显存
• 混合精度训练：fp16: true

四、模型评估

4.1 自动评估

llama-factory evaluate \
  --model_name_or_path ./output \
  --eval_data_path ./data/eval.json

4.2 人工评估要点

• 设计覆盖各种边界的测试用例
• 评估指标建议：流畅度（1-5分）、事实准确性（0/1）、任务完成度（%）
• 对比微调前后的生成示例

五、部署应用

5.1 模型导出

支持导出为Hugging Face格式或ONNX：

llama-factory export --input_dir ./output --output_format hf

5.2 API服务部署

使用FastAPI创建推理服务：

from llama_factory import InferenceModel
model = InferenceModel.from_pretrained("./output")
@app.post("/predict")
def predict(text: str):
    return model.generate(text)

六、性能优化

6.1 训练加速

• 使用Flash Attention 2（需A100/H100）
• 采用Deepspeed Zero3优化

6.2 推理优化

• 量化部署（4/8-bit）
• vLLM推理框架集成

七、常见问题

1. 显存不足：尝试--use_lora+gradient_checkpointing
2. 训练不稳定：降低学习率或增大batch size
3. 中文支持：推荐使用Chinese-LLaMA基础模型

结语

通过本教程，您已掌握LLaMA-Factory的完整工作流。建议从7B模型开始实验，逐步尝试更大模型和更复杂任务。官方文档（llama-factory.ai）持续更新最佳实践，欢迎提交Issue交流使用体验。