ChatGLM3-6B的部署及微调详解

在开始部署和微调ChatGLM3-6B模型之前，我们需要先购买一台算力服务器。这里推荐使用AutoDL平台提供的算力服务器，它们已经预装好了很多必要的软件和环境，省去了自己配置的时间。
首先，我们需要以无卡模式登录算力服务器，并安装Git LFS。Git LFS是Git的一个扩展，用于管理大型文件，如模型权重文件。安装完成后，我们需要设置学术加速，以便更快地下载数据和模型。
接下来，我们需要克隆ChatGLM3-6B的代码仓。首先，通过以下命令克隆代码仓：

git clone https://github.com/THUDM/ChatGLM3

进入ChatGLM3目录后，我们需要安装requirements.txt文件中的库。首先，升级pip到最新版本：

python -m pip install --upgrade pip

然后，使用pip安装依赖：

pip install -r requirements.txt

接下来，我们需要从Hugging Face上下载本地模型。首先，安装git-lfs：

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash

然后，检查git-lfs是否安装成功：

git lfs install

接下来，我们就可以下载本地模型了：

git clone https://huggingface.co/THUDM/chatglm3-6b

如果下载过程中出现443错误，可能是因为没有设置学术加速。可以通过以下命令设置学术加速：

source /etc/network_turbo

在有卡模式下重新启动服务器后，我们就可以开始微调模型了。在整个过程中，我们使用了两个代码仓：github和huggingface。github上的仓库是存放chatglm3-6b的运行代码的，而huggingface的代码仓中是存放运行所需的模型及模型相关配置文件的。在部署和微调过程中，可能会遇到一些问题。例如，下载的模型有缺失或损坏，这可能是因为使用了不合适的下载方式。建议不要使用wget而是使用git下载模型。另外，如果在使用cuda环境时出现错误，可能是因为torch版本不兼容。此时可以尝试修改torch版本：pip install torch==2.0.1。其他可能的报错信息及解决方法可以参考相关文档或社区论坛。