ChatGLM-6B大语言模型家用电脑部署指南
2024.01.07 16:35浏览量:94简介:本指南将指导您如何在消费级家用电脑上部署ChatGLM-6B大语言模型,这是一种开源的、支持中英双语问答的对话语言模型,基于General Language Model (GLM)架构,具有62亿参数。我们将重点介绍INT4量化级别下的部署,这样您可以在消费级的显卡上本地运行ChatGLM-6B。
千帆应用开发平台“智能体Pro”全新上线 限时免费体验
面向慢思考场景,支持低代码配置的方式创建“智能体Pro”应用
在开始之前,我们需要先明确一些前提条件。首先,您需要有一台配置相对较高的家用电脑,主要要求是显卡能够支持INT4量化级别。具体配置要求如下:最低GPU(对话)要求是INT4量化级别下6GB显存,如果没有GPU硬件,也可以在CPU上进行对话,但相应速度会更慢,需要大概32GB内存。
接下来,我们将进入部署步骤。首先,您需要从GitHub上克隆ChatGLM-6B的代码仓库。在终端中输入以下命令:
git clone https://github.com/THUDM/ChatGLM2-6B
然后进入ChatGLM2-6B文件夹,激活虚拟环境。在macOS/Linux系统下输入以下命令:
cd ChatGLM2-6B
source venv/bin/activate
接下来,安装依赖。在终端中输入以下命令:
pip install -r requirements.txt -i https://pypi.douban.com/simple
然后加载模型。默认情况下,程序会自动下载模型。奈何模型太大,网络不好的情况下花费时间过长。建议提前下载,从本地加载模型。将下载的THUDM文件夹放在ChatGLM2-6B文件夹下。文件清单如下所示:
download_dir = 'THUDM'
data_dir = download_dir + '/data'
base_dir = download_dir + '/base'
processed_dir = download_dir + '/processed'
model_dir = download_dir + '/model'
最后,运行模型。在终端中输入以下命令:
python main.py int4 -m base:model:large_and_slow --fp16 --micro_batch_size 1 --model_dir model --data_dir data --processed_dir processed --base_dir base --download_dir download_dir --num_workers 4 --skip_download --verbose
至此,您已经成功在您的家用电脑上部署了ChatGLM-6B大语言模型。现在您可以开始使用这个模型进行中英双语问答和对话了。

发表评论
登录后可评论,请前往 登录 或 注册