ChatGLM-6B大语言模型家用电脑部署指南

作者:谁偷走了我的奶酪2024.01.07 16:35浏览量:94

简介:本指南将指导您如何在消费级家用电脑上部署ChatGLM-6B大语言模型,这是一种开源的、支持中英双语问答的对话语言模型,基于General Language Model (GLM)架构,具有62亿参数。我们将重点介绍INT4量化级别下的部署,这样您可以在消费级的显卡上本地运行ChatGLM-6B。

千帆应用开发平台“智能体Pro”全新上线 限时免费体验

面向慢思考场景,支持低代码配置的方式创建“智能体Pro”应用

立即体验

在开始之前,我们需要先明确一些前提条件。首先,您需要有一台配置相对较高的家用电脑,主要要求是显卡能够支持INT4量化级别。具体配置要求如下:最低GPU(对话)要求是INT4量化级别下6GB显存,如果没有GPU硬件,也可以在CPU上进行对话,但相应速度会更慢,需要大概32GB内存。
接下来,我们将进入部署步骤。首先,您需要从GitHub上克隆ChatGLM-6B的代码仓库。在终端中输入以下命令:

  1. git clone https://github.com/THUDM/ChatGLM2-6B

然后进入ChatGLM2-6B文件夹,激活虚拟环境。在macOS/Linux系统下输入以下命令:

  1. cd ChatGLM2-6B
  2. source venv/bin/activate

接下来,安装依赖。在终端中输入以下命令:

  1. pip install -r requirements.txt -i https://pypi.douban.com/simple

然后加载模型。默认情况下,程序会自动下载模型。奈何模型太大,网络不好的情况下花费时间过长。建议提前下载,从本地加载模型。将下载的THUDM文件夹放在ChatGLM2-6B文件夹下。文件清单如下所示:

  1. download_dir = 'THUDM'
  2. data_dir = download_dir + '/data'
  3. base_dir = download_dir + '/base'
  4. processed_dir = download_dir + '/processed'
  5. model_dir = download_dir + '/model'

最后,运行模型。在终端中输入以下命令:

  1. python main.py int4 -m base:model:large_and_slow --fp16 --micro_batch_size 1 --model_dir model --data_dir data --processed_dir processed --base_dir base --download_dir download_dir --num_workers 4 --skip_download --verbose

至此,您已经成功在您的家用电脑上部署了ChatGLM-6B大语言模型。现在您可以开始使用这个模型进行中英双语问答和对话了。

article bottom image

相关文章推荐

发表评论