ChatGLM3 本地部署实战指南:从安装到运行

作者:热心市民鹿先生2024.08.14 19:16浏览量:16

简介:本文详细介绍了ChatGLM3的本地部署过程,包括环境配置、模型下载、代码修改及启动服务,为初学者和非专业读者提供简明易懂的步骤和实用建议。

千帆应用开发平台“智能体Pro”全新上线 限时免费体验

面向慢思考场景,支持低代码配置的方式创建“智能体Pro”应用

立即体验

ChatGLM3 本地部署实战指南:从安装到运行

引言

ChatGLM3是一个基于Transformer的大型语言模型,由智谱AI和清华大学KEG实验室联合发布。它以其强大的自然语言处理能力和较低的部署门槛受到广泛关注。本文将引导你完成ChatGLM3的本地部署,确保即使非专业读者也能轻松上手。

环境准备

1. 安装Python环境

ChatGLM3需要Python版本3.7以上。如果你的系统中尚未安装Python,建议从Python官网下载并安装。为了方便管理依赖和避免版本冲突,推荐使用Anaconda来安装Python。Anaconda不仅集成了Python环境,还提供了包管理工具conda,方便后续依赖的安装。

2. 安装Git和Git LFS

由于ChatGLM3的模型文件较大,推荐使用Git LFS(Large File Storage)从Hugging Face Hub下载。Git LFS是Git的一个扩展,用于处理大文件。首先,你需要安装Git,然后在终端中执行以下命令安装Git LFS:

  1. sudo apt-get install git-lfs # 对于Ubuntu/Debian系统
  2. brew install git-lfs # 对于MacOS系统

下载ChatGLM3项目

ChatGLM3是一个开源项目,你可以从GitHub上下载其源代码。在GitHub页面,点击“Code”按钮,选择“Download ZIP”下载项目压缩包,或者通过Git克隆项目:

  1. git clone https://github.com/THUDM/ChatGLM3.git
  2. cd ChatGLM3

创建虚拟环境

使用conda创建一个独立的虚拟环境,以避免依赖冲突。执行以下命令:

  1. conda create -n chatglm3 python=3.10
  2. conda activate chatglm3

安装依赖

在ChatGLM3项目目录下,执行以下命令安装项目所需的依赖库:

  1. pip install -r requirements.txt

下载模型文件

ChatGLM3的预训练模型可以从Hugging Face Hub或国内镜像站下载。由于Hugging Face Hub可能因网络问题访问较慢,你可以考虑使用ModelScope等国内镜像源。

使用Git LFS下载模型(以ChatGLM3-6B为例):

  1. git lfs install
  2. git clone https://huggingface.co/THUDM/chatglm3-6b
  3. # 或者从ModelScope下载
  4. git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

将下载的模型文件放在ChatGLM3项目的适当目录下。

修改代码

根据你的需求,修改ChatGLM3项目中的web_demo.pycli_demo.pyopenai_api.py等文件,设置正确的模型路径和加载方式(CPU或GPU)。例如,在web_demo.py中,你可能需要修改以下代码行:

  1. model = AutoModel.from_pretrained("path_to_your_model", trust_remote_code=True).cuda()
  2. # 或者对于CPU部署
  3. # model = AutoModel.from_pretrained("path_to_your_model", trust_remote_code=True)

启动服务

在ChatGLM3项目目录下,根据你的需求运行相应的启动脚本。例如,要启动网页版Demo,可以执行:

  1. python web_demo.py

程序将启动一个Web服务器,并输出访问地址。在浏览器中打开该地址,即可开始与ChatGLM3进行交互。

常见问题与解决

  • 模型下载慢:尝试更换下载源,如使用ModelScope等国内镜像站。
  • 依赖安装失败:检查Python版本是否符合要求,尝试使用国内镜像源(如清华大学的PyPI镜像)
article bottom image

相关文章推荐

发表评论