ChatGLM3 本地部署实战指南:从安装到运行
2024.08.14 19:16浏览量:16简介:本文详细介绍了ChatGLM3的本地部署过程,包括环境配置、模型下载、代码修改及启动服务,为初学者和非专业读者提供简明易懂的步骤和实用建议。
千帆应用开发平台“智能体Pro”全新上线 限时免费体验
面向慢思考场景,支持低代码配置的方式创建“智能体Pro”应用
ChatGLM3 本地部署实战指南:从安装到运行
引言
ChatGLM3是一个基于Transformer的大型语言模型,由智谱AI和清华大学KEG实验室联合发布。它以其强大的自然语言处理能力和较低的部署门槛受到广泛关注。本文将引导你完成ChatGLM3的本地部署,确保即使非专业读者也能轻松上手。
环境准备
1. 安装Python环境
ChatGLM3需要Python版本3.7以上。如果你的系统中尚未安装Python,建议从Python官网下载并安装。为了方便管理依赖和避免版本冲突,推荐使用Anaconda来安装Python。Anaconda不仅集成了Python环境,还提供了包管理工具conda,方便后续依赖的安装。
2. 安装Git和Git LFS
由于ChatGLM3的模型文件较大,推荐使用Git LFS(Large File Storage)从Hugging Face Hub下载。Git LFS是Git的一个扩展,用于处理大文件。首先,你需要安装Git,然后在终端中执行以下命令安装Git LFS:
sudo apt-get install git-lfs # 对于Ubuntu/Debian系统
brew install git-lfs # 对于MacOS系统
下载ChatGLM3项目
ChatGLM3是一个开源项目,你可以从GitHub上下载其源代码。在GitHub页面,点击“Code”按钮,选择“Download ZIP”下载项目压缩包,或者通过Git克隆项目:
git clone https://github.com/THUDM/ChatGLM3.git
cd ChatGLM3
创建虚拟环境
使用conda创建一个独立的虚拟环境,以避免依赖冲突。执行以下命令:
conda create -n chatglm3 python=3.10
conda activate chatglm3
安装依赖
在ChatGLM3项目目录下,执行以下命令安装项目所需的依赖库:
pip install -r requirements.txt
下载模型文件
ChatGLM3的预训练模型可以从Hugging Face Hub或国内镜像站下载。由于Hugging Face Hub可能因网络问题访问较慢,你可以考虑使用ModelScope等国内镜像源。
使用Git LFS下载模型(以ChatGLM3-6B为例):
git lfs install
git clone https://huggingface.co/THUDM/chatglm3-6b
# 或者从ModelScope下载
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
将下载的模型文件放在ChatGLM3项目的适当目录下。
修改代码
根据你的需求,修改ChatGLM3项目中的web_demo.py
、cli_demo.py
或openai_api.py
等文件,设置正确的模型路径和加载方式(CPU或GPU)。例如,在web_demo.py
中,你可能需要修改以下代码行:
model = AutoModel.from_pretrained("path_to_your_model", trust_remote_code=True).cuda()
# 或者对于CPU部署
# model = AutoModel.from_pretrained("path_to_your_model", trust_remote_code=True)
启动服务
在ChatGLM3项目目录下,根据你的需求运行相应的启动脚本。例如,要启动网页版Demo,可以执行:
python web_demo.py
程序将启动一个Web服务器,并输出访问地址。在浏览器中打开该地址,即可开始与ChatGLM3进行交互。
常见问题与解决
- 模型下载慢:尝试更换下载源,如使用ModelScope等国内镜像站。
- 依赖安装失败:检查Python版本是否符合要求,尝试使用国内镜像源(如清华大学的PyPI镜像)

发表评论
登录后可评论,请前往 登录 或 注册