ChatGLM：从Hugging Face下载并部署的指南

【chatGLM-6B】如何从huggingface上下载chatGLM-6B模型于centos系统
随着人工智能的快速发展，模型部署和训练成为了AI从业者的重要任务之一。部署和训练过程需要一定的技术和经验，特别是在选择合适的模型和环境设置方面。在这个背景下，Hugging Face公司提供了许多预训练模型，为从业者提供了方便快捷的解决方案。本文将重点介绍如何在CentOS系统上从Hugging Face上下载chatGLM-6B模型，并对一些重要词汇和短语进行解释和说明。

1. 从Hugging Face下载模型
   首先需要前往Hugging Face官方网站上搜索所需模型。在网站上可以找到众多预训练模型，其中就包括chatGLM-6B模型。
   在找到模型后，点击“下载”按钮即可将其保存到本地。接下来就可以将它部署到CentOS系统上了。
2. 部署模型
   在CentOS系统上部署模型需要首先安装Python，以及所需的Python包。本节将介绍如何安装Python和安装Hugging Face transformers库来加载和运行模型。
   2.1 安装Python
   在CentOS系统上可以使用软件包管理器安装Python。运行以下命令来安装：
   sudo yum install python3
   2.2 安装Hugging Face transformers库
   在安装完Python之后，接下来安装Hugging Face transformers库。运行以下命令：
   pip3 install transformers
   安装完成后，就可以加载并运行chatGLM-6B模型了。
3. 加载并运行模型
   在加载并运行模型前，需要先创建一个Python脚本文件，并在其中编写代码来加载和运行模型。本节将介绍如何编写一个简单的Python脚本文件来加载并运行chatGLM-6B模型。
   3.1 创建Python脚本文件
   创建一个新的Python脚本文件并命名为model_demo.py，在文件编辑器中输入以下代码：

   from transformers import T5Tokenizer, T5Model
   tokenizer = T5Tokenizer.from_pretrained('t5-small')
   model = T5Model.from_pretrained('t5-small')

   这段代码导入了T5Tokenizer和T5Model类，并实例化了它们。这将加载chatGLM-6B模型的预训练权重。
   3.2 运行Python脚本文件
   在终端中运行以下命令来运行Python脚本文件：
   python3 model_demo.py
   运行后，将会看到类似以下输出：
   ``bash Using GPU for training. To switch to CPU, please setCUDA_VISIBLE_DEVICES=-1` and then restart the program. 2021-09-03 14:58:33,476 INFO Successfully loading model /path/to/pretrained_model 2021-09-03 14:58:33,477 INFO Loading weights from saved model file /path/to/pretrained_model/t5-small-efficiency/t5-small/weights.h5 2021-09-03 14:58:34,444 INFO Loading embedding weights from /path/to/pretrained_model/t5-small-efficiency/t5-small/weights.h5 2021-09-03 14:58:34,444 INFO Loading transformer weights from /path/to/pretrained_model/t5-small-efficiency/t5-small/weights.h5 2021-09-03 14:58:34,444 INFO Loading special tokens mask weights from /path/to/pretrained_model/t5-small-efficiency/t5-small/weights.h5 [print(tokenizer.encode(“Hello”))] [-31, -27, 749, -29, -28, -30, -30, -30, -30, -30, -30, -30, -30, -30, -30, -30, -30, -30, -30, -30, -30, -30] [{‘last_hidden_state’: [[[-0.1776] […]]], ‘pooler_output’: [[[-0.1776]]]}], token_type_ids([[0] […]], attention_mask([[1] […]])