Hugging Face预训练模型本地读取指南

在Hugging Face上下载预训练模型并本地读取，需要经过以下步骤：

1. 进入Hugging Face官网，在搜索框中输入你想要下载的预训练模型名称，例如’bert-base-chinese’。
2. 在搜索结果中找到你需要的模型，点击下载对应的文件。对于PyTorch模型，你需要下载以下文件：

• model_state.pt：包含模型的参数。
• tokenizer.pth：包含分词器的参数。
• special_tokens_map.json：包含特殊标记的映射。
• vocab.txt：包含词汇表。

1. 下载完成后，新建一个文件夹，例如命名为’bert-base-chinese’，将以上文件放入该文件夹中。
2. 上传文件夹至你的开发机器。你可以使用FTP、SFTP或共享文件夹等方式进行上传。
3. 修改读取预训练模型的代码。你需要将代码中的模型路径修改为你的本地路径。例如，如果你的本地路径是’/path/to/bert-base-chinese’，那么你需要将代码中的相关路径改为该路径。
4. 在代码中加载模型。加载模型前需要先导入必要的库和模块，例如transformers库和torch库。然后使用transformers库中的BertModel和BertTokenizer类来加载模型和分词器。例如：

   from transformers import BertModel, BertTokenizer
   tokenizer = BertTokenizer.from_pretrained('/path/to/bert-base-chinese')
   model = BertModel.from_pretrained('/path/to/bert-base-chinese')

   这里使用from_pretrained方法加载模型和分词器，该方法会自动查找模型和分词器对应的文件并进行加载。如果找到了对应的文件，则加载模型和分词器；否则会抛出异常。
5. 现在你可以使用加载的模型和分词器进行文本编码和模型推理了。
   注意事项：
6. 确保你的开发机器可以联网，以便下载预训练模型和分词器。如果无法联网，你需要先下载预训练模型和分词器，然后上传至开发机器。
7. 确保你的代码中加载模型的路径是正确的，否则会导致加载失败。
8. 如果你的开发机器上已经安装了transformers库，你可以直接使用transformers库中的BertModel和BertTokenizer类来加载模型和分词器，而无需手动下载和上传文件。只需要将代码中的模型路径修改为你的本地路径即可。
9. 如果你的开发机器上没有安装transformers库，你需要先安装该库才能使用BertModel和BertTokenizer类来加载模型和分词器。