如何将Hugging Face/Transformers的模型文件下载到本地
2024.01.08 00:02浏览量:67简介:本文将指导您将Hugging Face/Transformers的模型文件下载到本地,以便在本地进行模型训练、推理或其他相关操作。
千帆应用开发平台“智能体Pro”全新上线 限时免费体验
面向慢思考场景,支持低代码配置的方式创建“智能体Pro”应用
立即体验
Hugging Face/Transformers是一个流行的机器学习模型库,提供了大量预训练的模型供用户使用。为了在本地使用这些模型,您需要将它们下载到本地。以下是几种下载模型的方法:
方法一:直接下载
如果不嫌麻烦的话,可以直接下载单个文件或者目录里面的文件。在此之前,在本地仿照仓库新建对应层级的文件夹,将每个文件放进对应目录即可。
方法二:使用git克隆仓库
这一种方法最为简单。首先打开代理软件,然后在电脑上安装好git,然后在你想下载的位置新建一个文件夹,进入文件夹之后,点击右键然后设置代理,一行一行的复制粘贴,由于clash默认端口7890,所以设置全局代理的命令如下:
- git config —global https.proxy http://127.0.0.1:7890
- git config —global https.proxy https://127.0.0.1:7890
- git config —global http.proxy socks5://127.0.0.1:7890
- git config —global https.proxy socks5://127.0.0.1:7890
之后进入huggingface找到你要下载的模型,点击图中位置即可获取克隆链接。复制到git,静待即可。
方法三:借用Colab充当下载器
本方法基于知乎博主文章修改,由于使用原代码下载时,有时会出现错误,故将其修改并完善。关于使用方法,我已在下面的链接中将使用方法尽可能详细的说明,进入即可查看。由于Colab高达200~300MB/s的极高网速,可以十分轻松的拉取Huggingface上的代码模型文件。经过实验,我已经帮大家踩过坑了,不要直接在Colab中使
用命令将文件夹压缩。由于没有优化,测试下来8个G大小的模型文件经过压缩为5G,花费20分钟。而且由于文件过大,还不能直接下载下来。因此可以将拉取过后的文件夹整个保存到云盘,就能发挥云盘下载文件的优势了。具体方法:如果保存到谷歌云盘,进入谷歌云盘,找到刚刚保存的模型文件夹,点击下载,云盘就会将其压缩下载了。可以看见一个最大的bin模型文件被单独下载且不需要解压,其余文件被分成两部分,注意解压文件时,将其解压到同一个文件夹内。经过整理同样可以完整下载。
方法四:使用Git Large File Storage(Git LFS)
如果你的网络环境较差,下载模型参数可能会花费较长时间甚至失败。此时可以先将模型下载到本地,然后从本地加载。根据 https://docs.github.com/zh/repositories/working-with-files/managing-large-files/installing-git-large-file-storage 先安装Git LFS以chatglm-6b为例,然后运行 git clone https://huggingface.co/THUDM/chatglm-6b 参考https://github.com/THUDM/ChatGLM-6B 的README.
以上就是将Hugging Face/Transformers的模型文件下载到本地的几种方法。根据您的实际情况选择最适合您的方法,以便在本地进行模型训练、推理或其他相关操作。

发表评论
登录后可评论,请前往 登录 或 注册