从Hugging Face/Transformers下载模型到本地

作者:公子世无双2024.01.07 23:07浏览量:15

简介:介绍如何从Hugging Face/Transformers下载模型到本地的方法,包括直接下载、使用git克隆和借用Colab充当下载器等步骤。

千帆应用开发平台“智能体Pro”全新上线 限时免费体验

面向慢思考场景,支持低代码配置的方式创建“智能体Pro”应用

立即体验

Hugging Face是一个开源机器学习模型库,提供了大量预训练模型供用户下载和使用。Transformers是Hugging Face的一个子库,包含了基于Transformer架构的各种模型。如果你想从Hugging Face/Transformers下载模型到本地,有几种方法可供选择。
方法一:直接下载
如果你不嫌麻烦的话,可以直接下载单个文件或者目录里面的文件。在此之前,在本地仿照仓库新建对应层级的文件夹,将每个文件放进对应目录即可。
方法二:使用git克隆仓库
这一种方法最为简单。首先打开代理软件,然后在电脑上安装好git,然后在你想下载的位置新建一个文件夹,进入文件夹之后,点击右键设置代理,一行一行的复制粘贴,由于clash默认端口7890,设置全局代理:
git config —global https.proxy http://127.0.0.1:7890
git config —global https.proxy https://127.0.0.1:7890
git config —global http.proxy socks5://127.0.0.1:7890
git config —global https.proxy socks5://127.0.0.1:7890
之后进入huggingface找到你要下载的模型,点击图中位置即可获取克隆链接。复制到git,静待即可。
方法三:借用Colab充当下载器
本方法基于知乎博主文章修改,由于使用原代码下载时,有时会出现错误,故将其修改并完善。关于使用方法,我已在下面的链接中将使用方法尽可能详细的说明,进入即可查看使用链接。得益于colab高达200~300MB/s的极高网速,可以十分轻松的拉取huggingface上的代码模型文件。经过实验,我已经帮大家踩过坑了,不要直接在colab中使\n用命令将文件夹压缩。由于没有优化,测试下来8个G大小的模型文件经过压缩为5G,花费20分钟。而且由于文件过大,还不能直接下载下来。因此可以将拉取过后的文件夹整个保存到云盘,就能发挥云盘下载文件的优势了。具体方法:如果保存到谷歌云盘,进入谷歌云盘,找到刚刚保存的模型文件夹,点击下载,云盘就会将其压缩下载了。可以看见一个最大的bin模型文件被单独下载且不需要解压,其余文件被分成两部分,注意解压文件时,将其解压到同一个文件夹内。经过整理同样可以完整下载。
以上就是从Hugging Face/Transformers下载模型到本地的三种方法。需要注意的是,如果模型文件较大,下载可能需要较长时间。在下载过程中保持网络连接稳定并耐心等待是必要的。另外,不同的模型可能具有不同的文件结构和组织方式,具体操作时应根据模型库的文档或说明进行操作。

article bottom image

相关文章推荐

发表评论