帮助中心/最新通知

质量为本、客户为根、勇于拼搏、务实创新

< 返回文章列表

【科技前沿】Hugging Face 下载模型指南:手把手教你玩转

发表时间:2025-01-16 01:32:56 小编:主机乐-Yutio

Hugging Face 下载模型指南:手把手教你玩转

Hugging Face 已成为 NLP 和 AI 开发者的必备工具,它提供了丰富的预训练模型,帮助我们快速进行模型训练与推理。但是,如何高效地将模型下载到本地?

? 你可以选择:

  • Hugging Face CLI 下载:适合直接下载模型文件,无需写代码。
  • Python 代码下载:适合在项目中动态加载和缓存模型。
image-20250328102436369
image-20250328102436369

方法一

使用 Hugging Face CLI 下载模型

?️ 第 1 步:安装 Hugging Face CLI 工具

打开 命令行cmdPowerShell),输入以下命令进行安装:

代码语言:javascript
AI代码解释
复制
pip install huggingface_hub

说明:

  • huggingface_hub 模块包含 huggingface-cli,用于从 Hugging Face 下载模型文件。

? 第 2 步:登录 Hugging Face 账户(仅限私有模型)

如果你要下载 私有模型 或使用高权限 API 访问,需要登录 Hugging Face 账户。

代码语言:javascript
AI代码解释
复制
huggingface-cli login

获取 Access Token:

  • • 访问 Hugging Face 账户页面。
  • • 选择 New Token 并生成一个具有 Read 权限的 Token。
image-20250328103226384
image-20250328103226384
  • • 在 CLI 提示中粘贴 Token:
image-20250328103303099
image-20250328103303099

? 第 3 步:下载模型

使用 huggingface-cli download 下载模型:

代码语言:javascript
AI代码解释
复制
huggingface-cli download shibing624/text2vec-base-chinese
image-20250328105120682
image-20250328105120682

模型文件将保存在 ~/.cache/huggingface/hub 目录,windows的就是在 C:\Users\<你的用户名>\.cache\huggingface\hub 目录。

如果你希望将模型下载到自定义路径,可以使用 --cache-dir 参数:

代码语言:javascript
AI代码解释
复制
huggingface-cli download shibing624/text2vec-base-chinese --cache-dir ./my_model

方法二

通过 Python 代码下载模型

?️ 第 1 步:安装必要的依赖

在 Windows 系统上,同样需要安装 transformershuggingface_hub

代码语言:javascript
AI代码解释
复制
pip install transformers huggingface_hub

说明:

  • transformers:用于加载预训练模型。
  • huggingface_hub:提供下载和管理模型的 API。

? 第 二 步:通过 Python 下载模型

代码语言:javascript
AI代码解释
复制
from transformers import AutoModel, AutoTokenizer

# 模型名称,例如 "shibing624/text2vec-base-chinese"
model_name = "shibing624/text2vec-base-chinese"

# 下载并加载模型和分词器
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)

# 保存到自定义路径(可选)
model.save_pretrained("./my_model")
tokenizer.save_pretrained("./my_model")

说明:

  • • 模型会缓存在 C:\Users\<你的用户名>\.cache\huggingface\hub 目录下。
  • model.save_pretrained() 可将模型保存到自定义路径(如 ./my_model)。
  • Hugging Face 官方文档
  • Hugging Face CLI 快速入门

关注 公众号 神的孩子都在歌唱 可领取 几十G的 python ,java, 计算机基础,算法等学习资料

作者:神的孩子都在歌唱 转载说明:务必注明来源,附带本人博客连接


联系我们
返回顶部