使用 Hugging Face CLI 高效管理模型与数据集
解决在 AI 模型开发中频繁操作 Hub 仓库的低效问题,通过 hf 命令行工具替代网页端操作,实现模型/数据集的快速同步、身份验证及远程资源管理。
为什么需要这个技能
在进行大模型微调或部署时,频繁通过浏览器上传、下载数 GB 的权重文件极其低效且不稳定。
hf CLI(原 huggingface-cli)提供了强大的终端接口,允许开发者在本地环境直接完成身份验证、仓库同步、缓存清理以及 Inference Endpoints 的部署。它不仅支持断点续传,还能通过 hf-mount 将远程仓库直接挂载为本地文件系统,极大提升了处理海量 AI 资源的效率。
适用场景
- 自动化部署:在 CI/CD 流水线中自动下载特定版本的权重文件。
- 大规模上传:将本地训练好的模型或数据集快速同步至 Hugging Face Hub。
- 环境审计:快速查看当前登录账户、缓存占用情况及 Token 权限。
- 远程管理:无需打开网页,直接通过命令行管理 Space 状态或 Inference Endpoints。
核心工作流
1. 安装与初始化
通过脚本安装 hf 工具并完成身份验证:
curl -LsSf https://hf.co/cli/install.sh -o /tmp/hf-install.sh && bash /tmp/hf-install.sh
hf auth login
2. 资源管理核心命令
- 下载与上传:
- 下载仓库:
hf download REPO_ID - 上传文件:
hf upload REPO_ID - 大文件夹断点上传:
hf upload-large-folder REPO_ID LOCAL_PATH
- 下载仓库:
- 仓库操作:
- 创建新仓库:
hf repos create REPO_ID - 分支管理:
hf repos branch create REPO_ID BRANCH
- 创建新仓库:
- 缓存维护:
- 列出缓存:
hf cache list - 清理冗余版本:
hf cache prune
- 列出缓存:
3. 高级技巧:文件系统挂载
使用 hf-mount 可以像使用本地磁盘一样访问 Hub 仓库,无需完整下载:
hf-mount start repo openai-community/gpt2 /tmp/gpt2
下载和安装
下载 hugging-face-cli 中文版 Skill ZIP
解压后将目录放入你的 AI 工具 skills 文件夹,重启工具后即可使用。具体路径参考内附的 USAGE.zh.md。
你可能还需要
暂无推荐