古法编程

如何在本地高效评估 Hugging Face Hub 模型

解决在本地硬件上快速验证 Hugging Face 模型性能的需求，通过一套标准化的脚本和框架（inspect-ai 与 lighteval），实现从推理后端选择到基准测试运行的完整本地闭环。

为什么需要这个技能

当你从 Hugging Face Hub 下载一个模型时，不能直接将其投入生产，需要进行本地评估。手动编写测试脚本效率低下且缺乏标准化，而直接使用远程 Job 可能会产生不必要的成本或延迟。

本技能提供了一套经过验证的本地执行方案，允许开发者根据硬件能力（如 GPU 显存）灵活选择 vLLM、Transformers 或 Accelerate 等后端，快速完成“冒烟测试”并验证模型在 MMLU、GSM8K 等经典基准数据集上的表现。

适用场景

  • 本地冒烟测试：在全量评估前，通过限制样本数快速确认模型能否正确加载并输出。
  • 后端性能对比：对比 vLLM 与原生 Transformers 在特定模型上的推理速度与显存占用。
  • 基准对齐：使用 Open LLM Leaderboard 标准的 lighteval 任务，验证模型能力是否符合预期。
  • 离线环境验证：在无法连接远程 Job 调度系统的本地 GPU 服务器上执行评估。

核心工作流

  1. 环境准备与验证：使用 uv 管理依赖，配置 HF_TOKEN 以访问受限模型，并通过 nvidia-smi 确认 GPU 状态。
  2. 选择评估框架：
    • 需要精细的任务控制和原生流程 → inspect-ai。
    • 需要跑排行榜风格的标准化任务 → lighteval。
  3. 配置推理后端：
    • 追求高吞吐量 → vllm。
    • 追求极致兼容性 → hf (Transformers) 或 accelerate。
  4. 执行冒烟测试：通过 --limit 或 --max-samples 限制样本数（如 10-20 个），确保流程跑通。
  5. 全量评估：在冒烟测试通过后，移除限制，运行完整数据集。

快速启动示例

方案 A：使用 inspect-ai 通过推理服务快速测试

uv run scripts/inspect_eval_uv.py \
  --model meta-llama/Llama-3.2-1B \
  --task mmlu \
  --limit 20

方案 B：使用 vLLM 在本地 GPU 运行 inspect-ai

uv run scripts/inspect_vllm_uv.py \
  --model meta-llama/Llama-3.2-1B \
  --task gsm8k \
  --limit 20

方案 C：使用 lighteval 运行排行榜任务

uv run scripts/lighteval_vllm_uv.py \
  --model meta-llama/Llama-3.2-3B-Instruct \
  --tasks "leaderboard|mmlu|5,leaderboard|gsm8k|5" \
  --max-samples 20 \
  --use-chat-template

下载和安装

下载 hugging-face-community-evals 中文版 Skill ZIP

解压后将目录放入你的 AI 工具 skills 文件夹，重启工具后即可使用。具体路径参考内附的 USAGE.zh.md。

你可能还需要

暂无推荐