Appearance
W&B Weave 是 Weights & Biases 旗下的 LLM 可观测性平台，专为 AI 应用的追踪和评估设计，与 W&B 的实验管理（Experiments）、数据集（Datasets）和评估（Evaluations）工具深度集成。通过 OpenRouter Broadcast，每次 LLM 请求的 trace 自动发送到 Weave，数据以三层结构组织：Attributes（用户 ID、自定义元数据等）、Inputs（请求消息、模型参数）和 Summary（token 用量、费用、延迟）。配置需要 W&B API Key、Entity（用户名或团队名）和 Project 名称。
Weights & Biases Weave 是 W&B 的 LLM 可观测性平台，帮助开发者追踪、评估和分析 AI 应用。通过 OpenRouter Broadcast，可将 LLM trace 与 W&B 现有的实验追踪和评估工具统一管理。
配置步骤
第一步：获取 W&B API Key
- 登录 W&B 账号
- 进入 User Settings
- 复制 API Key
第二步：在 OpenRouter 开启 Broadcast
前往 Settings > Observability，打开 Enable Broadcast 开关。
第三步：配置 W&B Weave
点击 W&B Weave 旁边的编辑图标，填写：
| 字段 | 填写内容 |
|---|---|
| Api Key | W&B API Key |
| Entity | W&B 用户名或团队名 |
| Project | 记录 trace 的项目名称 |
| Base Url（可选） | 默认 https://trace.wandb.ai；企业私有部署时修改 |
第四步：测试并保存
点击 Test Connection 验证配置，测试通过后自动保存。
第五步：查看 Trace
通过 OpenRouter 发送 API 请求，在 W&B Weave 中查看 trace 数据。
Trace 数据结构
Weave 将每条 trace 组织为三个层次：
| 层次 | 内容 |
|---|---|
| Attributes | 用户 ID、组织 ID、trace 标识符、自定义元数据 |
| Inputs | 实际请求数据：消息内容、模型参数（temperature、max_tokens 等） |
| Summary | Token 用量、费用、延迟指标 |
元数据映射
| 键 | Weave 映射 | 说明 |
|---|---|---|
trace_id | openrouter_trace_id attribute | 自定义 trace 标识符，存入 attributes |
trace_name | op_name | 在 Weave 调用列表中显示的操作名称 |
generation_name | op_name | LLM 调用的名称 |
其他映射：
user→user_id（attributes）session_id→session_id（attributes）trace中的自定义键 → 合并入调用的 attributes
示例：创意写作 Agent
json
{
"model": "openai/gpt-4o",
"messages": [{ "role": "user", "content": "Write a poem about AI..." }],
"user": "user_12345",
"session_id": "session_abc",
"trace": {
"trace_name": "Creative Writing Agent",
"prompt_template": "poem_v2",
"experiment_name": "creative_benchmark",
"dataset_version": "1.0.0"
}
}Privacy Mode
当为此目的地开启 Privacy Mode 时，prompt 和 completion 内容会从 trace 中排除。其他 trace 数据（token 用量、费用、时间、模型信息）仍正常发送。
常见问题
Q: W&B Weave 和 Langfuse 的定位差异是什么？
A: W&B Weave 与 W&B 的 ML 实验平台深度集成，适合同时做模型训练实验和 LLM 应用评估的团队，可将两者的数据统一在同一工作空间。Langfuse 则是独立的 LLM 工程平台，社区更活跃，更专注于 prompt 迭代和生产环境 trace 分析，不依赖 W&B 生态。
Q: Weave 的 Entity 填什么？
A: Entity 是你在 W&B 中的用户名或团队（Organization）名。个人账号填你的 W&B 用户名；团队账号填团队名称（在 W&B 仪表盘左上角的下拉菜单中可以查看）。
Q: 如何在 Weave 中按 experiment 分组查看 LLM 调用？
A: 在 trace 字段中传入 experiment_name 或其他自定义元数据，Weave 会将这些字段存入调用的 attributes，可在 Weave 界面中按 attribute 值过滤调用记录，实现按实验分组查看。