Appearance
Arize AX 是 Arize AI 开发的评估与可观测性平台,提供 agent tracing、eval、prompt 优化等功能。通过 OpenRouter 的 Broadcast 功能,可以将每次 LLM 请求的 trace(包括 token 使用量、延迟、模型信息和自定义元数据)实时转发到 Arize AI。配置完成后,无需修改应用代码,所有通过 OpenRouter 的请求都会自动发送 trace。支持 trace_id、trace_name、generation_name、parent_span_id 等元数据键,使用 OpenInference 语义规范。
Arize AX 是 Arize AI 开发的评估与可观测性平台,提供 agent tracing、eval、prompt 优化等工具。通过 OpenRouter Broadcast 功能,可以将 LLM 请求 trace 自动发送到 Arize,无需修改现有代码。
配置步骤
第一步:获取 Arize 凭证
在 Arize 控制台中:
- 登录 Arize 账号
- 进入 Space Settings 找到 Space Key
- 进入 API Keys 创建或复制 API Key
- 记录用于组织 trace 的 Model ID
第二步:在 OpenRouter 开启 Broadcast
前往 Settings > Observability,打开 Enable Broadcast 开关。
第三步:配置 Arize AI
点击 Arize AI 旁边的编辑图标,填写:
| 字段 | 填写内容 |
|---|---|
| Api Key | Arize API key |
| Space Key | Arize space key |
| Model Id | 用于在 Arize 中组织 trace 的模型标识符 |
| Base Url(可选) | 默认 https://otlp.arize.com |
第四步:测试并保存
点击 Test Connection 验证配置。只有测试通过后配置才会保存。
第五步:发送测试 Trace
通过 OpenRouter 发送一个 API 请求,然后在 Arize 控制台中查看 trace。
元数据映射
Arize 使用 OpenInference 语义规范进行 tracing。通过请求中的 trace 字段可以自定义元数据:
| 键 | Arize 映射 | 说明 |
|---|---|---|
trace_id | Trace ID | 将多个请求归入同一个 trace |
trace_name | Span Name | 根 trace 的自定义名称 |
span_name | Span Name | 层级中中间 span 的名称 |
generation_name | Span Name | LLM 生成 span 的名称 |
parent_span_id | Parent Span ID | 链接到已有 span |
示例
json
{
"model": "openai/gpt-4o",
"messages": [{ "role": "user", "content": "Classify this text..." }],
"user": "user_12345",
"session_id": "session_abc",
"trace": {
"trace_id": "classification_pipeline_001",
"trace_name": "Text Classification",
"generation_name": "Classify Sentiment",
"dataset": "customer_feedback",
"experiment_id": "exp_v3"
}
}其他说明:
trace中的自定义键以metadata.*命名空间存储为 span attributesuser字段映射到 span attributes 中的用户标识session_id字段映射到会话跟踪- Token 用量、费用和模型参数自动作为 OpenInference 兼容属性包含
Privacy Mode
当为此目的地开启 Privacy Mode 时,prompt 和 completion 内容会从 trace 中排除。其他 trace 数据(token 用量、费用、时间、模型信息、自定义元数据)仍正常发送。
常见问题
Q: Arize 和 Langfuse 的集成有什么区别?
A: Arize 使用 OpenInference 语义规范,专注于 LLM 评估和 evals 工作流,适合需要内置 eval 功能的团队;Langfuse 更通用,适合需要自定义 tracing 和多阶段工作流的场景。两者都可以同时接入 OpenRouter Broadcast。
Q: 如何将多个 API 请求关联到同一个 trace?
A: 在所有相关请求的 trace 字段中设置相同的 trace_id 值,Arize 会将它们归入同一个 trace 视图。可以进一步用 parent_span_id 建立层级关系。
Q: Test Connection 失败怎么办?
A: 最常见原因是 API Key 或 Space Key 输入错误。检查是否有多余空格,确认 Space Key 取自 Space Settings(不是 API Keys 页面),然后重试。如仍失败,检查 Arize 账号状态是否正常。