Skip to content

Arize AX 是 Arize AI 开发的评估与可观测性平台,提供 agent tracing、eval、prompt 优化等功能。通过 OpenRouter 的 Broadcast 功能,可以将每次 LLM 请求的 trace(包括 token 使用量、延迟、模型信息和自定义元数据)实时转发到 Arize AI。配置完成后,无需修改应用代码,所有通过 OpenRouter 的请求都会自动发送 trace。支持 trace_idtrace_namegeneration_nameparent_span_id 等元数据键,使用 OpenInference 语义规范。

Arize AX 是 Arize AI 开发的评估与可观测性平台,提供 agent tracing、eval、prompt 优化等工具。通过 OpenRouter Broadcast 功能,可以将 LLM 请求 trace 自动发送到 Arize,无需修改现有代码。

配置步骤

第一步:获取 Arize 凭证

在 Arize 控制台中:

  1. 登录 Arize 账号
  2. 进入 Space Settings 找到 Space Key
  3. 进入 API Keys 创建或复制 API Key
  4. 记录用于组织 trace 的 Model ID

第二步:在 OpenRouter 开启 Broadcast

前往 Settings > Observability,打开 Enable Broadcast 开关。

第三步:配置 Arize AI

点击 Arize AI 旁边的编辑图标,填写:

字段填写内容
Api KeyArize API key
Space KeyArize space key
Model Id用于在 Arize 中组织 trace 的模型标识符
Base Url(可选)默认 https://otlp.arize.com

第四步:测试并保存

点击 Test Connection 验证配置。只有测试通过后配置才会保存。

第五步:发送测试 Trace

通过 OpenRouter 发送一个 API 请求,然后在 Arize 控制台中查看 trace。

元数据映射

Arize 使用 OpenInference 语义规范进行 tracing。通过请求中的 trace 字段可以自定义元数据:

Arize 映射说明
trace_idTrace ID将多个请求归入同一个 trace
trace_nameSpan Name根 trace 的自定义名称
span_nameSpan Name层级中中间 span 的名称
generation_nameSpan NameLLM 生成 span 的名称
parent_span_idParent Span ID链接到已有 span

示例

json
{
  "model": "openai/gpt-4o",
  "messages": [{ "role": "user", "content": "Classify this text..." }],
  "user": "user_12345",
  "session_id": "session_abc",
  "trace": {
    "trace_id": "classification_pipeline_001",
    "trace_name": "Text Classification",
    "generation_name": "Classify Sentiment",
    "dataset": "customer_feedback",
    "experiment_id": "exp_v3"
  }
}

其他说明:

  • trace 中的自定义键以 metadata.* 命名空间存储为 span attributes
  • user 字段映射到 span attributes 中的用户标识
  • session_id 字段映射到会话跟踪
  • Token 用量、费用和模型参数自动作为 OpenInference 兼容属性包含

Privacy Mode

当为此目的地开启 Privacy Mode 时,prompt 和 completion 内容会从 trace 中排除。其他 trace 数据(token 用量、费用、时间、模型信息、自定义元数据)仍正常发送。

常见问题

Q: Arize 和 Langfuse 的集成有什么区别?

A: Arize 使用 OpenInference 语义规范,专注于 LLM 评估和 evals 工作流,适合需要内置 eval 功能的团队;Langfuse 更通用,适合需要自定义 tracing 和多阶段工作流的场景。两者都可以同时接入 OpenRouter Broadcast。

Q: 如何将多个 API 请求关联到同一个 trace?

A: 在所有相关请求的 trace 字段中设置相同的 trace_id 值,Arize 会将它们归入同一个 trace 视图。可以进一步用 parent_span_id 建立层级关系。

Q: Test Connection 失败怎么办?

A: 最常见原因是 API Key 或 Space Key 输入错误。检查是否有多余空格,确认 Space Key 取自 Space Settings(不是 API Keys 页面),然后重试。如仍失败,检查 Arize 账号状态是否正常。