Datadog LLM Observability 帮助开发者调查根本原因、监控运营性能，并评估 LLM 应用的质量、隐私和安全性。通过 OpenRouter Broadcast，每次 LLM 请求的 trace 会自动发送到 Datadog，无需修改应用代码。配置需要 Datadog API Key 和 ML App 名称；trace 数据以 service:{ml_app} 和 user_id:{user} 标签组织，自定义元数据通过 trace 字段以 span meta 对象形式传入，可在 Datadog LLM Observability 视图中按标签过滤和分析。

Datadog LLM Observability 是全栈监控平台，帮助开发者实时调查 LLM 应用的性能问题、监控运营指标，并评估输出质量与安全性。通过 OpenRouter Broadcast，可以将每次 API 请求的 trace 自动转发到 Datadog，与现有基础设施监控数据关联。

配置步骤

第一步：创建 Datadog API Key

1. 登录 Datadog 账号
2. 进入 Organization Settings > API Keys
3. 创建一个新的 API Key 并复制

第二步：在 OpenRouter 开启 Broadcast

前往 Settings > Observability，打开 Enable Broadcast 开关。

第三步：配置 Datadog

点击 Datadog 旁边的编辑图标，填写：

字段	填写内容
Api Key	上一步创建的 Datadog API Key
Ml App	应用名称（如 production-app），用于在 Datadog 中标识数据来源
Url（可选）	默认 https://api.us5.datadoghq.com；其他区域需修改（如 EU 用 https://api.datadoghq.eu）

第四步：测试并保存

点击 Test Connection 验证配置，测试通过后自动保存。

第五步：查看 LLM Trace

通过 OpenRouter 发送 API 请求，在 Datadog LLM Observability 视图中查看 trace 数据。

元数据映射

Datadog 使用标签（tags）组织和过滤 trace。以下标签会自动添加：

• service:{ml_app}：你配置的 ML App 名称
• user_id:{user}：来自请求 user 字段

通过 trace 字段传入的自定义元数据以 span meta 对象形式存储，可在 Datadog trace 详情中查看：

键	Datadog 映射	说明
trace_id	Trace ID	将多个请求归入同一 trace
trace_name	Span Name	根 span 的自定义名称
span_name	Span Name	中间工作流 span 的名称
generation_name	Span Name	LLM span 的名称

示例

{
  "model": "openai/gpt-4o",
  "messages": [{ "role": "user", "content": "Hello!" }],
  "user": "user_12345",
  "session_id": "session_abc",
  "trace": {
    "trace_name": "Customer Support Bot",
    "environment": "production",
    "team": "support",
    "ticket_id": "TICKET-1234"
  }
}

在 Datadog 中查看

在 Datadog LLM Observability 中：

• 按标签在 trace 列表中过滤
• 在 trace 详情面板查看自定义元数据
• 基于元数据字段创建监控器（Monitor）和仪表盘

Privacy Mode

当为此目的地开启 Privacy Mode 时，prompt 和 completion 内容会从 trace 中排除。其他 trace 数据（token 用量、费用、时间、模型信息）仍正常发送。

常见问题

Q: Datadog 的 ML App 字段有什么作用？

A: ML App 名称会映射为 Datadog 中的 service 标签，用于在 LLM Observability 视图中区分不同应用的 trace 数据。建议按环境（production/staging）或业务线命名，方便按服务过滤和设置告警。

Q: 如何区分不同 API Key 对应的 trace 数据？

A: 在 Broadcast 配置中，可为每个目的地设置 API Key 过滤，将特定 API Key 的 trace 路由到 Datadog。也可以在 trace 字段中添加 environment 等自定义元数据加以区分。

Q: Datadog 支持哪些区域的 OTLP Endpoint？

A: 默认为 US5 区域（https://api.us5.datadoghq.com）。如果你的 Datadog 账号在 EU 区域，需改为 https://api.datadoghq.eu；US1 区域用 https://api.datadoghq.com。具体可在 Datadog 文档中查看支持的区域列表。