Skip to content

PostHog 是开源产品分析平台,提供 LLM Analytics 功能用于追踪 AI 应用用量。通过 OpenRouter Broadcast,每次 LLM 请求都会作为 analytics 事件发送到 PostHog,包含 token 用量、费用、模型信息和自定义元数据。配置只需 PostHog Project API Key(以 phc_ 开头),支持 US 和 EU 区域 endpoint。user 字段映射到 $ai_usersession_id 映射到 $ai_session_idtrace 字段中的自定义键作为事件 properties 传入。

PostHog 是开源产品分析平台,其 LLM Analytics 功能帮助你追踪和分析 AI 应用用量。通过 OpenRouter Broadcast,每次 LLM 请求都会作为分析事件自动发送到 PostHog。

配置步骤

第一步:获取 PostHog Project API Key

  1. 登录 PostHog 账号
  2. 进入 Project Settings
  3. 复制 Project API Key(以 phc_ 开头)

第二步:在 OpenRouter 开启 Broadcast

前往 Settings > Observability,打开 Enable Broadcast 开关。

第三步:配置 PostHog

点击 PostHog 旁边的编辑图标,填写:

字段填写内容
Api KeyPostHog Project API Key(以 phc_ 开头)
Endpoint(可选)默认 https://us.i.posthog.com;EU 区域用 https://eu.i.posthog.com

第四步:测试并保存

点击 Test Connection 验证配置,测试通过后自动保存。

第五步:查看 LLM Analytics

通过 OpenRouter 发送 API 请求,在 PostHog 的 LLM Analytics 仪表盘中查看追踪数据。

元数据映射

PostHog 接收带有自定义元数据的 LLM analytics 事件,通过 trace 字段传递:

PostHog 映射说明
trace_id事件 property自定义 trace 标识符,用于关联相关事件
trace_name事件 propertytrace 的自定义名称
generation_name事件 propertyLLM 生成事件的名称

示例

json
{
  "model": "openai/gpt-4o",
  "messages": [{ "role": "user", "content": "Recommend a product..." }],
  "user": "user_12345",
  "session_id": "session_abc",
  "trace": {
    "trace_name": "Product Recommendations",
    "generation_name": "Generate Recommendation",
    "feature": "shopping-assistant",
    "ab_test_group": "variant_b"
  }
}

字段映射说明:

  • user 字段映射到 PostHog 的 $ai_user property,用于用户级 LLM 分析
  • session_id 字段映射到 $ai_session_id,用于会话分组
  • trace 中的自定义键作为 LLM analytics 事件的 properties 传入
  • PostHog LLM Analytics 仪表盘自动追踪 token 用量、费用和模型性能

Privacy Mode

当为此目的地开启 Privacy Mode 时,$ai_input$ai_output_choices properties 会从事件中排除。其他分析数据(token 用量、费用、模型信息、自定义元数据)仍正常发送。

常见问题

Q: PostHog 和 Langfuse 都有 LLM 追踪功能,应该选哪个?

A: 取决于你的主要需求。PostHog 更适合将 LLM 用量与用户行为分析结合(如 A/B 测试、漏斗分析、用户留存),是产品团队的好选择;Langfuse 专注于 LLM 调试、prompt 迭代和评估,是工程团队的好选择。两者可同时配置。

Q: 如何在 PostHog 中追踪不同 feature 的 LLM 消耗?

A: 在 trace 字段中添加 feature 或其他自定义标识字段(如 ab_test_group),PostHog 会将其作为事件 properties 存储,可在分析仪表盘中按这些字段分组或过滤。

Q: EU 数据合规问题:应该使用哪个 endpoint?

A: 如果你的用户数据需要留在欧盟(GDPR 合规),使用 EU endpoint:https://eu.i.posthog.com。PostHog EU 区域的数据存储在法兰克福(AWS eu-central-1)。