Appearance
PostHog 是开源产品分析平台,提供 LLM Analytics 功能用于追踪 AI 应用用量。通过 OpenRouter Broadcast,每次 LLM 请求都会作为 analytics 事件发送到 PostHog,包含 token 用量、费用、模型信息和自定义元数据。配置只需 PostHog Project API Key(以 phc_ 开头),支持 US 和 EU 区域 endpoint。user 字段映射到 $ai_user,session_id 映射到 $ai_session_id,trace 字段中的自定义键作为事件 properties 传入。
PostHog 是开源产品分析平台,其 LLM Analytics 功能帮助你追踪和分析 AI 应用用量。通过 OpenRouter Broadcast,每次 LLM 请求都会作为分析事件自动发送到 PostHog。
配置步骤
第一步:获取 PostHog Project API Key
- 登录 PostHog 账号
- 进入 Project Settings
- 复制 Project API Key(以
phc_开头)
第二步:在 OpenRouter 开启 Broadcast
前往 Settings > Observability,打开 Enable Broadcast 开关。
第三步:配置 PostHog
点击 PostHog 旁边的编辑图标,填写:
| 字段 | 填写内容 |
|---|---|
| Api Key | PostHog Project API Key(以 phc_ 开头) |
| Endpoint(可选) | 默认 https://us.i.posthog.com;EU 区域用 https://eu.i.posthog.com |
第四步:测试并保存
点击 Test Connection 验证配置,测试通过后自动保存。
第五步:查看 LLM Analytics
通过 OpenRouter 发送 API 请求,在 PostHog 的 LLM Analytics 仪表盘中查看追踪数据。
元数据映射
PostHog 接收带有自定义元数据的 LLM analytics 事件,通过 trace 字段传递:
| 键 | PostHog 映射 | 说明 |
|---|---|---|
trace_id | 事件 property | 自定义 trace 标识符,用于关联相关事件 |
trace_name | 事件 property | trace 的自定义名称 |
generation_name | 事件 property | LLM 生成事件的名称 |
示例
json
{
"model": "openai/gpt-4o",
"messages": [{ "role": "user", "content": "Recommend a product..." }],
"user": "user_12345",
"session_id": "session_abc",
"trace": {
"trace_name": "Product Recommendations",
"generation_name": "Generate Recommendation",
"feature": "shopping-assistant",
"ab_test_group": "variant_b"
}
}字段映射说明:
user字段映射到 PostHog 的$ai_userproperty,用于用户级 LLM 分析session_id字段映射到$ai_session_id,用于会话分组trace中的自定义键作为 LLM analytics 事件的 properties 传入- PostHog LLM Analytics 仪表盘自动追踪 token 用量、费用和模型性能
Privacy Mode
当为此目的地开启 Privacy Mode 时,$ai_input 和 $ai_output_choices properties 会从事件中排除。其他分析数据(token 用量、费用、模型信息、自定义元数据)仍正常发送。
常见问题
Q: PostHog 和 Langfuse 都有 LLM 追踪功能,应该选哪个?
A: 取决于你的主要需求。PostHog 更适合将 LLM 用量与用户行为分析结合(如 A/B 测试、漏斗分析、用户留存),是产品团队的好选择;Langfuse 专注于 LLM 调试、prompt 迭代和评估,是工程团队的好选择。两者可同时配置。
Q: 如何在 PostHog 中追踪不同 feature 的 LLM 消耗?
A: 在 trace 字段中添加 feature 或其他自定义标识字段(如 ab_test_group),PostHog 会将其作为事件 properties 存储,可在分析仪表盘中按这些字段分组或过滤。
Q: EU 数据合规问题:应该使用哪个 endpoint?
A: 如果你的用户数据需要留在欧盟(GDPR 合规),使用 EU endpoint:https://eu.i.posthog.com。PostHog EU 区域的数据存储在法兰克福(AWS eu-central-1)。