Skip to content

OpenClaw live 测试(network-touching)用于验证模型矩阵、CLI 后端、ACP 绑定和媒体提供者是否正常工作。关键前提:必须在环境中导出所需 API 密钥;运行 pnpm test:live 前设置 OPENCLAW_LIVE_TEST=1;默认仅运行现代模型白名单,可通过环境变量覆盖。如果测试报 "no creds",先用 openclaw models list 确认 CLI 能否发现凭证。

OpenClaw live 测试模型矩阵与排查指南

对于快速启动、QA 运行器、单元/集成套件和 Docker 流程,请先阅读 Testing。本页覆盖 live(网络连通型)测试套件:模型矩阵、CLI 后端、ACP 和媒体提供者的 live 测试,以及凭证处理。

本地快速测试命令

在临时 live 检查前,先在进程环境中导出需要的 provider 密钥。

安全媒体测试:

bash
pnpm openclaw infer tts convert --local --json \
  --text "OpenClaw live smoke." \
  --output /tmp/openclaw-live-smoke.mp3

安全语音呼叫准备就绪测试:

bash
pnpm openclaw voicecall setup --json
pnpm openclaw voicecall smoke --to "+15555550123"

voicecall smoke 是空跑(dry run),除非加上 --yes。仅在你确实想发出真实通知呼叫时使用 --yes。对于 Twilio、Telnyx 和 Plivo,成功就绪检查需要公共 webhook URL;仅本地 loopback/私有回退会被拒绝。

Android 节点能力全扫描

  • 测试文件:src/gateway/android-node.capabilities.live.test.ts
  • 脚本:pnpm android:test:integration
  • 目标:调用已连接 Android 节点所声明的 每个命令,并断言命令契约行为。
  • 范围:
    • 需要前置/手动设置(测试套件不会安装/运行/配对应用)。
    • 对选定的 Android 节点逐命令验证网关 node.invoke
  • 必需的前置设置:
    • Android 应用已连接并配对到网关。
    • 应用保持在前台。
    • 已授予期望通过的 capability 所需的权限/捕获同意。
  • 可选目标覆盖:
    • OPENCLAW_ANDROID_NODE_IDOPENCLAW_ANDROID_NODE_NAME
    • OPENCLAW_ANDROID_GATEWAY_URL / OPENCLAW_ANDROID_GATEWAY_TOKEN / OPENCLAW_ANDROID_GATEWAY_PASSWORD
  • 完整 Android 设置: Android 应用

模型烟雾测试(profile keys)

Live 测试分为两层,以便隔离失败:

  • "直接模型"告诉我们该 provider/model 在给定密钥下能否正常响应。
  • "网关烟雾"告诉我们该模型的完整网关+智能体流水线(会话、历史、工具、沙箱策略等)是否工作。

第一层:直接模型补全(无网关)

  • 测试文件:src/agents/models.profiles.live.test.ts
  • 目标:
    • 枚举发现的模型
    • 使用 getApiKeyForModel 选择你有凭证的模型
    • 对每个模型运行一个小型补全(必要时包括定向回归)
  • 启用方法:
    • pnpm test:live(或直接调用 Vitest 时设置 OPENCLAW_LIVE_TEST=1
  • 设置 OPENCLAW_LIVE_MODELS=modern(或 all,modern 的别名)来实际运行此套件;否则它会跳过,以使 pnpm test:live 专注于网关烟雾
  • 如何选择模型:
    • OPENCLAW_LIVE_MODELS=modern 运行现代白名单(Opus/Sonnet 4.6+、GPT-5.2 + Codex、Gemini 3、DeepSeek V4、GLM 4.7、MiniMax M2.7、Grok 4.3)
    • OPENCLAW_LIVE_MODELS=all 是 modern 白名单的别名
    • OPENCLAW_LIVE_MODELS="openai/gpt-5.5,openai-codex/gpt-5.5,anthropic/claude-opus-4-6,..."(逗号分隔白名单)
    • modern/all 扫描默认使用精选的高信号上限;设置 OPENCLAW_LIVE_MAX_MODELS=0 进行穷举现代扫描,或设置正数来限制数量
    • 穷举扫描使用 OPENCLAW_LIVE_TEST_TIMEOUT_MS 作为整个直接模型测试的超时。默认值:60 分钟
    • 直接模型探测默认以 20 路并行度运行;设置 OPENCLAW_LIVE_MODEL_CONCURRENCY 覆盖
  • 如何选择 provider:
    • OPENCLAW_LIVE_PROVIDERS="google,google-antigravity,google-gemini-cli"(逗号分隔白名单)
  • 密钥来源:
    • 默认:profile store(智能体认证配置文件)和环境变量回退
    • 设置 OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1 强制仅使用 profile store
  • 为何存在这一层:
    • 将 "provider API 坏了 / 密钥无效" 与 "网关智能体流水线坏了" 分离
    • 包含小而隔离的回归(例如 OpenAI Responses/Codex Responses 的推理重放 + 工具调用流程)

第二层:网关 + 开发智能体烟雾(实际 @openclaw 做的事)

  • 测试文件:src/gateway/gateway-models.profiles.live.test.ts
  • 目标:
    • 启动进程内网关
    • 创建/修补一个 agent:dev:* 会话(每次运行可覆盖模型)
    • 遍历有密钥的模型并断言:
      • "有意义"的响应(无工具)
      • 真实的工具调用工作(read 探针)
      • 可选的额外工具探针(exec+read 探针)
      • OpenAI 回归路径(仅工具调用 → 后续轮次)持续工作
  • 探针细节(便于快速解释失败):
    • read 探针:测试在工作区写入一个 nonce 文件,要求智能体 read 它并回显 nonce。
    • exec+read 探针:测试要求智能体 exec 将 nonce 写入临时文件,然后 read 回来。
    • 图像探针:测试附加一个生成的 PNG(猫 + 随机代码),期望模型返回 cat <CODE>
    • 实现参考:src/gateway/gateway-models.profiles.live.test.tstest/helpers/live-image-probe.ts
  • 启用方法:
    • pnpm test:live(或 OPENCLAW_LIVE_TEST=1
  • 如何选择模型:
    • 默认:现代白名单(Opus/Sonnet 4.6+、GPT-5.2 + Codex、Gemini 3、DeepSeek V4、GLM 4.7、MiniMax M2.7、Grok 4.3)
    • OPENCLAW_LIVE_GATEWAY_MODELS=all 是现代白名单的别名
    • 或设置 OPENCLAW_LIVE_GATEWAY_MODELS="provider/model"(或逗号列表)来缩小范围
    • 现代/all 网关扫描默认使用精选的高信号上限;设置 OPENCLAW_LIVE_GATEWAY_MAX_MODELS=0 进行穷举扫描,或设置正数限制数量
  • 如何选择 provider(避免 "OpenRouter 包含一切"):
    • OPENCLAW_LIVE_GATEWAY_PROVIDERS="google,google-antigravity,google-gemini-cli,openai,anthropic,zai,minimax"(逗号分隔白名单)
  • 此 live 测试始终启用工具 + 图像探针:
    • read 探针 + exec+read 探针(工具压力测试)
    • 当模型声明支持图像输入时运行图像探针
    • 流程(高层):
      • 测试生成一个包含 "CAT" + 随机代码的小 PNG(test/helpers/live-image-probe.ts
      • 通过 agentattachments: [{ mimeType: "image/png", content: "&lt;base64&gt;" }] 发送
      • 网关将附件解析为 images[]src/gateway/server-methods/agent.ts + src/gateway/chat-attachments.ts
      • 嵌入的智能体将多模态用户消息转发给模型
      • 断言:回复包含 cat + 代码(OCR 容错:允许轻微错误)

TIP

要查看你机器上能测试什么(以及确切的 provider/model ID),运行:

bash
openclaw models list
openclaw models list --json

CLI 后端烟雾测试(Claude、Gemini 或其他本地 CLI)

  • 测试文件:src/gateway/gateway-cli-backend.live.test.ts
  • 目标:使用本地 CLI 后端验证网关+智能体流水线,不触及默认配置。
  • 后端特定烟雾默认值位于所属扩展的 cli-backend.ts 定义中。
  • 启用:
    • pnpm test:live(或 OPENCLAW_LIVE_TEST=1
    • OPENCLAW_LIVE_CLI_BACKEND=1
  • 默认值:
    • 默认 provider/model:claude-cli/claude-sonnet-4-6
    • 命令/参数/图像行为来自所属 CLI 后端插件的元数据。
  • 覆盖项(可选):
    • OPENCLAW_LIVE_CLI_BACKEND_MODEL="claude-cli/claude-sonnet-4-6"
    • OPENCLAW_LIVE_CLI_BACKEND_COMMAND="/full/path/to/claude"
    • OPENCLAW_LIVE_CLI_BACKEND_ARGS='["-p","--output-format","json"]'
    • OPENCLAW_LIVE_CLI_BACKEND_IMAGE_PROBE=1 发送真实图像附件(路径注入到提示中)。Docker 配方默认关闭,除非显式请求。
    • OPENCLAW_LIVE_CLI_BACKEND_IMAGE_ARG="--image" 将图像文件路径作为 CLI 参数传递,而非提示注入。
    • OPENCLAW_LIVE_CLI_BACKEND_IMAGE_MODE="repeat"(或 "list")控制当设置了 IMAGE_ARG 时图像参数的传递方式。
    • OPENCLAW_LIVE_CLI_BACKEND_RESUME_PROBE=1 发送第二轮并验证恢复流程。
    • OPENCLAW_LIVE_CLI_BACKEND_MODEL_SWITCH_PROBE=1 选择 Claude Sonnet → Opus 同一会话连续性探针(当所选模型支持切换目标时)。Docker 配方默认关闭以保持聚合可靠性。
    • OPENCLAW_LIVE_CLI_BACKEND_MCP_PROBE=1 选择 MCP/工具回环探针。Docker 配方默认关闭,除非显式请求。

示例:

bash
  OPENCLAW_LIVE_CLI_BACKEND=1 \
  OPENCLAW_LIVE_CLI_BACKEND_MODEL="claude-cli/claude-sonnet-4-6" \
  pnpm test:live src/gateway/gateway-cli-backend.live.test.ts

便宜的 Gemini MCP 配置烟雾:

bash
OPENCLAW_LIVE_TEST=1 \
  pnpm test:live src/agents/cli-runner/bundle-mcp.gemini.live.test.ts

这个测试不会让 Gemini 生成响应。它会写入 OpenClaw 给 Gemini 的相同系统设置,然后运行 gemini --debug mcp list 来证明保存的 transport: "streamable-http" 服务器被标准化为 Gemini 的 HTTP MCP 形状,并且可以连接到本地 streamable-HTTP MCP 服务器。

Docker 配方:

bash
pnpm test:docker:live-cli-backend

单 provider Docker 配方:

bash
pnpm test:docker:live-cli-backend:claude
pnpm test:docker:live-cli-backend:claude-subscription
pnpm test:docker:live-cli-backend:gemini

备注:

  • Docker 运行器位于 scripts/test-live-cli-backend-docker.sh
  • 它在仓库 Docker 镜像中以非 root 用户 node 运行 live CLI 后端烟雾。
  • 它从所属扩展解析 CLI 烟雾元数据,然后将匹配的 Linux CLI 包(@anthropic-ai/claude-code@google/gemini-cli)安装到可写缓存前缀 OPENCLAW_DOCKER_CLI_TOOLS_DIR(默认:~/.cache/openclaw/docker-cli-tools)。
  • pnpm test:docker:live-cli-backend:claude-subscription 需要便携式 Claude Code 订阅 OAuth,通过 ~/.claude/.credentials.json 中的 claudeAiOauth.subscriptionType 或来自 claude setup-tokenCLAUDE_CODE_OAUTH_TOKEN。它首先在 Docker 中证明直接的 claude -p,然后运行两轮网关 CLI 后端,不保留 Anthropic API 密钥环境变量。这个订阅通道默认禁用 Claude MCP/工具和图像探针,因为 Claude 目前将第三方应用使用路由到额外使用计费,而不是正常订阅计划限制。
  • live CLI 后端烟雾现在对 Claude 和 Gemini 执行相同的端到端流程:文本轮、图像分类轮,然后是通过网关 CLI 验证的 MCP cron 工具调用。
  • Claude 的默认烟雾还会将会话从 Sonnet 切换到 Opus,并验证恢复后的会话是否仍记得之前的笔记。

APNs HTTP/2 代理可达性

  • 测试文件:src/infra/push-apns-http2.live.test.ts
  • 目标:通过本地 HTTP CONNECT 代理隧道连接到 Apple 的沙箱 APNs 端点,发送 APNs HTTP/2 验证请求,并断言 Apple 的真实 403 InvalidProviderToken 响应通过代理路径返回。
  • 启用:
    • OPENCLAW_LIVE_TEST=1 OPENCLAW_LIVE_APNS_REACHABILITY=1 pnpm test:live src/infra/push-apns-http2.live.test.ts
  • 可选超时:
    • OPENCLAW_LIVE_APNS_TIMEOUT_MS=30000

ACP 绑定烟雾测试(/acp spawn ... --bind here

  • 测试文件:src/gateway/gateway-acp-bind.live.test.ts
  • 目标:使用真实的 ACP 智能体验证 ACP 对话绑定流程:
    • 发送 /acp spawn &lt;agent&gt; --bind here
    • 在原地绑定一个合成消息通道对话
    • 在同一对话上发送正常后续消息
    • 验证后续消息出现在绑定的 ACP 会话转录中
  • 启用:
    • pnpm test:live src/gateway/gateway-acp-bind.live.test.ts
    • OPENCLAW_LIVE_ACP_BIND=1
  • 默认值:
    • Docker 中的 ACP 智能体:claude,codex,gemini
    • 直接 pnpm test:live ... 的 ACP 智能体:claude
    • 合成通道:Slack DM 风格的对话上下文
    • ACP 后端:acpx
  • 覆盖项:
    • OPENCLAW_LIVE_ACP_BIND_AGENT=claude
    • OPENCLAW_LIVE_ACP_BIND_AGENT=codex
    • OPENCLAW_LIVE_ACP_BIND_AGENT=droid
    • OPENCLAW_LIVE_ACP_BIND_AGENT=gemini
    • OPENCLAW_LIVE_ACP_BIND_AGENT=opencode
    • OPENCLAW_LIVE_ACP_BIND_AGENTS=claude,codex,gemini
    • OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND='npx -y @agentclientprotocol/claude-agent-acp@&lt;version&gt;'
    • OPENCLAW_LIVE_ACP_BIND_CODEX_MODEL=gpt-5.5
    • OPENCLAW_LIVE_ACP_BIND_OPENCODE_MODEL=opencode/kimi-k2.6
    • OPENCLAW_LIVE_ACP_BIND_REQUIRE_TRANSCRIPT=1
    • OPENCLAW_LIVE_ACP_BIND_REQUIRE_CRON=1
    • OPENCLAW_LIVE_ACP_BIND_PARENT_MODEL=openai/gpt-5.5
  • 备注:
    • 此通道使用网关 chat.send 接口,并附加仅管理员可用的合成来源路由字段,以便测试可以附加消息通道上下文而不假装往外部投递。
    • OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND 未设置时,测试使用嵌入的 acpx 插件的内置智能体注册表来选取选定的 ACP harness 智能体。
    • 绑定会话的 cron MCP 创建默认是尽力而为的,因为外部 ACP harness 可能在绑定/图像证明通过后取消 MCP 调用;设置 OPENCLAW_LIVE_ACP_BIND_REQUIRE_CRON=1 使该绑后 cron 探针变为严格。

示例:

bash
OPENCLAW_LIVE_ACP_BIND=1 \
  OPENCLAW_LIVE_ACP_BIND_AGENT=claude \
  pnpm test:live src/gateway/gateway-acp-bind.live.test.ts

Docker 配方:

bash
pnpm test:docker:live-acp-bind

单智能体 Docker 配方:

bash
pnpm test:docker:live-acp-bind:claude
pnpm test:docker:live-acp-bind:codex
pnpm test:docker:live-acp-bind:droid
pnpm test:docker:live-acp-bind:gemini
pnpm test:docker:live-acp-bind:opencode

Docker 备注:

  • Docker 运行器位于 scripts/test-live-acp-bind-docker.sh
  • 默认情况下,它按顺序针对聚合的 live CLI 智能体运行 ACP 绑定烟雾:claudecodex、然后 gemini
  • 使用 OPENCLAW_LIVE_ACP_BIND_AGENTS=claudeOPENCLAW_LIVE_ACP_BIND_AGENTS=codexOPENCLAW_LIVE_ACP_BIND_AGENTS=droidOPENCLAW_LIVE_ACP_BIND_AGENTS=geminiOPENCLAW_LIVE_ACP_BIND_AGENTS=opencode 来缩小矩阵。
  • 它将匹配的 CLI 认证材料放入容器,然后安装请求的 live CLI(如果缺少的话):@anthropic-ai/claude-code@openai/codex、Factory Droid(通过 https://app.factory.ai/cli)、@google/gemini-cliopencode-ai。ACP 后端本身是来自官方 acpx 插件的嵌入 acpx/runtime 包。
  • Droid Docker 变体准备 ~/.factory 用于设置,传递 FACTORY_API_KEY,并且需要该 API 密钥,因为本地 Factory OAuth/密钥链认证无法移植到容器中。它使用 ACPX 内置的 droid exec --output-format acp 注册表条目。
  • OpenCode Docker 变体是一个严格的单智能体回归通道。它从 OPENCLAW_LIVE_ACP_BIND_OPENCODE_MODEL(默认 opencode/kimi-k2.6)写入临时 OPENCODE_CONFIG_CONTENT 默认模型,并且 pnpm test:docker:live-acp-bind:opencode 需要绑定的助手转录,而不是接受通用的绑后跳过。
  • 直接的 acpx CLI 调用仅是手动/备用路径,用于在网关外部比较行为。Docker ACP 绑定烟雾实际使用 OpenClaw 嵌入的 acpx 运行时后端。

Codex 应用服务器 harness 烟雾测试

  • 目标:通过正常的网关 agent 方法验证插件拥有的 Codex harness:
    • 加载捆绑的 codex 插件
    • 选择 openai/gpt-5.5,默认情况下该模型通过 Codex 路由 OpenAI 智能体轮次
    • openai/gpt-5.5 发送第一个网关智能体轮次,并选择 Codex harness
    • 向同一个 OpenClaw 会话发送第二轮,验证应用服务器线程可以恢复
    • 通过相同的网关命令路径运行 /codex status/codex models
    • 可选地运行两个 Guardian 审查的升级 shell 探针:一个应被允许的良性命令和一个应被拒绝的假秘密上传,以便智能体追问
  • 测试文件:src/gateway/gateway-codex-harness.live.test.ts
  • 启用:OPENCLAW_LIVE_CODEX_HARNESS=1
  • 默认模型:openai/gpt-5.5
  • 可选图像探针:OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=1
  • 可选 MCP/工具探针:OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=1
  • 可选 Guardian 探针:OPENCLAW_LIVE_CODEX_HARNESS_GUARDIAN_PROBE=1
  • 该烟雾强制 provider/model 的 agentRuntime.id: "codex",因此损坏的 Codex harness 无法通过静默回退到 PI 来通过。
  • 认证:来自本地 Codex 订阅登录的 Codex 应用服务器认证。Docker 烟雾还可以在适用时提供 OPENAI_API_KEY 用于非 Codex 探针,以及可选的复制 ~/.codex/auth.json~/.codex/config.toml

本地配方:

bash
OPENCLAW_LIVE_CODEX_HARNESS=1 \
  OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=1 \
  OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=1 \
  OPENCLAW_LIVE_CODEX_HARNESS_GUARDIAN_PROBE=1 \
  OPENCLAW_LIVE_CODEX_HARNESS_MODEL=openai/gpt-5.5 \
  pnpm test:live -- src/gateway/gateway-codex-harness.live.test.ts

Docker 配方:

bash
pnpm test:docker:live-codex-harness

Docker 备注:

  • Docker 运行器位于 scripts/test-live-codex-harness-docker.sh
  • 它传递 OPENAI_API_KEY,在存在时复制 Codex CLI 认证文件,将 @openai/codex 安装到可写挂载的 npm 前缀,准备源代码树,然后只运行 Codex-harness live 测试。
  • Docker 默认启用图像、MCP/工具和 Guardian 探针。当你需要更窄的调试运行时,设置 OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=0OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=0OPENCLAW_LIVE_CODEX_HARNESS_GUARDIAN_PROBE=0
  • Docker 使用同样的显式 Codex 运行时配置,因此遗留别名或 PI 回退无法隐藏 Codex harness 回归。

推荐的 live 配方

窄、显式的白名单最快且最不易波动:

  • 单模型,直接(无网关):

    • OPENCLAW_LIVE_MODELS="openai/gpt-5.5" pnpm test:live src/agents/models.profiles.live.test.ts
  • 单模型,网关烟雾:

    • OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.5" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts
  • 跨多个 provider 的工具调用:

    • OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.5,openai-codex/gpt-5.5,anthropic/claude-opus-4-6,google/gemini-3-flash-preview,deepseek/deepseek-v4-flash,zai/glm-5.1,minimax/MiniMax-M2.7" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts
  • Google 焦点(Gemini API 密钥 + Antigravity):

    • Gemini(API 密钥):OPENCLAW_LIVE_GATEWAY_MODELS="google/gemini-3-flash-preview" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts
    • Antigravity(OAuth):OPENCLAW_LIVE_GATEWAY_MODELS="google-antigravity/claude-opus-4-6-thinking,google-antigravity/gemini-3-pro-high" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts
  • Google 自适应思考烟雾:

    • Gemini 3 动态默认:pnpm openclaw qa manual --provider-mode live-frontier --model google/gemini-3.1-pro-preview --alt-model google/gemini-3.1-pro-preview --message '/think adaptive Reply exactly: GEMINI_ADAPTIVE_OK' --timeout-ms 180000
    • Gemini 2.5 动态预算:pnpm openclaw qa manual --provider-mode live-frontier --model google/gemini-2.5-flash --alt-model google/gemini-2.5-flash --message '/think adaptive Reply exactly: GEMINI25_ADAPTIVE_OK' --timeout-ms 180000

备注:

  • google/... 使用 Gemini API(API 密钥)。
  • google-antigravity/... 使用 Antigravity OAuth 桥(Cloud Code Assist 风格的智能体端点)。
  • google-gemini-cli/... 使用你机器上的本地 Gemini CLI(单独的认证和工具怪癖)。
  • Gemini API vs Gemini CLI:
    • API:OpenClaw 通过 HTTP 调用 Google 托管的 Gemini API(API 密钥 / profile 认证);这是大多数用户所说的 "Gemini"。
    • CLI:OpenClaw 派生到本地 gemini 二进制文件;它有自己的一套认证,行为可能不同(流式/工具支持/版本偏差)。

模型矩阵(覆盖范围)

没有固定的 "CI 模型列表"(live 是 opt-in),但以下是 推荐 在带有密钥的开发机器上定期覆盖的模型。

现代烟雾集(工具调用 + 图像)

这是预期的 "常用模型" 运行:

  • OpenAI(非 Codex):openai/gpt-5.5
  • OpenAI Codex OAuth:openai-codex/gpt-5.5
  • Anthropic:anthropic/claude-opus-4-6(或 anthropic/claude-sonnet-4-6
  • Google(Gemini API):google/gemini-3.1-pro-previewgoogle/gemini-3-flash-preview(避免较老的 Gemini 2.x 模型)
  • Google(Antigravity):google-antigravity/claude-opus-4-6-thinkinggoogle-antigravity/gemini-3-flash
  • DeepSeek:deepseek/deepseek-v4-flashdeepseek/deepseek-v4-pro
  • Z.AI(GLM):zai/glm-5.1
  • MiniMax:minimax/MiniMax-M2.7

运行带工具和图像的网关烟雾: OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.5,openai-codex/gpt-5.5,anthropic/claude-opus-4-6,google/gemini-3.1-pro-preview,google/gemini-3-flash-preview,google-antigravity/claude-opus-4-6-thinking,google-antigravity/gemini-3-flash,deepseek/deepseek-v4-flash,zai/glm-5.1,minimax/MiniMax-M2.7" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts

基线:工具调用(Read + 可选 Exec)

每个 provider 系列至少选一个:

  • OpenAI:openai/gpt-5.5
  • Anthropic:anthropic/claude-opus-4-6(或 anthropic/claude-sonnet-4-6
  • Google:google/gemini-3-flash-preview(或 google/gemini-3.1-pro-preview
  • DeepSeek:deepseek/deepseek-v4-flash
  • Z.AI(GLM):zai/glm-5.1
  • MiniMax:minimax/MiniMax-M2.7

可选额外覆盖(有更好):

  • xAI:xai/grok-4.3(或最新可用)
  • Mistral:mistral/…(选一个你已启用的支持 "tools" 的模型)
  • Cerebras:cerebras/…(如果你有访问权限)
  • LM Studio:lmstudio/…(本地;工具调用取决于 API 模式)

视觉:图像发送(附件 → 多模态消息)

OPENCLAW_LIVE_GATEWAY_MODELS 中至少包含一个支持图像的模型(Claude/Gemini/OpenAI 的 vision 能力变体等),以执行图像探针。

聚合器 / 替代网关

如果你有启用密钥,我们也支持通过以下方式测试:

  • OpenRouter:openrouter/...(数百个模型;使用 openclaw models scan 找到支持工具+图像的候选)
  • OpenCode:opencode/... 用于 Zen,opencode-go/... 用于 Go(通过 OPENCODE_API_KEY / OPENCODE_ZEN_API_KEY 认证)

你可以包含在 live 矩阵中的更多 provider(如果你有凭证/配置):

  • 内置:openaiopenai-codexanthropicgooglegoogle-vertexgoogle-antigravitygoogle-gemini-clizaiopenrouteropencodeopencode-goxaigroqcerebrasmistralgithub-copilot
  • 通过 models.providers(自定义端点):minimax(云/API),加上任何兼容 OpenAI/Anthropic 的代理(LM Studio、vLLM、LiteLLM 等)

TIP

不要在文档中硬编码 "all models"。权威列表是你机器上 discoverModels(...) 返回的内容加上可用的密钥。

凭证(切勿提交)

Live 测试发现凭证的方式与 CLI 相同。实际影响:

  • 如果 CLI 工作,live 测试应能找到相同的密钥。

  • 如果 live 测试说 "no creds",用调试 openclaw models list / 模型选择相同的方式来调试。

  • 每个智能体的认证 profile:~/.openclaw/agents/<agentId>/agent/auth-profiles.json(这就是 live 测试中 "profile keys" 所指的)

  • 配置:~/.openclaw/openclaw.json(或 OPENCLAW_CONFIG_PATH

  • 遗留状态目录:~/.openclaw/credentials/(在存在时会被复制到临时的 live home 目录中,但不是主要的 profile-key 存储)

  • Live 本地运行默认将活跃配置、每个智能体的 auth-profiles.json 文件、遗留的 credentials/ 和支持的外部 CLI 认证目录复制到临时测试 home;暂存的 live home 会跳过 workspace/sandboxes/,并移除 agents.*.workspace / agentDir 路径覆盖,使探针保持在你真实主机工作区之外。

如果你想依赖环境密钥,在本地测试前导出它们,或使用下面的 Docker 运行器并显式提供 OPENCLAW_PROFILE_FILE

Deepgram 实时音频转写

  • 测试文件:extensions/deepgram/audio.live.test.ts
  • 启用:DEEPGRAM_API_KEY=... DEEPGRAM_LIVE_TEST=1 pnpm test:live extensions/deepgram/audio.live.test.ts

BytePlus 编码计划实时测试

  • 测试文件:extensions/byteplus/live.test.ts
  • 启用:BYTEPLUS_API_KEY=... BYTEPLUS_LIVE_TEST=1 pnpm test:live extensions/byteplus/live.test.ts
  • 可选模型覆盖:BYTEPLUS_CODING_MODEL=ark-code-latest

ComfyUI 工作流媒体实时测试

  • 测试文件:extensions/comfy/comfy.live.test.ts
  • 启用:OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts
  • 范围:
    • 执行捆绑的 comfy 图像、视频和 music_generate 路径
    • 除非配置了 plugins.entries.comfy.config.&lt;capability&gt;,否则跳过每个能力
    • 在更改 comfy 工作流提交、轮询、下载或插件注册后特别有用

图像生成实时测试

  • 测试文件:test/image-generation.runtime.live.test.ts
  • 命令:pnpm test:live test/image-generation.runtime.live.test.ts
  • 运行器:pnpm test:live:media image
  • 范围:
    • 枚举每个已注册的图像生成 provider 插件
    • 在探测前使用已导出的 provider 环境变量
    • 默认优先使用 live/env API 密钥而非存储的认证 profile,因此 auth-profiles.json 中的过期测试密钥不会掩盖真实的 shell 凭据
    • 跳过没有可用认证/profile/模型的 provider
    • 对每个配置的 provider 运行共享的图像生成运行时:
      • &lt;provider&gt;:generate
      • &lt;provider&gt;:edit(当 provider 声明支持 edit 时)
  • 当前覆盖的内置 provider:
    • deepinfra
    • fal
    • google
    • minimax
    • openai
    • openrouter
    • vydra
    • xai
  • 可选缩小:
    • OPENCLAW_LIVE_IMAGE_GENERATION_PROVIDERS="openai,google,openrouter,xai"
    • OPENCLAW_LIVE_IMAGE_GENERATION_PROVIDERS="deepinfra"
    • OPENCLAW_LIVE_IMAGE_GENERATION_MODELS="openai/gpt-image-2,google/gemini-3.1-flash-image-preview,openrouter/google/gemini-3.1-flash-image-preview,xai/grok-imagine-image"
    • OPENCLAW_LIVE_IMAGE_GENERATION_CASES="google:flash-generate,google:pro-edit,openrouter:generate,xai:default-generate,xai:default-edit"
  • 可选认证行为:
    • OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1 强制使用 profile-store 认证,忽略仅环境变量的覆盖

对于发布的 CLI 路径,在 provider/runtime live 测试通过后,添加一个 infer 烟雾:

bash
OPENCLAW_LIVE_TEST=1 OPENCLAW_LIVE_INFER_CLI_TEST=1 pnpm test:live -- test/image-generation.infer-cli.live.test.ts
openclaw infer image providers --json
openclaw infer image generate \
  --model google/gemini-3.1-flash-image-preview \
  --prompt "Minimal flat test image: one blue square on a white background, no text." \
  --output ./openclaw-infer-image-smoke.png \
  --json

这涵盖了 CLI 参数解析、配置/默认智能体解析、捆绑插件激活、共享图像生成运行时和实时 provider 请求。插件依赖项需要在运行时加载前存在。

音乐生成实时测试

  • 测试文件:extensions/music-generation-providers.live.test.ts
  • 启用:OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts
  • 运行器:pnpm test:live:media music
  • 范围:
    • 执行共享的捆绑音乐生成 provider 路径
    • 当前覆盖 Google 和 MiniMax
    • 在探测前使用已导出的 provider 环境变量
    • 默认优先使用 live/env API 密钥而非存储的认证 profile,因此 auth-profiles.json 中的过期测试密钥不会掩盖真实的 shell 凭据
    • 跳过没有可用认证/profile/模型的 provider
    • 在可用时运行两种声明的运行时模式:
      • generate 仅使用提示输入
      • edit(当 provider 声明 capabilities.edit.enabled 时)
    • 当前共享通道覆盖:
      • googlegenerateedit
      • minimaxgenerate
      • comfy:单独的 Comfy live 文件,不在此共享扫描中
  • 可选缩小:
    • OPENCLAW_LIVE_MUSIC_GENERATION_PROVIDERS="google,minimax"
    • OPENCLAW_LIVE_MUSIC_GENERATION_MODELS="google/lyria-3-clip-preview,minimax/music-2.6"
  • 可选认证行为:
    • OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1 强制使用 profile-store 认证,忽略仅环境变量的覆盖

视频生成实时测试

  • 测试文件:extensions/video-generation-providers.live.test.ts
  • 启用:OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts
  • 运行器:pnpm test:live:media video
  • 范围:
    • 执行共享的捆绑视频生成 provider 路径
    • 默认使用发布安全烟雾路径:非 FAL provider,每个 provider 一个文生视频请求,一秒钟龙虾提示,以及来自 OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS(默认 180000)的每个 provider 操作上限
    • 默认跳过 FAL,因为 provider 端队列延迟可能主导发布耗时;传递 --video-providers falOPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="fal" 来显式运行它
    • 在探测前使用已导出的 provider 环境变量
    • 默认优先使用 live/env API 密钥而非存储的认证 profile,因此 auth-profiles.json 中的过期测试密钥不会掩盖真实的 shell 凭据
    • 跳过没有可用认证/profile/模型的 provider
    • 默认只运行 generate
    • 设置 OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 也运行声明的转换模式(当可用时):
      • imageToVideo(当 provider 声明 capabilities.imageToVideo.enabled 并且所选 provider/model 在共享扫描中接受缓冲区支持的本地图像输入时)
      • videoToVideo(当 provider 声明 capabilities.videoToVideo.enabled 并且所选 provider/model 在共享扫描中接受缓冲区支持的本地视频输入时)
    • 当前共享扫描中声明但跳过的 imageToVideo provider:
      • vydra,因为捆绑的 veo3 仅支持文本,而捆绑的 kling 需要远程图像 URL
    • provider 特定的 Vydra 覆盖:
      • OPENCLAW_LIVE_TEST=1 OPENCLAW_LIVE_VYDRA_VIDEO=1 pnpm test:live -- extensions/vydra/vydra.live.test.ts
      • 该文件运行 veo3 文生视频,加上默认使用远程图像 URL 夹具的 kling 通道
    • 当前 videoToVideo live 覆盖:
      • runway 仅当所选模型为 runway/gen4_aleph
    • 当前共享扫描中声明但跳过的 videoToVideo provider:
      • alibabaqwenxai,因为那些路径当前需要远程 http(s) / MP4 引用 URL
      • google,因为当前共享的 Gemini/Veo 通道使用本地缓冲区支持的输入,而该路径在共享扫描中不被接受
      • openai,因为当前共享通道缺乏组织特定的视频 inpaint/remix 访问保证
  • 可选缩小:
    • OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="deepinfra,google,openai,runway"
    • OPENCLAW_LIVE_VIDEO_GENERATION_MODELS="google/veo-3.1-fast-generate-preview,openai/sora-2,runway/gen4_aleph"
    • OPENCLAW_LIVE_VIDEO_GENERATION_SKIP_PROVIDERS="" 以包括默认扫描中的每个 provider,包括 FAL
    • OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS=60000 以减少每个 provider 操作上限,用于快速烟雾运行
  • 可选认证行为:
    • OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1 强制使用 profile-store 认证,忽略仅环境变量的覆盖

媒体 live 运行器

  • 命令:pnpm test:live:media
  • 目的:
    • 通过一个仓库原生入口点运行共享的图像、音乐和视频 live 套件
    • 使用已导出的 provider 环境变量
    • 默认自动将每个套件缩小到当前有可用认证的 provider
    • 复用 scripts/test-live.mjs,因此心跳和安静模式行为保持一致
  • 示例:
    • pnpm test:live:media
    • pnpm test:live:media image video --providers openai,google,minimax
    • pnpm test:live:media video --video-providers openai,runway --all-providers
    • pnpm test:live:media music --quiet

相关

  • 测试 - 单元、集成、QA 和 Docker 套件

常见问题

OpenClaw live 测试一直报 "no creds" 怎么办?

先用 openclaw models list 确认 CLI 能否发现你的密钥。如果不能,检查 ~/.openclaw/agents/<agentId>/agent/auth-profiles.json 是否存在且包含有效凭证,或者是否已导出正确的环境变量。live 测试发现凭证的方式与 CLI 相同,因此如果 CLI 没找到,测试也没找到。

如何只测试单个模型而不是全量扫描?

设置环境变量缩小范围。例如直接模型测试:OPENCLAW_LIVE_MODELS="openai/gpt-5.5" pnpm test:live src/agents/models.profiles.live.test.ts。网关烟雾同理:OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.5" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts

Docker 下的 CLI 后端测试需要什么凭证?

Docker 运行器会自动将主机的 CLI 认证材料复制到容器中,但你需要确保对应的 CLI 包已安装且认证有效。对于 claude-subscription 变体,还需要 CLAUDE_CODE_OAUTH_TOKEN~/.claude/.credentials.json。运行 pnpm test:docker:live-cli-backend:claude-subscription 前,先用 claude -p 验证本地 CLI 能否工作。