Appearance
视频生成
video_generate 工具让 Agent 从文本提示、参考图片或视频生成视频,支持 12 种 Provider 后端,配置 API Key 后自动选择可用 Provider。
只有在至少一个视频生成 Provider 可用时,
video_generate才会出现在 Agent 工具列表中。如果看不到该工具,请设置 Provider API Key 或配置agents.defaults.videoGenerationModel。
快速开始
- 设置任意支持 Provider 的 API Key:
bash
export GEMINI_API_KEY="your-key"- 可选:指定默认模型:
bash
openclaw config set agents.defaults.videoGenerationModel.primary "google/veo-3.1-fast-generate-preview"- 告诉 Agent 生成视频:
"生成一段 5 秒的龙虾在夕阳下冲浪的电影级视频。"
Agent 自动调用 video_generate,无需手动开启工具权限。
视频生成的工作流程
视频生成是异步的:
- OpenClaw 向 Provider 提交请求,立即返回任务 ID
- Provider 在后台处理(通常需要 30 秒~5 分钟,取决于 Provider 和分辨率)
- 视频就绪后,OpenClaw 唤醒同一 Session
- Agent 在原对话中发送生成的视频
同一 Session 中重复调用 video_generate 会返回当前任务状态而非启动新任务。可用 openclaw tasks list 或 openclaw tasks show <taskId> 从 CLI 查看进度。
非 Session-backed 的直接调用(如工具直接调用),会同步执行并在同一轮返回结果。
支持的 Provider
| Provider | 默认模型 | 文生视频 | 图片参考 | 视频参考 | API Key |
|---|---|---|---|---|---|
| Alibaba | wan2.6-t2v | 是 | 是(远程 URL) | 是(远程 URL) | MODELSTUDIO_API_KEY |
| BytePlus | seedance-1-0-lite-t2v-250428 | 是 | 1 张 | 否 | BYTEPLUS_API_KEY |
| ComfyUI | workflow | 是 | 1 张 | 否 | COMFY_API_KEY |
| fal | fal-ai/minimax/video-01-live | 是 | 1 张 | 否 | FAL_KEY |
veo-3.1-fast-generate-preview | 是 | 1 张 | 1 段 | GEMINI_API_KEY | |
| MiniMax | MiniMax-Hailuo-2.3 | 是 | 1 张 | 否 | MINIMAX_API_KEY |
| OpenAI | sora-2 | 是 | 1 张 | 1 段 | OPENAI_API_KEY |
| Qwen | wan2.6-t2v | 是 | 是(远程 URL) | 是(远程 URL) | QWEN_API_KEY |
| Runway | gen4.5 | 是 | 1 张 | 1 段 | RUNWAYML_API_SECRET |
| Together | Wan-AI/Wan2.2-T2V-A14B | 是 | 1 张 | 否 | TOGETHER_API_KEY |
| Vydra | veo3 | 是 | 1 张(kling) | 否 | VYDRA_API_KEY |
| xAI | grok-imagine-video | 是 | 1 张 | 1 段 | XAI_API_KEY |
运行时查看可用 Provider:
video_generate action=list工具参数
必填:
| 参数 | 类型 | 说明 |
|---|---|---|
prompt | string | 视频描述(action: "generate" 时必填) |
内容输入:
| 参数 | 类型 | 说明 |
|---|---|---|
image | string | 单张参考图路径或 URL |
images | string[] | 多张参考图(最多 5 张) |
video | string | 单段参考视频路径或 URL |
videos | string[] | 多段参考视频(最多 4 段) |
风格控制:
| 参数 | 类型 | 说明 |
|---|---|---|
aspectRatio | string | 1:1、9:16、16:9 等 |
resolution | string | 480P、720P 或 1080P |
durationSeconds | number | 目标时长(秒,取最近支持值) |
size | string | 尺寸提示(Provider 支持时) |
audio | boolean | 开启生成音频(Provider 支持时) |
watermark | boolean | 控制水印(Provider 支持时) |
高级:
| 参数 | 类型 | 说明 |
|---|---|---|
action | string | "generate"(默认)、"status" 或 "list" |
model | string | 覆盖 Provider/模型,如 runway/gen4.5 |
filename | string | 输出文件名提示 |
不支持的参数会被忽略并产生警告;超出能力范围的硬性限制(如参考输入超数)在提交前即报错。
模型选择顺序
- 工具调用中的
model参数 videoGenerationModel.primaryvideoGenerationModel.fallbacks依次尝试- 自动检测:从当前默认 Provider 开始,按字母顺序遍历已认证 Provider
某个 Provider 失败后自动切换下一个;全部失败时返回每次尝试的详细错误。
json5
{
agents: {
defaults: {
videoGenerationModel: {
primary: "google/veo-3.1-fast-generate-preview",
fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],
},
},
},
}Provider 注意事项
| Provider | 说明 |
|---|---|
| Alibaba | 使用 DashScope 异步端点;参考图/视频必须是远程 URL |
| BytePlus | 仅支持单张参考图 |
| ComfyUI | Workflow 驱动,本地或云端;支持文生视频和图生视频 |
| fal | 队列式长任务;仅支持单张参考图 |
| 支持单张参考图或单段参考视频 | |
| MiniMax | 仅支持单张参考图 |
| OpenAI | 仅转发 size 参数;其他风格参数忽略并产生警告 |
| Qwen | 同 DashScope 后端;本地文件提前报错,参考输入须为远程 URL |
| Runway | 本地文件通过 Data URI 传入;视频转视频需指定 runway/gen4_aleph |
| Together | 仅支持单张参考图 |
| Vydra | veo3 仅文生视频;kling 需要远程图片 URL |
| xAI | 支持文生视频、图生视频和远程视频编辑/续接 |