Skip to content

视频生成

video_generate 工具让 Agent 从文本提示、参考图片或视频生成视频,支持 12 种 Provider 后端,配置 API Key 后自动选择可用 Provider。

只有在至少一个视频生成 Provider 可用时,video_generate 才会出现在 Agent 工具列表中。如果看不到该工具,请设置 Provider API Key 或配置 agents.defaults.videoGenerationModel

快速开始

  1. 设置任意支持 Provider 的 API Key:
bash
export GEMINI_API_KEY="your-key"
  1. 可选:指定默认模型:
bash
openclaw config set agents.defaults.videoGenerationModel.primary "google/veo-3.1-fast-generate-preview"
  1. 告诉 Agent 生成视频:

"生成一段 5 秒的龙虾在夕阳下冲浪的电影级视频。"

Agent 自动调用 video_generate,无需手动开启工具权限。

视频生成的工作流程

视频生成是异步的:

  1. OpenClaw 向 Provider 提交请求,立即返回任务 ID
  2. Provider 在后台处理(通常需要 30 秒~5 分钟,取决于 Provider 和分辨率)
  3. 视频就绪后,OpenClaw 唤醒同一 Session
  4. Agent 在原对话中发送生成的视频

同一 Session 中重复调用 video_generate 会返回当前任务状态而非启动新任务。可用 openclaw tasks listopenclaw tasks show <taskId> 从 CLI 查看进度。

非 Session-backed 的直接调用(如工具直接调用),会同步执行并在同一轮返回结果。

支持的 Provider

Provider默认模型文生视频图片参考视频参考API Key
Alibabawan2.6-t2v是(远程 URL)是(远程 URL)MODELSTUDIO_API_KEY
BytePlusseedance-1-0-lite-t2v-2504281 张BYTEPLUS_API_KEY
ComfyUIworkflow1 张COMFY_API_KEY
falfal-ai/minimax/video-01-live1 张FAL_KEY
Googleveo-3.1-fast-generate-preview1 张1 段GEMINI_API_KEY
MiniMaxMiniMax-Hailuo-2.31 张MINIMAX_API_KEY
OpenAIsora-21 张1 段OPENAI_API_KEY
Qwenwan2.6-t2v是(远程 URL)是(远程 URL)QWEN_API_KEY
Runwaygen4.51 张1 段RUNWAYML_API_SECRET
TogetherWan-AI/Wan2.2-T2V-A14B1 张TOGETHER_API_KEY
Vydraveo31 张(klingVYDRA_API_KEY
xAIgrok-imagine-video1 张1 段XAI_API_KEY

运行时查看可用 Provider:

video_generate action=list

工具参数

必填:

参数类型说明
promptstring视频描述(action: "generate" 时必填)

内容输入:

参数类型说明
imagestring单张参考图路径或 URL
imagesstring[]多张参考图(最多 5 张)
videostring单段参考视频路径或 URL
videosstring[]多段参考视频(最多 4 段)

风格控制:

参数类型说明
aspectRatiostring1:19:1616:9
resolutionstring480P720P1080P
durationSecondsnumber目标时长(秒,取最近支持值)
sizestring尺寸提示(Provider 支持时)
audioboolean开启生成音频(Provider 支持时)
watermarkboolean控制水印(Provider 支持时)

高级:

参数类型说明
actionstring"generate"(默认)、"status""list"
modelstring覆盖 Provider/模型,如 runway/gen4.5
filenamestring输出文件名提示

不支持的参数会被忽略并产生警告;超出能力范围的硬性限制(如参考输入超数)在提交前即报错。

模型选择顺序

  1. 工具调用中的 model 参数
  2. videoGenerationModel.primary
  3. videoGenerationModel.fallbacks 依次尝试
  4. 自动检测:从当前默认 Provider 开始,按字母顺序遍历已认证 Provider

某个 Provider 失败后自动切换下一个;全部失败时返回每次尝试的详细错误。

json5
{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "google/veo-3.1-fast-generate-preview",
        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],
      },
    },
  },
}

Provider 注意事项

Provider说明
Alibaba使用 DashScope 异步端点;参考图/视频必须是远程 URL
BytePlus仅支持单张参考图
ComfyUIWorkflow 驱动,本地或云端;支持文生视频和图生视频
fal队列式长任务;仅支持单张参考图
Google支持单张参考图或单段参考视频
MiniMax仅支持单张参考图
OpenAI仅转发 size 参数;其他风格参数忽略并产生警告
Qwen同 DashScope 后端;本地文件提前报错,参考输入须为远程 URL
Runway本地文件通过 Data URI 传入;视频转视频需指定 runway/gen4_aleph
Together仅支持单张参考图
Vydraveo3 仅文生视频;kling 需要远程图片 URL
xAI支持文生视频、图生视频和远程视频编辑/续接

延伸阅读