OpenAI Codex Appshots 能把 macOS 上当前最前面的应用窗口发送到 Codex thread,适合你正在别的 App 里操作、又需要让 Codex 看见当前界面再继续处理任务的场景。按下两个 Command 键或自定义 hotkey 即可采集;如果抓不到内容,先检查 Screen & System Audio Recording 和 Accessibility 权限,Google Docs、Gmail、Google Sheets、Google Slides 这类页面可能只拿到可见截图。
OpenAI Codex Appshots 怎么用
Appshots 可以把当前前台窗口发到 Codex thread 里,让 Codex 直接参考你正在看的界面来继续做事。它只在 macOS 的 Codex app 里可用。
Appshots 会抓取什么
Appshot 只会抓取前台窗口,不会抓取其他窗口。它可能包含:
- 当前窗口的图像。
- 该窗口里可用的文本,包括可见文本,以及应用通过可见滚动区域之外提供的文本。
把 appshot 加到 thread 后,它会像 Codex attachment 一样工作。Codex 会把 appshots 本地存进 session file,行为和你手动附加的文件或图片类似。
什么时候用 Appshots
当 Codex 需要先看到 Mac 上某个 App 的上下文,才能继续执行任务时,用 Appshots 最合适。
例如:
- 共享 API reference 页面,让 Codex 根据它写脚本。
- 共享邮件或日历视图,让 Codex 起草下一步操作。
- 共享图片编辑器、设计稿或预览窗口,让 Codex 修改相关素材或代码。
- 共享错误信息、设置面板或应用状态,这类内容往往比口头描述更直接。
怎么采集 Appshot
- 在 Mac 上打开 Codex app。
- 打开你想共享的应用和窗口。
- 同时按下两个 Command 键,或者按你在 Codex settings 里配置的自定义 hotkey。
- 如果 macOS 弹出权限请求,允许 Codex 访问。
- 然后让 Codex 基于这个 appshot 执行任务。
默认情况下,Codex 会为 appshot 新建一个 thread。若你在最近 60 秒内和某个 Codex thread 交互过,Codex 会把 appshot 加到那个最近的 thread 里。连续采集多个 appshot,会继续加到同一个 thread。
你可以在 Codex settings 里修改 Appshots hotkey。
权限与安全
Codex 可能会先请求权限,才可以采集 appshots:
- Screen & System Audio Recording:允许 Codex 捕获前台窗口的图像。
- Accessibility:允许 Codex 读取前台窗口里的可用文本。
采集 appshot 时,截图和可用文本都会发给 Codex。除非任务确实需要,尽量不要对敏感内容采集 appshot。
审核 appshot 的方式,可以和你审核共享给 Codex 的截图、文档保持一致。
限制和排查
Appshots 是 Codex app 的功能,只能在 macOS 的 Codex app 里创建。如果你在 CLI 里恢复一个已经包含 appshot 的 thread,附件会保留在 thread history 中,但 CLI 不能新建 appshot。
对于某些 App 和网站,包括 Google Docs、Gmail、Google Sheets 和 Google Slides,Codex 可能只能拿到可见截图,拿不到完整文档或屏幕外文本。如果你安装了对应的 plugin,Codex 可以通过那个 plugin 访问相关内容并继续帮助你。
如果 appshots 不生效:
- 打开 System Settings > Privacy & Security。
- 检查 Codex Computer Use 的 Screen & System Audio Recording 和 Accessibility 权限。
- 重启 Codex 再试一次。
常见问题
OpenAI Codex Appshots 可以抓取整个窗口以外的内容吗
不可以。Appshot 只抓取前台窗口,并且主要包含该窗口的可见图像和可用文本。超出可见滚动区域的内容是否能读到,取决于应用是否把这些文本提供出来。
OpenAI Codex CLI 能新建 Appshot 吗
不能。Appshots 只能在 macOS 的 Codex app 里创建;如果 CLI 恢复的 thread 里已经有 appshot,CLI 只会保留这个附件,不会新建。
Appshots 不生效怎么解决
先到 System Settings > Privacy & Security 检查 Codex Computer Use 的 Screen & System Audio Recording 和 Accessibility 权限,再重启 Codex 重新采集。对于 Google Docs、Gmail、Google Sheets、Google Slides 这类页面,Codex 可能只能收到可见截图。