OpenAI Codex 的 Computer Use 适合需要操作 macOS 图形界面的任务,比如检查桌面应用、使用浏览器、改应用设置、复现只在 GUI 里出现的 bug。先在 Codex 设置里安装 Computer Use 插件,再按 macOS 提示授予 Screen Recording 和 Accessibility 权限;如果看不到或控不住应用,就去系统设置里检查这两项权限。
OpenAI Codex Computer Use 使用教程
OpenAI Codex 的 Computer Use 目前可在 macOS 使用,但 launch 时不包括欧洲经济区、英国和瑞士。它能让 Codex 看到并操作图形界面,适合命令行工具或结构化集成不够用的场景。
怎么设置 Computer Use
在 Codex settings 里打开 Computer Use,点击 Install 安装 Computer Use 插件,然后再让 Codex 去操作桌面应用。macOS 弹出权限请求时,按需授予 Screen Recording 和 Accessibility。
使用 Computer Use 需要授予:
- Screen Recording:让 Codex 能看到目标应用。
- Accessibility:让 Codex 能点击、输入和导航。
什么时候用 Computer Use
当任务依赖图形界面,而且只靠文件或命令输出很难确认结果时,就该用 Computer Use。
适合的场景包括:
- 测试 Codex 正在构建的 macOS 应用、iOS simulator 流程或其他桌面应用。
- 执行需要 web browser 的任务。
- 复现只在图形界面里出现的 bug。
- 修改必须通过 UI 点击完成的应用设置。
- 查看插件拿不到的数据源或应用信息。
- 在后台跑一个 scoped task,同时你继续处理别的工作。
- 执行跨多个应用的工作流。
对于你本地构建的 web app,先用 in-app browser。
怎么开始一个 Computer Use 任务
在提示词里写 @Computer 或 @AppName,也可以直接要求 Codex 使用 computer use。描述要操作的具体应用、窗口或流程。
Open the app with computer use, reproduce the onboarding bug, and fix the
smallest code path that causes it. After each change, run the same UI flow
again.
Open @Chrome and verify the checkout page still works after the latest changes.
如果目标应用已经提供专用 plugin 或 MCP server,优先用这种结构化集成来做数据访问和可重复操作。只有当 Codex 需要通过视觉方式检查或操作应用时,才选 computer use。
权限和审批怎么分开
Computer Use 的 macOS 系统权限和 Codex 里的 app approvals 是两回事。macOS 权限决定 Codex 能不能看见和操作应用;app approvals 决定你允许 Codex 使用哪些应用。文件读取、文件编辑和 shell 命令仍然受当前 thread 的 sandbox 和 approval 设置控制。
启用 Computer Use 后,Codex 只能看到并操作你允许的应用。在任务执行过程中,Codex 会先向你请求是否允许使用某个应用。你可以选 Always allow,以后同一个应用就不必再确认。要移除已永久允许的应用,可以在 Codex settings 的 Computer Use 里操作。
如果 Codex 看不到或控制不了某个应用,打开 System Settings > Privacy & Security,检查 Codex app 是否已开启 Screen Recording 和 Accessibility。
锁屏后也能用吗
Locked computer use 允许 Mac 锁屏后继续让 Codex 使用 Computer Use,但必须先手动开启。适合你在连接设备上继续发起需要桌面应用的任务,而 Mac 已经锁定的情况。
启用 locked computer use 时,Codex 会安装一个 Apple authorization plug-in,参与 macOS 的解锁流程。
这个能力刻意做得很窄,不是给 Mac 提供通用的远程解锁路径,也不会让其他应用或本地进程解锁电脑。
使用 locked computer use:
- 打开 Codex settings > Computer Use。
- 启用 locked computer use。
- 在 Mac 屏幕锁定后,从连接设备发起一个使用 computer use 的任务。
当 Codex 通过 Computer Use 在锁屏后访问应用时,它会临时解锁 Mac,同时阻止本地使用并保留锁屏保护。解锁前,Codex 会检查这次解锁是不是来自一个正在进行、且可信的 computer use turn。离开这个短暂窗口后,Codex 会拒绝解锁,并在需要时要求你手动解锁。
Locked use 的保护措施包括:
- 授权窗口只在当前解锁尝试期间短暂有效。
- 自动解锁只对活跃的 computer use turn 生效。
- 临时解锁桌面时,Codex 会覆盖所有显示器。
- 如果 Codex 检测到本地键盘或指针输入,它会重新锁定 Mac,并暂停自动解锁,直到你手动解锁。
安全使用建议
Computer Use 可以查看屏幕内容、截屏,并操作目标应用里的窗口、菜单、键盘输入和剪贴板状态。任务运行期间,当前可见的应用内容、浏览器页面、截图和在目标应用里打开的文件,都可以视为 Codex 可能处理的上下文。
保持任务范围小,遇到敏感流程时尽量在场:
- 一次只给 Codex 一个明确的目标应用或流程。
- 任务随时可以停止,或者你接管电脑。
- 除非任务必须用到,否则把敏感应用关掉。
- 需要 secrets 的任务,最好你在场并能逐步批准。
- 允许 Codex 使用应用前,先看清权限提示。
- 只有在你信任 Codex 未来自动使用的应用上,才用 Always allow。
- 涉及账号、安全、隐私、网络、支付或凭据设置时,保持在场。
- 如果 Codex 开始操作错误窗口,立即取消任务。
如果 Codex 使用的是你的 browser,它可以和你已经登录的网站交互。请把这些操作当作你自己正在执行:网页可能包含恶意或误导性内容,而网站会把已批准的点击、表单提交和登录状态操作视为来自你的账号。若你想在 Codex 工作时继续使用自己的 browser,可以让 Codex 改用另一个 browser。
这个功能不能自动化 terminal apps,也不能自动化 Codex 自身,因为那样可能绕过 Codex 的安全策略。它也不能替你完成管理员身份验证,或批准电脑上的安全与隐私权限提示。
文件编辑和 shell 命令仍然遵循适用的 Codex approval 和 sandbox 设置。通过桌面应用完成的更改,可能要等保存到磁盘并被项目跟踪后,才会出现在 review pane 里。通过 Computer Use 处理的内容同样受你的 ChatGPT data controls 约束,包括截图。
常见问题
OpenAI Codex 的 Computer Use 现在支持哪些系统?
目前只在 macOS 可用。launch 时不包括欧洲经济区、英国和瑞士。
Codex 看不到应用或点不了按钮怎么办?
先检查 Codex app 的 Screen Recording 和 Accessibility 权限,再确认你已经在 Codex settings 里安装了 Computer Use 插件。若问题还在,去 System Settings > Privacy & Security 里重新核对这两项权限。
Locked computer use 能不能代替远程解锁?
不能。它只是在特定条件下允许 Codex 在锁屏后继续使用 Computer Use,不是通用的 Mac 远程解锁功能,也不会让其他应用或本地进程解锁电脑。