Codex: Codex 电脑操控
最后更新：2026-08-31
Codex 的 Computer Use 功能是其区别于传统编程工具的重要特性——它不仅能写代码，还能操作你的电脑。
📋 前置知识：了解 Codex 基本操作与权限设置
1. 你将学到
- Computer Use 的概念与能力
- 浏览器操控
- 桌面应用操控
- 安全注意事项
2. 什么是 Computer Use
Computer Use 让 Codex 能够像人类一样操作电脑：
| 能力 | 说明 |
|---|---|
| 浏览器操控 | 打开网页、点击、输入、截图 |
| 桌面应用操控 | 操作本地应用程序 |
| 文件管理 | 浏览、创建、修改文件系统 |
| 命令执行 | 在终端运行命令 |
graph LR
A[Codex Agent] --> B[浏览器]
A --> C[终端]
A --> D[文件系统]
A --> E[桌面应用]
B --> B1[导航]
B --> B2[表单填写]
B --> B3[截图分析]
C --> C1[运行命令]
C --> C2[查看输出]
D --> D1[读写文件]
D --> D2[目录操作]
3. 浏览器操控
(1) 基本操作
TEXT
📖 仅展示
> 打开 https://example.com 并截图
> 在搜索框中输入 "Codex tutorial" 并搜索
> 填写注册表单，邮箱用 alice@example.com
> 点击"提交"按钮
(2) 网页测试
TEXT
📖 仅展示
> 打开 localhost:3000，验证登录功能是否正常
> 截图首页，检查响应式布局
> 测试购物车流程：添加商品 → 结账 → 确认
▶ 示例 1: Alice 测试网页
TEXT
📖 仅展示
# Alice 让 Codex 做端到端测试
> 打开 http://localhost:8080
> 注册一个测试账号 test@example.com / password123
> 登录后创建一个新项目
> 截图确认项目列表显示正确
> 删除测试账号
# Codex 输出：
# → Opening browser to http://localhost:8080
# → Filling registration form
# → Clicking "Register" button
# → Logging in with test credentials
# → Creating project "Test Project"
# → Taking screenshot of project list
# → Account deleted successfully
# → Test completed ✓
4. 桌面应用操控
(1) 操作示例
TEXT
📖 仅展示
> 打开 VS Code 并打开当前项目
> 在终端中运行 npm start
> 打开浏览器访问 localhost:3000
> 截图确认页面正常显示
(2) 多步骤操作
TEXT
📖 仅展示
> 执行以下操作：
> 1. 在终端启动数据库
> 2. 运行数据库迁移
> 3. 启动开发服务器
> 4. 打开浏览器验证
> 5. 截图确认所有功能正常
▶ 示例 2: Bob 的部署验证
TEXT
📖 仅展示
> 部署到 staging 环境：
> 1. git push origin staging
> 2. 等待 CI 完成
> 3. 打开 staging.example.com
> 4. 测试关键功能：登录、搜索、下单
> 5. 截图每个步骤
> 6. 生成测试报告
5. 安全与隐私
(1) Computer Use 的权限要求
Computer Use 需要 Full-access 沙箱模式，这意味着：
| 注意事项 | 说明 |
|---|---|
| 高权限 | Codex 可以操作任何应用 |
| 视觉访问 | Codex 能看到屏幕内容 |
| 输入模拟 | Codex 能模拟键盘和鼠标操作 |
| 网络访问 | Codex 能访问任何网站 |
(2) 安全建议
TEXT
📖 仅展示
⚠️ Computer Use 安全清单：
1. 不要在含有敏感信息的屏幕上使用
2. 不要让 Codex 访问银行/支付网站
3. 始终监控 Codex 的操作过程
4. 使用后检查是否有异常操作
5. 生产环境操作需额外谨慎
(3) 操作确认
在 Computer Use 模式下，关键操作仍需确认：
TEXT
📖 仅展示
⚠️ Codex 请求操作确认：
- 打开 https://production.example.com
- 操作类型：浏览器导航
- 风险等级：高（生产环境）
[Approve] [Reject]
6. Computer Use 配置
TOML
# ~/.codex/config.toml
[computer_use]
enabled = true
browser = "chromium" # 浏览器引擎
headless = false # 是否无头模式
screenshot_interval = 5 # 截图间隔（秒）
max_operations = 100 # 单次最大操作数
require_confirmation = true # 关键操作需确认
7. Computer Use vs 传统自动化
| 维度 | Computer Use | 传统脚本 |
|---|---|---|
| 灵活性 | 高（AI 理解页面变化） | 低（依赖固定选择器） |
| 维护成本 | 低（自动适应 UI 变化） | 高（UI 变化需更新脚本） |
| 学习成本 | 低（自然语言描述） | 高（需学 Playwright/Selenium） |
| 可靠性 | 中（AI 可能误判） | 高（精确匹配） |
| 适用场景 | 探索性测试、快速验证 | CI/CD 自动化、回归测试 |
❓ 常见问题
Q Computer Use 需要什么权限？
A 需要 Full-access 沙箱模式，因为 Codex 需要操作浏览器和桌面应用。建议仅在受信任的环境中使用。
Q Codex 能操作任何浏览器吗？
A Codex 使用 Chromium 内核操控浏览器。对其他浏览器的支持有限。
Q Computer Use 会录屏吗？
A Codex 会定期截图用于分析和决策，但不会持续录屏。截图保存在临时目录中。
Q 无头模式能用 Computer Use 吗？
A 可以。设置
headless = true，Codex 会在无头浏览器中操作，适合服务器环境。Q Computer Use 能替代 Playwright 吗？
A 不能完全替代。Computer Use 更灵活但可靠性较低，适合探索性测试；Playwright 更精确可靠，适合 CI/CD 自动化。两者互补。
📖 小节
- Computer Use 让 Codex 能操作浏览器和桌面应用
- 浏览器操控：导航、表单、截图、测试
- 需要 Full-access 模式，安全风险较高
- 始终监控操作过程，保护敏感信息
- 与传统自动化工具互补，不能完全替代
📝 作业
- 基础题（难度⭐）：让 Codex 打开一个网页并截图。
- 进阶题（难度⭐⭐）：让 Codex 自动完成一个网页表单填写流程。
- 挑战题（难度⭐⭐⭐）：用 Computer Use 实现端到端测试——从注册到登录到操作，生成测试报告。
