Computer Use
看屏幕、点鼠标：适用场景、可靠性与成本。
一句话理解：Computer Use 让 Agent 像人一样看屏幕、动鼠标、敲键盘，它能碰到任何有界面的软件，但也是最慢、最贵、最容易出错、最需要隔离的一种执行方式。
在上一课，浏览器 Agent 至少还能读取网页结构。可是很多企业里真正卡脖子的系统连网页都不是：十几年前的桌面版 ERP、只能在 Windows 上跑的财务客户端、厂商提供的专有管理软件。它们没有 API，没有网页，只有一个窗口。
Computer Use（计算机操作）就是为这类场景准备的兜底能力。理解它的关键不是“它很神奇”，而是弄清楚 它为什么慢、为什么会点错、为什么必须关在虚拟机里，从而判断什么时候值得用。
它是怎么工作的
Computer Use 的本质是一个“截图 → 决策 → 动作”的循环。以 Anthropic API 的计算机操作工具为例（据官方文档），模型可以请求的动作包括：截图、放大某个区域看清小字、各种鼠标点击与拖拽、滚动、输入文本、按下组合键、等待等。
有两点容易被忽略：
- 动作是由你的应用执行的，不是模型提供方替你点。你需要自己准备虚拟显示器、桌面环境和要操作的软件，并负责执行、截图、回传结果。
- 模型只能“看到”截图。它不知道按钮背后的代码，只能根据像素判断“这里大概是个确定按钮”。
实现方式上，OpenAI 的文档描述了两条路径：模型返回结构化的鼠标键盘动作由你的应用执行，或者模型写调用 Playwright、PyAutoGUI 等自动化库的代码去操作界面。后者本质上是把 Computer Use 和沙箱代码执行结合了起来。
适用场景
| 适合 | 不适合 |
|---|---|
| 没有 API、没有网页的桌面软件 | 有 API 或 MCP 工具的系统 |
| 跨多个桌面应用的操作 | 纯网页任务（用浏览器 Agent 更合适） |
| 对原生应用做端到端测试、复现界面 Bug | 高频、大批量的重复操作 |
| 低频、步骤不固定、偶尔执行的任务 | 对时延敏感的实时交互 |
一个真实的开发场景：Claude Code 的文档介绍，Agent 写完一个 macOS 应用的代码后，可以编译、启动，再用计算机操作逐个点击界面控件验证有没有崩溃，这是纯命令行做不到的验证闭环。
一个业务场景：某家公司的报销数据还留在一套老旧的财务客户端里，这个客户端只能在 Windows 桌面上打开。Agent 在专用虚拟机里打开客户端，按单据编号查询，截图读取审批状态，然后回到 API 世界继续工作。只读查询可以交给它，提交单据不行。
可靠性与成本：为什么它是兜底方案
慢。 每个动作都要经历一次截图、一次模型推理、一次执行。人点五下鼠标只要几秒，Agent 可能要几十秒甚至更久。Anthropic 允许模型一次规划多个连续动作来减少往返，但要求按顺序执行、遇到第一个失败就停下。
贵。 截图作为图片进入上下文，长任务里截图不断累积，Token 消耗很快上涨。官方文档建议清理旧截图或配合提示缓存。
容易点错。 常见失败原因包括：
- 截图被缩放后，坐标没有正确换算回真实屏幕（高分屏尤其常见）；
- 下拉框、滚动条、悬停菜单这类控件难以操作，文档建议能用快捷键就用快捷键；
- 弹窗、加载动画、焦点变化让“上一张截图”已经过时；
- 屏幕上字太小，需要先放大再读。
评测分数不等于你的业务成功率。 学术界用 OSWorld 这类在真实操作系统中执行任务的基准衡量 Computer Use 能力，近年来分数提升很快。但基准任务和你公司那套定制客户端之间差距很大，上线前一定要用自己的任务集测，详见 构建评测集。
安全：它离真实后果最近
Computer Use 能碰到屏幕上的一切，所以安全要求最高。综合 Anthropic 与 OpenAI 的官方建议：
| 措施 | 做法 |
|---|---|
| 隔离环境 | 在专用虚拟机或容器中运行，最小权限，与生产系统和敏感数据隔离 |
| 不暴露敏感信息 | 不在环境里放账号密码、API Key，不登录与任务无关的账户 |
| 限制网络 | 只允许访问白名单域名 |
| 屏幕内容不可信 | 页面、文档、图片里的文字不能授予权限，也不能覆盖用户指令 |
| 关键动作人工确认 | 购买、传输数据、破坏性修改、接受条款、同意 Cookie 等 |
| 限定运行边界 | 设置步数、时间或成本上限，支持随时取消，并检查实际结果而非只听模型汇报 |
这些措施合起来，就是一套围着 Agent 布置的运行环境：
如果是在你自己的电脑上使用，隔离就更弱。Claude Code 文档明确说明，它的计算机操作运行在真实桌面上，而不是沙箱里，因此用了另一套防护：每个会话逐个批准可控制的应用；终端、Finder、系统设置这类“等同于 Shell 权限”的应用会额外警告；Agent 工作时隐藏其他应用；按 Esc 随时中止；终端窗口不出现在截图里，避免屏幕上的内容反过来影响模型。
常见误区
- “有了 Computer Use，就不用做集成了。” 它是过渡和兜底。长期高频的流程，应该推动 API 化或至少改用更稳定的自动化方式。
- “模型说完成了，就是完成了。” 基于截图的判断可能出错，关键结果要回到系统数据里核对，见 为什么必须验证。
- “在自己电脑上跑一下没关系。” 你的电脑上有邮箱、聊天工具和各种登录态，一个恶意网页就可能把 Agent 引向这些地方。
产品经理检查清单
- 这个任务真的只能通过界面完成吗？有没有导出、报表订阅、数据库只读视图等替代？
- Agent 运行在哪台机器上？那台机器上还有什么数据和登录态？
- 任务预计多少步？单次耗时和成本能否被用户接受？
- 哪些界面动作是只读的，哪些会提交、付款、删除？后者由谁确认？
- 界面改版或弹出意外窗口时，Agent 会停下来求助还是乱点？
- 如何验证任务结果，而不是只看 Agent 的最终汇报？
练习
找一个你工作中只能靠桌面软件完成的小任务，用 30–45 分钟完成：
- 把它写成 Agent 要执行的步骤清单，数一数大约需要多少次截图和点击。
- 估算：如果每个动作耗时 5–10 秒，全流程需要多久？与人工相比如何？
- 为这个任务设计运行环境（在哪台机器、用什么账号、能访问哪些网络）和至少两个人工确认点。
延伸阅读
- Claude API：Computer use tool
- OpenAI API：Computer use
- Claude Code：Let Claude use your computer from the CLI
下一步
下一课「RPA 与 Computer-Using Agent」会回答一个经常被问到的问题：企业早就有 RPA 机器人在点界面了，Computer Use 到底新在哪，两者该怎么分工。