12.05概念更新于 2026年9月17日

RPA 与 Computer-Using Agent

固定规则自动化与动态判断自动化的分界。

12.05 · 课时讲解

RPA 与 Computer-Using Agent

RPA 按剧本演,CUA 看情况办;最好的方案通常是两者分工。

1 / 10

一句话理解:RPA 是“按剧本演”,界面不变就又快又稳;Computer-Using Agent 是“看情况办”,能应对变化但更慢更贵。最好的方案通常是让 Agent 处理例外、让确定性脚本跑主干。

很多企业的运营、财务、供应链团队里早就跑着 RPA(机器人流程自动化):每天早上自动登录系统、下载报表、复制粘贴到另一个系统。当 Computer Use 出现时,最常见的问题是:“这不就是 RPA 吗?我们要不要全部换掉?”

答案是:两者都在操作界面,但 决定下一步的方式完全不同。分不清这一点,要么会把本该稳定运行的流程交给一个概率性系统,要么会继续为每一次界面改版支付高昂的维护成本。

本质区别:规则驱动 vs 判断驱动

维度 RPA Computer-Using Agent(CUA)
下一步由谁决定 开发者提前录制或编写的脚本 模型根据当前屏幕动态决定
如何定位元素 选择器、控件 ID、固定坐标、图像匹配 看截图理解语义(“右上角那个导出按钮”)
面对界面变化 容易中断,需要人工修脚本 通常能自己适应小的变化
面对例外情况 走不到预设分支就报错 可以尝试理解并处理,也可能处理错
速度与成本 快、单次成本低 每步都要推理,慢、单次成本高
结果一致性 同样输入得到同样执行路径 同样输入也可能走不同路径
可审计性 脚本即文档,路径可预期 需要完整记录截图与决策轨迹
上线成本 需要开发和测试每一条流程 用自然语言描述任务即可起步

一句话概括:RPA 把判断留在开发阶段,CUA 把判断推迟到运行阶段。 这和 Workflow 与 Agent 的区别是同一件事,只是发生在界面层。

用同一个任务对比

任务:每月 1 日从第三方 SaaS 供应商后台下载上月账单,与系统里的订阅记录核对,差异超过 100 元的生成异常工单(企业对账场景)。

RPA 做法:

RPA 对账流程:九个写死的步骤,“账单中心”改名后脚本在第四步中断 08:00 定时触发 打开后台 输入账号 点击“账单中心” 选择上月 点击“导出” 读取 Excel 与订阅库比对 差异 > 100 元 写入工单系统 某月改名为“财务对账” 脚本停在这一步,直到有人修复 选择器 + 固定路径 判断全部留在开发阶段
图 1 · RPA 做法:每一步都写死,界面上一个名字变了,整条流程就停在那里

每一步都是写死的。某个月后台把“账单中心”改名为“财务对账”,脚本在第三步就停了,直到有人发现并修复。

CUA 做法:

Agent 收到任务描述后,自己找到账单入口、识别日期选择器、导出文件。改名这种变化通常难不倒它。但它每个月可能花几分钟完成人工半分钟的操作,偶尔还会选错月份——而“选错月份”在对账场景里是会被悄悄放过的错误。

混合做法:

混合做法泳道图:确定性主干下载和比对账单,下载失败时由 CUA 兜底并通知维护人员,差异由 Agent 分析原因后交人确认 主干 确定性 例外 Agent 判断 人 确认与维护 定时触发 下载账单 脚本或 API 程序比对 金额只由程序算 生成差异清单 CUA 兜底 完成本次下载 逐条分析原因 重复计费?套餐变更? 维护人员 收到通知,更新脚本 人工确认 Agent 草拟的工单 失败 / 页面变化 补上下载 通知 比对金额永远由程序做 · CUA 是脚本的“备胎”,同时提醒人去修主干
图 2 · 混合做法:确定性主干跑流程,Agent 只处理例外,关键结论交给人确认

这里有两个关键设计:比对金额永远由程序做,Agent 负责理解差异背后的原因;CUA 是脚本的“备胎”,保证流程不因改版中断,同时提醒人去修主干。

怎么选:四个问题

问题 倾向 RPA / 脚本 倾向 CUA
流程多久执行一次? 每天、每小时,大批量 偶尔、低频
界面多久变一次? 基本不变 经常改版,或每次面对不同网站
步骤是否固定? 固定,可以画成流程图 取决于内容,需要理解和判断
出错的代价? 高,要求每次结果一致可审计 可接受,且有人工复核兜底

两个经验法则:

  • 高频 + 稳定 + 高风险:用确定性自动化(API 优先,其次 RPA 脚本)。资金付款、批量改价属于这一类。
  • 低频 + 多变 + 需要理解:用 CUA,并配上人工确认。例如偶尔去不同供应商的后台管理系统查询某张发票的处理进度。

新的分工方式:Agent 探索,程序固化

CUA 和 RPA 不只是二选一,还可以接力:

  1. 用 Agent 探索流程:让 CUA 在测试环境中完成几次任务,记录下它走过的路径和截图。
  2. 把稳定路径固化成脚本:由工程师或 Coding Agent 根据轨迹生成确定性脚本,经过测试后上线。
  3. 运行时由脚本执行,出现异常时回退给 Agent 处理。
  4. Agent 修复脚本:界面改版导致脚本失败时,让 Agent 重新走通流程并提出脚本修改建议,由人审核后合入。

这四步连起来是一个循环:

Agent 探索、程序固化的循环:Agent 探索流程,固化成脚本,脚本运行,失败时 Agent 修复并经人审核后合入 ① Agent 探索流程 测试环境走通,记录轨迹与截图 ② 固化成脚本 工程师或 Coding Agent 生成并测试 ③ 运行时由脚本执行 快、便宜、可审计 ④ Agent 修复脚本 重新走通并提出修改建议 测试后上线 改版导致脚本失败 人审核后合入 Agent 探索,程序固化
图 3 · Agent 探索,程序固化:稳定路径沉淀成脚本,改版时再让 Agent 走一遍

这和 Skill 的思想一致:把反复验证过的做法沉淀下来,而不是每次都让模型重新推理。

常见误区

  • “有了 Agent,RPA 就过时了。” 对于高频、稳定、要求可审计的流程,确定性脚本仍然更快、更便宜、更可靠。
  • “CUA 能适应变化,所以不需要监控。” 它能适应的变化也包括“被误导”。能自动绕过障碍的系统,更需要记录它每次绕了哪条路。
  • “RPA 失败了就让 Agent 接着点下去。” 回退给 Agent 时要重新确认权限边界,脚本原本不能做的事,Agent 也不应该因为“灵活”就去做。

产品经理检查清单

  • 现有的 RPA 流程中,哪些经常因为界面变化而失败?这些是 CUA 的第一批候选。
  • 哪些流程要求结果完全一致、可审计?这些应该保持确定性。
  • 引入 CUA 后,单次任务的耗时和成本是否仍在可接受范围?
  • Agent 处理例外时,有没有人工复核环节?
  • Agent 成功完成的新路径,有没有机制沉淀为脚本或 Skill?

练习

盘点你所在团队的 3 个重复性界面操作(可以是现有 RPA,也可以是人工在做),用 30–45 分钟填表:

流程 频率 界面稳定性 是否需要判断 出错代价 建议方案
例:下载 SaaS 供应商月度账单 每月 一年改版 1–2 次 否 中 脚本为主,CUA 兜底

然后挑一个流程,画出“确定性主干 + Agent 处理例外”的混合流程图。

下一步

下一课「本地执行与云端执行」讨论最后一个执行环境问题:Agent 应该跑在用户自己的电脑上,还是跑在云端,这背后是权限、数据与成本的取舍。

试试:上下文、MCP、沙箱、Prompt 注入、外链