计算机操作智能体（Computer-Use Agent） 的目标是通过直接操作 GUI，像人一样完成数字任务。Agent-S 系列用三篇论文，讲了一个从「开放式智能体框架」到「超越人类」的完整故事。

演进主线：从「让智能体更像人思考」→「让不同专长的模型各司其职」→「用规模化与有效评估把正确轨迹找出来」。

Agent S 要解决的核心问题：如何让智能体真正像人一样操作真实桌面环境。作者指出传统方法面临三个挑战：

现有 GUI 智能体普遍只在单个窗口、用预定义 API 或动作空间操作，无法覆盖真实桌面任务的开放性。

Agent S 把复杂的操作系统控制任务，拆解为三个可自省的模块，形成一个闭环。

循环通过 Self-Evaluator 评估轨迹，将奖励以文本形式写回记忆，形成类似经典强化学习的「经验-奖励」闭环。

Agent S 在 OSWorld 基准（369 个真实计算机任务）上取得显著提升，跨 OS 泛化能力强。

洞察：经验增强 + 层次建模是立竿见影的；但 Agent S 依赖单一基础模型（GPT-4o / Claude-3.5-Sonnet），推理算力与领域专长受限。

Agent S2 指出当前智能体的另一组瓶颈，来自「依赖单一生成模型」：

解决思路：组合式（compositional）框架——把「推理/规划」与「落地/接地」职责，委派给不同的泛化模型与专家模型。

Agent S2 用泛化主义（generalist）与专家（specialist）模型组合，替代单一模型，并引入关键新机制。

落地专家：像素坐标、OCR 文本、表格单元，如 spreadsheet 的 cell。

消融结论：移除 MoG 或 Proactive Hierarchical Planning，成功率明显下降；模型组合能带来超过单一最优模型的性能。

Agent S3 关注计算机操作智能体的可靠性：长程、复杂任务下，单次执行极不稳定。作者的核心诉求是规模化（scaling）。

宽缩放：不是增加单次执行长度，而是并行生成多条轨迹，再用一个可靠的判据从中挑选最优——难点在于「轨迹评估」。

Behavior Judge 解决「评估瓶颈」：先把冗长、噪声高的轨迹，压缩成可比较的「行为叙事」，再在叙事层面做选择。

Agent S3 + Behavior Judge 在 OSWorld（100-step）上达到 72.6%，首次超越人类水平（~72.36%）。

泛化性：WindowsAgentArena 由 50.2% 提升至 56.6%；AndroidWorld 由 68.1% 提升至 71.6%（zero-shot 迁移）。

回顾三代，Agent-S 系列是在回答同一个问题：怎样让智能体真正可靠地操作计算机？

我们的思路：操作预录制作为skill，可靠得重放这些skill来进行自动化、规模化的操作。

对我们的经验：面对长程、开放的 Agent 任务，不仅要锁定能不能生成的问题，更要看如何可靠地评估与选择。

提升思路： 结合我们的预录制的SpeedAI方案，让Agent自探索软件、OS、Web、Android的特征特性，熟悉各个UI工具操作，进行Agentic自探索总结经验，然后再结合多轨迹 + 叙事级评估来提升效果和性能。