pi-computer-use：用最小 Diff 驱动桌面 Agent

是什么

这组内容围绕 pi-computer-use 展开：它把 macOS AXUIElement、Windows UI Automation 等原生辅助功能树，转换成可压缩、可引用的 outline，再由 Reconciler 在相邻快照间计算确定性的最小 Diff，反馈给 Agent。目标不是反复把整棵桌面树塞给模型，而是让模型只看到发生了什么变化。

架构与核心设计

图示将系统拆为 Agent Contract、Scheduler/Reconciler/Renderer 三层内核与平台驱动。Scheduler 按资源和 epoch 管理读写；Reconciler 负责稳定 ID、foldToBudget、树匹配、变更编码及动作准备；Renderer 通过 AX、UIA 或 CDP 等后端执行。act_ui 形成请求、校验、执行、Ack、新快照、Diff、下一决策的闭环。

关键洞察

最值得借鉴的是把 token 预算、实时反馈和安全性都当作运行时约束：用 role、title、rect 等策略应对动态 UI；用 focus、modal、truncated 等语义减少误判；用 TTL 与 fail-closed 拒绝基于过期状态的点击或输入。React 的 Scheduler、Reconciler、Renderer 类比，也清楚展示了平台抽象边界。

边界与风险

这是工程架构拆解和实现方法分享，不等于完整仓库文档。逆向实现仍可能受平台权限、API 差异、模型能力、驱动覆盖度、稳定 ID 和动作幂等性限制，跨平台行为需要实际测试验证。