正在打开每日关注
正在打开每日关注
Oh My Pi 新增桌面操作能力,以读屏与执行双重审批兼顾自动化和安全。
Oh My Pi 是除了 Grok 我最喜欢用的 Agent,今天更新正式推出 Computer Use 工具: - 支持原生桌面执行 - 读审批/执行审批 - /computer 斜杠命令控制会话开关。 同时为非原生支持 computer-use 的模型暴露为标准 function tool。 https://t.co/Ni8NEOFYqO
是什么 这条内容介绍 Oh My Pi 新增 Computer Use 工具:让模型通过截图理解桌面,并用鼠标、键盘或其他动作控制操作系统。其价值不只是“能点按钮”,而是把桌面代理能力包装成可开关、可审批、可拒绝的会话能力。
核心设计 材料呈现了两条兼容路径:原生支持 computer-use 的模型走原生通道;不支持的模型则通过普通 function tool 传递坐标与动作参数。交互上采用默认关闭、读屏审批与执行审批分离,并提供“/computer”会话级开关。坐标、按键数组、拖拽点等参数先做格式校验,非法请求直接拒绝。图中的“眼睛+手”隐喻和模型—工具—桌面—操作系统流程,也清楚表达了感知与执行的边界。
关键洞察 这是一个 human-in-the-loop 的桌面自动化设计:把高权限能力拆成可理解的授权节点,降低误操作的不可逆风险,同时兼容不同模型生态。评论区对实现质量和初始上下文长度的质疑,也提示采用门槛不只在功能,还在工程可靠性与使用成本。
边界与风险 逐步确认可能带来审批疲劳;截图误读、坐标脆弱和应用界面变化会降低成功率。真正投入生产前,还需要更细的敏感操作策略、回滚机制、权限范围和审计记录。