← 返回资源目录
a

agent-desktop

社区出品开源Apache-2.0computer use

给任意 AI Agent 的桌面计算机操作能力:经系统无障碍树稳定操作真实应用(早期项目)。

agent-desktop 精选卡片:官方 Banner 配统一版式,左侧 APP 徽章、一句话价值与 Apache-2.0 许可证标注
卡片:AIHub 编辑制作(视觉素材来自各产品官方渠道)
获取资源前往官方下载 ↗

将跳转至 github.com。本站不托管安装包,请遵循目标站点条款。

来源:github.com · 信息以官方页面为准

资源简介

agent-desktop 让任意 AI Agent 在桌面上获得可靠的计算机操作能力:通过操作系统无障碍树读取真实应用(如 Finder、Safari、系统设置、Xcode、Slack)的 UI 结构再执行操作,元素引用(ref)保持稳定、动作可安全重试,避免了纯截图加坐标方案的不确定性,也可经 CDP 桥接 Chromium 应用的网页内容。GitHub 2026-09-28 快照 ★1,682(Apache-2.0),最近推送 09-26;为单作者早期项目,功能完成度以官方文档为准。

工程上是原生 Rust 单一二进制 CLI(npm 一键安装,自动下载预编译二进制),也可经 C-ABI FFI 从 Python/Swift/Go/Ruby/Node/C 进程内调用,全程输出带错误码与恢复提示的结构化 JSON;对 Slack、VS Code、Notion 等信息密集应用提供渐进式骨架遍历(浅层总览 + 定点下钻),README 口径可减少 78–96% 的 token 消耗;交互默认无副作用(headless-by-default),内置会话追踪与多 Agent 共享会话。在库桌面 computer-use 类目此前空缺,本条补位;涉及系统级权限操作,授权范围需用户自行把控。

核心能力

  • 无障碍树驱动的观察与操作:快照 + 元素引用定位稳定,覆盖任意具备无障碍树的应用
  • 渐进式骨架遍历:密集应用先浅层总览再定点下钻,README 口径 token 减少 78–96%
  • 结构化 JSON 输出与会话追踪:错误码 + 恢复提示,可回放导出,支持多 Agent 共享会话

适合谁

想让编码或通用 Agent 稳定操作桌面应用完成自动化与验证的开发者、Agent 框架作者;需要比截图方案更省 token、更可重试的 computer-use 集成方。