jcode Computer-Use提案前瞻：AI Agent 如何获得完整的计算机控制权？

jcode Computer-Use提案前瞻AI Agent 如何获得完整的计算机控制权【免费下载链接】jcodeThe most RAM efficient harness项目地址: https://gitcode.com/GitHub_Trending/jcod/jcodejcode是 Rust 编写的内存效率最高的 AI Agent 编程 harness单会话空闲内存仅约 30 MB。它的新提案——原生Computer-Usecomputer 工具——目标是让 AI Agent 像人一样观察屏幕、理解界面结构、控制鼠标键盘最终实现对 macOS 桌面完整的计算机控制而且不干扰你正在做的事。为什么 AI Agent 需要手和眼睛目前的 AI Agent包括 jcode 自己已经能做很多事读代码、改代码、跑命令、甚至驱动浏览器。但浏览器只是桌面世界的一扇窗——原生 macOS 应用访达、系统设置、各种专业软件在浏览器沙箱之外Agent 完全够不到系统级操作拖拽、右键菜单、快捷键组合无法用 API 覆盖Computer use Agent 只需要三个原语读屏幕、读界面结构、合成输入。而 macOS 恰好通过 Accessibility辅助功能、Quartz 事件服务和 ScreenCaptureKit 这三层系统 API 把这三件事全部开放了。提案的核心思路是新增一个与browser工具对等的原生computer工具用单一action分发接口统一承载看屏幕 → 做决策 → 执行动作的完整控制闭环。一张分层路线图从看得见到并行干活提案把能力拆成了Tier 0–5 六个层级越往后自动化程度越高、对用户干扰越小。Tier 0基础能力已实现v1 版本已经落地screenshot截屏感知点/像素缩放move/click/double_click/right_click/drag/scroll鼠标操作type/key键盘输入与快捷键组合ui读取界面AX 树、cursor定位、check_permissions权限检查实现代码在 computer/mod.rs它会自动感知可见操作与后台操作的区别并优先选择干扰更小的方式。Tier 1语义化 AX 动作——真正的后台控制⭐这是整个提案中杠杆最大的一层。macOS 只有一个共享的硬件鼠标指针坐标输入CGEvent永远会移动真实光标——你看得见。而 Accessibility 动作press、set_value、select_menu是按元素引用操作的Agent 可以按下你正盯着别的窗口时、某个后台应用里的按钮光标纹丝不动。提案中称之为this is the actual click things youre not looking at capability.Tier 2应用与窗口管理列出/激活/退出应用、列出窗口并移动/调整/最小化/关闭它们可作用于后台窗口以及window_screenshot——截图一个被遮挡的窗口无需把它带到前台。Tier 3剪贴板与可靠性读写剪贴板、按住按键游戏式输入、type_into语义输入以及用 AXObserver 通知实现的wait_for例如等待弹窗出现——替代笨拙的 sleep-polling。Tier 4真正的后台并行进阶三条路径实现你干你的我干我的Apple Events 脚本桥run_applescript对 Mail、Notes、Safari、Finder 等可脚本化应用完全无头运行无光标、无焦点抢占虚拟显示器把 Agent 的指针和窗口路由到你看不到的第二块屏幕虚拟显示驱动独立登录会话 / 屏幕共享会话第二个 macOS 会话有自己独立的指针和焦点隔离性最强。Tier 5传感器可选Vision 框架 OCR、短屏录、勿扰模式开关等——摄像头/麦克风权限严格保持用户主动开启。权限设计macOS 的守门现实 完整的计算机控制意味着四道 TCC 权限每道都决定了 Agent 能做什么权限解锁能力能否程序化申请辅助功能键鼠注入、全部 AX 读写与操作⚠️ 只能弹窗 深链用户必须手动开一次屏幕录制截屏、窗口/OCR 捕获✅ 可弹窗申请输入监听读取全局输入流✅ 可弹窗申请自动化Apple Events脚本化操控各应用✅ 首次发送时按应用提示提案给出的最佳体验是一次弹窗 一次开关而非零接触——因为辅助功能开关是苹果反恶意软件边界任何 API 都无法自动拨动。为此还规划了一等公民的setup动作报告所有权限状态 → 程序化申请能申请的 → 深链跳转到精确的系统设置面板 → 轮询直到就绪。安全模型高爆炸半径重防御给 AI Agent 完整的计算机控制权听起来吓人提案为此设计了层层防线权限门控像bash工具一样缺少权限时提前拒绝并明确告知缺什么dry_run参数变更类动作先解析并报告目标但不真正执行优先语义动作能按元素操作就绝不盲点坐标——更可审计、更稳健破坏性坐标点击时回传截图/元素让操作有据可查默认不捕获全局输入Agent 只合成输入、不监听你的按键刻意绕开输入监听权限每次动作留审计日志可选目标应用白名单/黑名单。一个巧思渐进式披露只花 370 tokens约 46 个 action 如果全部平铺进工具 schema常驻 token 成本约 1020。提案改用渐进式披露常驻只暴露 11 个核心 action约 370 tokens高级能力通过discover { category }按需拉取每类约 130 tokens。这对以极致省内存著称的 jcode 来说是很典型的工程风格。构建顺序与展望 提案给出的开发顺序清晰可追渐进式披露重构 →setup动作 → Tier 1 AX 后台控制 → Tier 2 窗口管理 → Tier 3 剪贴板与等待 → AppleScript 桥 → 签名 App 包固化权限 → OCR → 虚拟显示/双会话。对读者而言这份提案值得关注的两点它回答了一个关键问题AI Agent 的计算机控制不该是抢你的鼠标而应是在你看不见的地方可靠地干活——AX 语义动作 脚本桥才是后台控制的正解它把权限与安全当一等公民设计而不是功能做完再补——这决定了 Computer-Use 类产品能不能真正走进日常。后续 Windows / Linux 后端将复用同一套工具接口computer工具在非 macOS 平台会注册但返回清晰的不支持错误保证跨平台工具列表稳定。完整提案可查阅computer-use-tool.md 与 computer-use-maximal-control.md。【免费下载链接】jcodeThe most RAM efficient harness项目地址: https://gitcode.com/GitHub_Trending/jcod/jcode创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考