UI-TARS桌面版完整指南：5分钟装好，用自然语言操作电脑和浏览器

UI-TARS桌面版完整指南5分钟装好用自然语言操作电脑和浏览器【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktopUI-TARS桌面版是一款开源GUI自动化桌面应用底层接的是 UI-TARS 视觉语言模型。你给一句自然语言操作电脑它看屏幕、点鼠标、填表单、整理文件把重复的鼠标工作接过去。这篇按我实际搭好的顺序写装应用、开权限、接模型、跑两个真实任务适合刚接触 AI桌面自动化的新手也适合想把固定流程交给程序跑的老用户。️ 先说它能替你干什么文件批量归位把桌面散落的 PDF 统一挪进指定文件夹 → 一句指令完成扫描、判断、移动和出报告网页信息摘录打开趋势类页面抓取前 10 个项目的名称和星标数 → 不用手动翻页复制软件参数修改在应用设置里打开自动保存并调整延迟 → 不用背菜单层级表单与数据录入重复的表格填写、数据导出整理 → 你只负责核对结果多步骤流程串接登录系统、导出数据、整理报表 → 连成一次执行⏱️ 5分钟把应用跑起来系统要求、安装与权限系统要求操作系统最低版本注意事项macOS10.15 及以上目前只支持单显示器环境WindowsWindows 10 及以上目前只支持单显示器环境通用步骤从项目仓库的 releases 页面下载对应系统的安装包安装完成后启动应用macOS 用户需要额外开启两个系统权限进入设置页接入视觉语言模型第五节细讲macOS安装与权限配置步骤安装就是标准的拖拽把UI TARS图标拖进Applications文件夹。权限是 macOS 上最容易漏的一步。打开系统设置 → 隐私与安全性把辅助功能和屏幕录制两项都打开应用才能控制鼠标键盘、读取屏幕。Windows安装步骤Windows 侧更直接双击安装包UI.TARS-0.1.0-preview.Setup.exe弹出安全提示时点“仍要运行”走完安装即可。另外提醒一句之后要用浏览器模式的话先装好 Chrome、Edge 或 Firefox。你的第一个任务界面初览、模式选择与指令输入打开应用界面是三栏布局左侧放新建对话和历史记录中间是指令输入区右侧是设置入口。第一次用建议先跑一个最简单的任务走完全流程。点新建对话后先选操作模式本地计算机操作Use Local Computer直接操作桌面应用和文件系统适合文件整理、软件设置这类任务本地浏览器操作Use Local Browser自动化网页浏览适合表单填写、页面导航、信息提取选完模式在输入框里用日常语言描述任务比如“打开浏览器访问某个网站”然后开始执行。过程中界面会同步展示屏幕截图和每一步的操作日志你能随时看到它点到了哪里、做了什么。模型还没接好的话先跳下一节。接入视觉语言模型服务商选择与Base URL格式模型的分工不复杂每一轮循环大致是“截屏看当前画面 → 把指令翻译成点击、输入等动作 → 执行后拿新截图继续判断”任务就这么一轮轮推进。要让它判断准配置上做对三件事就够了。第一步选对服务商。设置页的 VLM Provider 下拉里有几个选项常见的两个Hugging Face for UI-TARS-1.5适合自己部署 UI-TARS-1.5 模型的情况VolcEngine Ark for Doubao-1.5-UI-TARS用火山引擎的托管服务不用自己部署注意 Provider 要和实际调用的模型对应选错会导致动作解析不对这是官方文档里专门提醒的。第二步走火山引擎的话按这个路径拿参数控制台找到 Doubao-1.5-UI-TARS 模型页点“API接入”在面板里依次拿到 API Key、Base URL 和 Model Name。填进设置页大致是VLM Provider: VolcEngine Ark for Doubao-1.5-UI-TARS VLM Base URL: https://ark.cn-beijing.volces.com/api/v3 VLM API KEY: 你的 API Key VLM Model Name: doubao-1.5-ui-tars-250328第三步核对 Base URL 格式。走 Hugging Face 自部署时Base URL 必须以 /v1/ 结尾比如 https://your-endpoint.huggingface.cloud/v1/ 漏掉结尾是连接失败最常见的原因。填完可以点 Check Model Availability 按钮验证连通性。两个任务实例本地文件整理与网页数据收集实例一本地文件整理本地计算机模式指令把桌面上的 PDF 都移动到 Documents/PDFs 文件夹系统行为扫描桌面 → 识别出 PDF 文件 → 目标文件夹不存在就创建 → 逐个移动预期结果文件全部归位原有结构不变执行完会生成一份操作报告实例二网页数据收集本地浏览器模式指令打开浏览器访问 GitHub 趋势页收集前 10 个项目的名称和星标数系统行为启动浏览器 → 导航到目标页 → 识别项目列表 → 提取字段预期结果前 10 条信息整理成结构化数据保存到本地文件 远程操作云浏览器、虚拟桌面与资源释放本地模式之外UI-TARS桌面版还能把任务放到远端跑通过云浏览器执行网页任务或者控制云端虚拟桌面。好处是本地机器要求不高任务跑在隔离环境里不碰本机数据。新用户有 30 分钟的免费体验额度。会话结束别直接关窗口点右上角的Terminate按钮系统会释放远端资源并给出最终报告供后面复查。往远了延伸有两个方向可以参考。企业侧把“登录业务系统 → 导出昨日数据 → 整理报表”这类每日固定动作交给它跑个人侧把“收集关注文章的更新并归档”做成每周例行任务。核心思路一样步骤固定、重复次数多的流程先写清楚再交给它。排障速查表常见现象与解法现象可能原因解法鼠标键盘操作无反应macOS 权限没开全回“隐私与安全性”检查辅助功能、屏幕录制两项模型连接失败Base URL 格式不对自部署场景确认以 /v1/ 结尾并检查网络浏览器模式起不来没装浏览器或版本旧装最新版 Chrome、Edge 或 Firefox任务执行偏慢网络延迟或模型负载高换就近的服务商、换模型或错峰使用小结与下一步把应用装上、权限开对、模型接好UI-TARS桌面版就能把重复的点击和填写变成一句自然语言指令剩下的交给视觉模型去盯屏幕执行。接下来建议按这个顺序推进先跑“打开浏览器访问某网站”这类单步指令确认整条链路通了再试文件整理、网页摘录这种多步骤任务对照 docs/quick-start.md 复核安装与模型接入的官方步骤翻 docs/setting.md 了解 VLM 和 Chat 的完整参数从 examples/presets/ 拿一个预设模板导入省去手动配置更多资料docs/deployment.md模型部署、docs/sdk.mdSDK 集成。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考