跳到主内容

dsh-computer-use 使用指南

为 DSH Agent 提供文本优先的浏览器与 macOS 桌面控制能力，可读写辅助功能树并定向窗口输入，不抢前台、不动光标。

本文为派生内容（基于 wiki / faq / compatibility_json 自动组装），非 AI 即时创作。

本文由本站基于该插件已收录的字段自动派生（wiki / faq / compatibility_json / readme），非 AI 即时创作。每节末尾标源字段。

快速上手

dsh-computer-use

— 源: plugin_wiki.wiki_content

安装与验证

dsh plugin --profile web add dsh-computer-use

复制以上命令在 DSH Web Profile 内运行。安装完成后在「插件列表」启用即可。

— 源: plugins.install

关键要点

  • 每个动作贯通 PID、WindowServer window ID、AX 窗口 frame 和元素身份。
  • 坐标输入前优先尝试 AX 语义动作。
  • 支持时把鼠标和键盘事件直接投递到目标进程/窗口。
  • 使用可穿透的软件光标；定向动作不移动物理鼠标。
  • 即使其他 App 保持前台，动作后观察仍锁定上一个目标窗口。

— 源: plugin_wiki.readme_zh (fallback readme_raw)

常见问题

安装后 DSH Agent 怎么看到这两个工具？

插件通过 cordis.patch.yml 把 computer_observe / computer_action 注册到 DSH 全局工具层（global tool layer），所有 Agent preset 自动继承，无需手动加载 Skill；安装、修复或升级后需要重启正在运行的 DSH Host 才会出现在工具列表里。

这个插件支持 Windows 或 Linux 吗？

desktop surface 仅在 macOS 上实现（Swift helper + Accessibility + SkyLight），browser surface 虽然底层用 Playwright 驱动 Chromium，但 README/README.zh.md 都明确把 macOS 14+ 作为设计主线和最低运行环境，Windows 与 Linux 不在支持范围。

操作时会不会抢前台、动我正在用的那个 App？

默认不会。desktop 通过 PID 和 WindowServer window ID 把鼠标键盘事件定向投递到目标进程/窗口，并用一个软件小光标指示点击位置，不会移动物理鼠标；只有在没有明确目标时才会回退到全局 HID 输入。

装好后必须自己授权哪些权限？

第一次打开「DSH Computer Use」设置中心会引导用户在「系统设置 → 隐私与安全性」勾选「辅助功能」和「屏幕录制」，并在「DSH 插件」一行点击「安装」；之后必须重启正在运行的 DSH Host 才生效。

upload_files 能上传任意路径的文件吗？

不能。所有 paths 都会被解析到当前 DSH Session 的 workspace 根目录下，路径逃出 workspace 时直接抛 UPLOAD_OUT_OF_WORKSPACE 错误，避免 Agent 任意读取你本机其他位置的文件。

浏览器里能打开任意 URL 吗？

open_url 只接受 http://、https://、about: 三种协议；其他协议会被直接拒绝。

报错 "native helper app not found" 怎么办？

错误码 NATIVE_HELPER_MISSING 来自 src/native/client.ts:240，意思是 Swift helper App 没找到。可以通过 Homebrew Cask brew install --cask dsh-computer-use 或从 GitHub Releases 下载 DMG 重新安装；从源码安装则需要执行 pnpm run build:native。

怎么彻底卸载？

执行 dsh plugin --profile web remove github:ZRui-C/dsh-computer-use；设置中心也能识别旧版「只装依赖、未启用 bundle」的 profile 并提供一键修复，无需手改 profile YAML。

— 源: plugin_wiki.faq_json

兼容性

  • DSH: >=0.1.0-rc.6
  • Node: >=22
  • Platforms: macOS
  • Native modules: native/macos-helper/dist/DSH Computer Use.app (Developer ID 签名 + Apple 公证的 Universal 2 Swift 应用), playwright-core (依赖系统已安装的 Google Chrome)

— 源: plugin_wiki.compatibility_json

踩坑提醒

安装前请审阅上游仓库；本指南基于已收录字段自动派生，可能滞后于最新版本。如发现与官方文档冲突，请以上游为准。

— 来源：通用规则

dsh-computer-use 使用指南