HS Knowledge Vault

windows-mcp-sozo

6分钟阅读

Windows 桌面自动化三工具链 — Sozo PC

Sozo PC 上同时运行三套工具链：

  • Windows MCP (mcp_windows_*) — 系统管理类（PowerShell、文件、注册表、进程）
  • Computer Use / cua-driver — 视觉自动化类（看懂屏幕、点击按钮、追踪鼠标）
  • Chrome CDP (localhost:9222) — 浏览器控制（导航、信息获取）

多平台发布实战验证

2026-06-24：首次完整多平台发布成功 ✅

使用三工具链配合 + 鼠标键盘拟人化操作，成功将视频发布到 YouTube、Facebook、Instagram、TikTok。

详细工作流见 skills/publish-video/multi-platform-publish.md

1. Windows MCP (v0.8.2)

配置

  • Python: 3.13 (via winget) — C:\Users\Sozo\AppData\Local\Programs\Python\Python313\
  • Venv: D:\hermes-agent\venv-py313\
  • Config: D:\hermes\config.yaml → mcp_servers.windows
  • Command: python -I -m windows_mcp serve
  • PYTHONPATH: D:/hermes-agent/venv-py313/Lib/site-packages

可用工具（18 个）

工具用途
PowerShell跑任何 PowerShell 命令
FileSystem文件读写/列表/搜索/复制/移动/删除
Registry注册表读写（HKCU/HKLM）
Process进程列表/kill
Clipboard剪贴板读写
NotificationWindows toast 通知
Snapshot截屏 + UI 元素识别
Screenshot快速截屏
App启动/切换/调整窗口
Click / Type / Scroll / Move鼠标键盘操作
Shortcut快捷键（ctrl+c, win+r 等）
Scrape抓网页内容
Wait / WaitFor等待/条件等待
MultiSelect / MultiEdit多选/多字段编辑

2. Computer Use / cua-driver (v0.6.6)

安装

  • 安装时间: 2026-06-24（随 Hermes v0.17.0 更新后安装）
  • 版本: cua-driver-rs v0.6.6 (Rust, x86_64-pc-windows-msvc)
  • 路径: C:\Users\Sozo\.cua-driver\packages\current\cua-driver.exe
  • 服务: 开机自启 (RunLevel=Highest)，后台 daemon 模式
  • UI 后端: UIAutomation (UI tree) + D3D11 (screen capture)
  • 状态: 已验证全部通过 (hermes computer-use doctor → all ✅)
  • Hermes toolset: computer_use (已启用)

可用工具（40+ 个）

类别工具
鼠标click, double_click, right_click, drag, move_cursor, scroll
键盘type_text, hotkey, press_key
窗口bring_to_front, launch_app, kill_app, list_apps, list_windows
UI 树get_window_state (UIA tree), get_accessibility_tree, set_value (ValuePattern)
屏幕get_screen_size, get_cursor_position, zoom (高分辨率区域截图)
诊断health_report, debug_window_info, get_config
录制start_recording, stop_recording, replay_trajectory, get_recording_state
Sessionstart_session, end_session, get_agent_cursor_state
Agent 光标set_agent_cursor_enabled, set_agent_cursor_motion, set_agent_cursor_style
浏览器page (浏览器页面控制)
其他install_ffmpeg, check_for_update, check_permissions

3. 核心对比

Windows MCP      = 系统管理员工具（后端）
                   擅长：执行命令、管理文件、编辑注册表、管理进程、剪贴板

cua-driver       = 视觉自动化工具（前端）
(Computer Use)     擅长：看懂屏幕、点击 UI 元素、填写表单、拖拽、录制回放

功能矩阵

功能Windows MCPcua-driver
PowerShell 执行✅ 原生❌
文件系统操作✅ read/write/copy/move/del❌
注册表编辑✅❌
剪贴板✅ get/set❌
Toast 通知✅❌
网页抓取✅ Scrape❌
进程管理✅ list/kill✅ kill_app
窗口管理✅ App (launch/switch)✅ bring_to_front/launch_app
屏幕截图✅ Screenshot/Snapshot✅ zoom (高分辨率区域)
UI 无障碍树⚠️ Snapshot (有限)✅ 完整 UIA 树
D3D11 屏幕捕获❌✅ 高性能原生
拖拽操作❌✅ drag 手势
录制回放❌✅ 完整录制/回放
Agent 光标❌✅ 可视化叠加光标
快捷键✅ Shortcut✅ hotkey (更丰富)

4. 最佳实践：何时用哪个

优先用 Windows MCP

  • 执行 PowerShell 脚本或命令
  • 读写 文件系统（保存数据、读取配置）
  • 编辑 注册表
  • 操作 剪贴板
  • 发送 Windows 通知
  • 管理 进程
  • 抓取 网页内容（scrape）

优先用 Computer Use

  • 需要 看懂屏幕上的 UI 并操作（点击按钮、填表）
  • 操作 浏览器页面（已有登录态的情况下）
  • 需要 录制/回放 桌面操作流程
  • 追踪 鼠标位置 或 Agent 光标
  • 获取 高分辨率区域截图（zoom）
  • 获取 完整 UIA 无障碍树

两者结合使用

  1. Windows MCP 查系统/文件 → Computer Use 操作界面 → Windows MCP 保存结果
  2. Windows MCP 启动程序 → Computer Use 获取窗口 UIA 树 → 操作 UI
  3. Computer Use 录制操作轨迹 → Windows MCP 保存录制文件
  4. Computer Use 发送快捷键（hotkey）→ Windows MCP 读取剪贴板结果

5. 与 IDA PC 的差异

项目IDA PCSozo PC
Windows MCP 版本0.8.20.8.2
Computer Use❌ 未安装✅ cua-driver 0.6.6
Hermes 版本-v0.17.0 (2026.6.19)
Python系统 Python (venv)Python 3.13 (winget)
Venv 路径D:\hermes-agent\venv\D:\hermes-agent\venv-py313\
工作流模式OpenClaw + Chrome CDPHermes (脑) + OpenClaw (手) + 双工具链

6. 注意事项

Windows MCP

  • PC 锁屏时截图/鼠标键盘工具会失败（需桌面会话）
  • command 必须用 venv 绝对路径，不能写 python
  • 配置改完不需要重启 gateway（hermes mcp test 验证即可）

Computer Use / cua-driver

  • UIPI 限制: 无法操作管理员权限运行的窗口（需同等权限）
  • 开机自启（RunLevel=Highest），后台 daemon 运行
  • 40+ 工具通过 Hermes computer_use toolset 暴露
  • Rust 实现，性能优于 Python 方案

参考

  • env/windows-mcp.md — IDA PC 的 Windows MCP 配置
  • skills/publish-video/ — 多平台视频发布相关 skill
  • Session: 20260614_094548_7284910d — 多平台发布任务原讨论
  • Session: 20260624_035747 — Hermes v0.17.0 更新 + cua-driver 安装

关系图谱

反向链接