Computer Use 视觉方案（Sozo PC）
电脑操控（读屏 + 点击 + 多平台发布）的选型结果与现状。2026-08-06 定版：Window MCP 主力 + UI-TARS-7B 兜底 + Gemini 基准。
硬件约束（决定性因素）
| 项目 | 值 |
|---|
| GPU | NVIDIA GTX 1050 Ti 4GB GDDR5（GP107 / 768 CUDA cores） |
| 驱动 | 560.94（含 CUDA 12.6） |
| 推论 | 4GB 显存 → 7B 模型必须共享内存（慢 31-68s/图）；2B 模型可全进显存（4-9s/图） |
定版分层（2026-08-06）
| 层 | 方案 | 速度 | 适用 | 状态 |
|---|
| 1 主力 | Window MCP（AX 树，读结构+精确坐标） | 秒级 | 原生应用/网页 UI 操作 | ✅ 主用（真实 FB 测试全精准命中） |
| 2 兜底 | UI-TARS-7B（Ollama ui-tars-7b） | 31-68s/图 | GUI 操作备用（视觉兜底） | ✅ 已装 |
| 3 基准 | Gemini Flash | 秒级 | 视觉理解基准 | ✅ 外部 |
| ❌ 弃用 | Qwen2.5-VL-3B / UI-TARS-2B | — | — | 已删（千问两次宕机；2B 误判 Google Play） |
模型实测记录（2026-08-06）
- Qwen2.5-VL-3B：17 张 project thumbnail 描述全对（除第 1 张 camera 特写）；UI 理解 216s 认出 Gemini 网页元素；两次使用均宕机 → 用户拍板弃用
- UI-TARS-2B（1.6GB）：4-9s/图；识别粗——现金流管家客户页误判成 Google Play
- UI-TARS-7B（4.68GB）：31-68s/图；FB 登录页 35s 位置准确；中文界面 68s 说成「我的收藏夹」（比 2B 好但不够准）；真实 FB 任务 15s 分析后点错照片
- Window MCP：AX 树 11 个导航菜单全带精确坐标；真实 FB 发布测试（打开 → 文案 → 上传 2 照片 → 停在发布键）全精准
- 教训：截图对比测试时用户不能开其他应用窗口（AutoCAD/SketchUp 会污染数据，需重测）
Ollama 环境（Sozo PC）
- 模型目录：
D:\OllamaModels（清理后 1.5GB，只剩 ui-tars-2b/ui-tars-7b）
- 已删除：qwen2.5vl:3b + 3 个 embedding 模型（用户确认不需要）
- adaptive-effort 插件已禁用
- 弹窗规则：用户不喜欢 CMD/PowerShell 弹窗 → Ollama 一律无窗口后台运行
- UI-TARS 模型文件：
D:\hermes\ui_tars_model\（下载/导入用）
多平台发布工作流（进行中）
- 场景：用户给视频/照片 + 文案 → agent 用 Window MCP 在浏览器操作发布（不点最终发布键，停在按钮前由用户确认；不发布测试内容）
- CDP 已备：YouTube Studio ✅ 已登录 / Facebook 已加载（登录待确认）/ Instagram 待确认
- Chrome profile：TZE CZIA、Jake Ti（两个都验证可用）
- Facebook 双账号已登录：HS Design + TI Tze Czia
- 测试原则：上传真实照片、文案随意、停在发布按钮、遇登录问题告诉用户帮忙
待办/未决
- MiniMax 开源模型试用（用户兴趣：免费视觉理解 + 视频生成，白嫖评估）→ sozo-todos
- 多平台发布正式测试（等用户发视频+文案）
- 排期 export PDF 甘特图版细节（配色/时间轴密度/标题）待用户确认
相关
2026-08-21 更新：视觉链升级（DeepSeek 第一位）+ computer use 成本模型
视觉链（vision_ask.py，2026-08-21 起）
| 档位 | 模型 | 说明 |
|---|
| 1 首选 | DeepSeek V4 Flash Vision（deepseek-v4-flash-vision-exp） | 官方 API，图片按尺寸转 token（实测截图 ≈455 tokens）；0.22/Min(miss)/0.007/M (hit) / $0.66/M out；无正式 benchmark（exp）——便宜+稳定，Gemini 503 时不再卡脖子 |
| 2 备用 | Gemini 3.7 Flash | 免费档 |
| 3 兜底 | UI-TARS-1.5-7B（OpenRouter） | 单价便宜 5 倍但质量差一档 |
| 4 最后 | Qwen3-VL-235B | |
- 用法：
python vision_ask.py <图> "<问题>" [--model deepseek|gemini|ui-tars|qwen]；DS key = D:\hermes\hsdesign_workench\dskey.txt
- detail 甜蜜点：压缩率 = 图内文字量 ÷ 视觉 tokens；文字密图（报价单/户型图/文档）→ high（<1:1 压缩 97% 稳）；照片/粗看 → low（64-85 tokens，<10:1 稳）——
--detail 参数待加，默认 high
- ⚠️ 高密度扫描文档（1200+ tokens/页）避坑：压缩崩溃 OCR 掉到 ~60% + 灾难性幻觉（9.2%）——这类图用 UI-TARS 或人工
computer use 成本模型（2026-08-21 实测）
- **任务级 0.02−0.05∗∗；6任务≈0.35（token 生成/关窗口/Drive/AutoCAD 全套）
- 大头 = capture 的 AX 树文本（每次 1-1.5 万 tokens）不是视觉 → 子代理派发统一加 max_elements 限制（30-50）
- 记账法：任务前后查 DeepSeek balance 差值 = 精确成本（自动做）
- 技术坑：alt+f4 硬阻止 → WM_CLOSE / 坐标点 X；Chromium 文本输入要 foreground 模式；Chrome element 点击坐标换算 bug；list_windows 漏报最小化窗口 → EnumWindows 全量核查；AutoCAD 启动用 PowerShell Start-Process（git-bash start 不保留子进程）；
capture-acad-window.ps1 通用窗口截图脚本在 D:\hermes\scripts
分工铁律（用户拍板 2026-08-21）
- 执行型任务（网页/桌面/工具密集）→ delegate 子代理（继承工具、上下文隔离）或龙虾（CDP 网页）——主 agent 只分配+判断+验证
- 长期任务需要 computer use → CU request 通道（见 computer-use-orchestration）
- 平面图管线：vision 看懂 → DeepSeek 写 ezdxf 脚本 → DXF → vision 验收 → AutoCAD 打开（示意级；
ezdxf 1.4.4 已装）