研究主题
研究:agent-desktop
研究目标
理解 agent-desktop 的技术思路、适用场景及局限。
调研成果1
无障碍树驱动的桌面 Agent:agent-desktop 的能力边界与强风控场景风险
agent-desktop 是 Vercel Labs 的 Rust 桌面自动化 CLI(Apache-2.0、GitHub 17,246 星、npm latest 1.2.0、v1.2.0 发布于 2026-11-05)。技术路线是绕开截图:通过操作系统无障碍接口(macOS AX、Windows UIA、Linux AT-SPI)把界面读成带稳定 ref 的 JSON 树,agent 对 ref 执行动作后再快照复核,形成「观察—动作—复核」闭环;默认 headless,不移动指针、不抢焦点。 三条结论:一,优势在元素级、低 token、可确定性验证的自动化;短板是自绘界面(Canvas/WebGL/定制渲染)无障碍树往往只有粗节点,而项目本身不提供视觉或坐标兜底。二,用它操作微信这类强风控软件,技术上不具备「绕过风控」的能力——它不注入进程、不 hook 客户端、不改内存与报文,也没有指纹伪造组件,只是以当前用户身份调用系统辅助功能接口;同时微信规则把这类用法本身界定为违规(《个人账号使用规范》1.2.4 禁止非授权第三方工具/服务接入、1.2.6 禁止通过非腾讯开发授权的第三方软件或系统登录或使用微信;Safety Center 明确禁止 automated access 与 bypassing security controls)。三,因此该场景的真实风险不是「能不能绕过」,而是「一用就落入禁止条款」,处置从功能限制到封禁不等。 本次未安装、未运行该项目,也未在真实微信客户端上做任何观察或操作;关于微信 AX 可枚举性与平台检测阈值均属未验证推断,已列入不确定性。本报告不提供任何降低检测概率的操作建议。
研究笔记0
暂无公开的研究笔记。