agent-desktop v1.0.2 공개 — 접근성 트리로 데스크톱을 조작하는 에이전트 CLI 정리
공개 내용
Vercel Labs는 데스크톱 앱 조작 도구 agent-desktop을 공개했습니다. 최신 릴리스는 v1.0.2이며, GitHub Releases 기준 공개 시각은 2026년 10월 30일 21:17 UTC로 기록돼 있습니다.
이 도구는 에이전트 자체가 아닙니다. 내부에 LLM을 넣지 않았고 GUI도 없는 구조라서, 성격은 에이전트가 호출하는 Rust CLI이자 C 라이브러리에 가깝습니다.
반응도 빠르게 붙었습니다. 이 글을 쓰는 시점에 레포는 스타 3,186개, 포크 208개를 기록하고 있습니다.
"agent-browser, for your whole computer" — Chris Tate가 10월 31일 X에서 agent-desktop을 소개한 문구입니다. 브라우저용 도구를 컴퓨터 전체로 넓혔다는 비유가 이 프로젝트의 위치를 잘 보여줍니다.
| 항목 | 내용 |
|---|---|
| 최신 릴리스 | v1.0.2 (2026년 10월 30일 21:17 UTC) |
| 형태 | Rust CLI · C 라이브러리, LLM과 GUI는 없음 |
| 명령 | 이름 기준 60개, 실제 동작 56개 |
| 라이선스 | Apache-2.0 |
| 반응 | 스타 3,186개 · 포크 208개 (작성 시점 GitHub API 실측) |
스크린샷 대신 접근성 트리를 읽는 방식
화면을 읽는 방식이 스크린샷이 아니라는 점이 핵심입니다. 운영체제의 접근성 트리를 읽어 JSON 스냅샷을 돌려주고, 조작할 수 있는 요소마다 ref를 붙이는 구조로 설계됐습니다.
에이전트는 좌표를 찍는 대신 ref를 눌러 실행합니다. 실행 뒤에는 다시 스냅샷을 찍어 결과를 확인하므로, 요소가 화면에서 옮겨가도 ref 기준으로 다시 찾을 수 있습니다.
- macOS에서는 AX API를 씁니다
- Windows에서는 UI Automation을 사용합니다
- Linux에서는 AT-SPI가 담당합니다
기본값은 headless입니다. ref 동작은 접근성 API로 실행돼 포인터를 움직이거나 포커스를 빼앗지 않으며, 물리 입력은 전역 --headed 플래그를 켰을 때만 허용됩니다.
실행 흐름
명령은 이름 기준 60개인데, 실제 동작하는 명령은 56개로 안내돼 있습니다. key-down, key-up, mouse-down, mouse-up 4개는 누른 키나 버튼을 풀어줄 데몬이 생기기 전까지 실행을 거부합니다.
제작자가 밝힌 토큰 절감 수치
토큰 절감 수치는 제작자 주장으로 제시됐습니다. 스켈레톤 탐색으로 Apple Maps 한 번 보기가 3,811토큰에서 273토큰으로 줄었고, 모의 52단계 과제는 198k토큰에서 31k토큰으로 줄었다는 설명입니다.
다만 이 숫자는 제작자 본인의 모의 과제 측정입니다. 제3자 재현 결과는 아직 확인되지 않았으므로, 도입 판단에서는 참고 수치로만 보시는 편이 맞습니다.
지원 환경과 설치 방법
설치는 한 줄로 끝납니다. Bun, Yarn, pnpm으로도 같은 패키지를 설치할 수 있고, x64와 ARM64용 네이티브 바이너리가 함께 들어 있습니다.
npm install -g agent-desktop
| 플랫폼 | 지원 범위 |
|---|---|
| macOS | 13 이상, 접근성 권한 필요 |
| Windows | 10 1809 이상 |
| Linux | Ubuntu 24.04 이상, 그래픽 세션에서 at-spi2-core 실행 필요 |
Homebrew와 Scoop 공식 패키지는 제출 중인 상태입니다. 기본 카탈로그에는 아직 없다는 점도 README에 함께 적혀 있습니다.
agent-browser와 모델 서비스 사이의 위치
Vercel Labs는 브라우저용으로 agent-browser를 먼저 내놨습니다. agent-browser도 접근성 트리를 ref로 압축해 에이전트가 픽셀 대신 요소를 가리키는 구조였고, agent-desktop은 같은 방식을 브라우저 밖 데스크톱 전체로 넓힌 도구입니다.
같은 시기 Google은 Gemini API Computer Use를 정식 출시했습니다. 그쪽은 모델 서비스이고 이쪽은 모델이 없는 실행 도구라는 점에서 위치가 다릅니다.
모델을 고를 필요가 없다는 점은 실무에서 큽니다. 지금 쓰는 코딩 에이전트에 그대로 붙여 시험할 수 있기 때문입니다.
조작 범위 밖의 앱과 보안 주의 사항
- 접근성 트리를 공개하지 않는 앱은 볼 수 없습니다. 픽셀 매칭도 하지 않으므로 그런 앱은 조작 범위 밖입니다
- 웹 페이지는 자동화 대상이 아닙니다. 웹은 agent-browser가 담당하고, agent-desktop은 실행한 Chromium이나 Electron 앱에 DevTools 포트를 여는 방식으로 연결합니다
- 스냅샷, 클립보드 읽기, 스크린샷, 명령 출력에는 개인 데스크톱 내용이 들어갈 수 있습니다
README는 이 산출물을 공개 로그나 업로드에 넣지 말라고 적고 있습니다. 데스크톱 전체를 읽는 도구인 만큼, 스냅샷을 로그에 남기는 습관부터 점검하시기 바랍니다.
실무 판단 기준
컴퓨터 사용 에이전트의 비용과 실패는 대개 화면 해석에서 나옵니다. 접근성 트리를 쓰면 스크린샷 해석 토큰을 줄일 수 있고, 요소 위치가 바뀌어도 다시 찾기 쉬워집니다.
Android 개발에서도 쓸모가 보입니다. 에뮬레이터 밖의 데스크톱 도구와 IDE, 사내 앱을 에이전트 작업 흐름에 붙이는 경로가 하나 더 생긴 셈입니다.
확인 순서는 세 가지입니다. 대상 앱이 접근성 트리를 공개하는지, 기본 headless 동작만으로 과제가 끝나는지, 스냅샷 산출물을 로그에 남기지 않는지를 먼저 확인하시기 바랍니다.