Gemini API Computer Use 정식 출시 — 두 API에서 GA, 지원 모델 4종 정리
공개 내용
Google은 2026년 10월 30일 Gemini API 릴리스 노트에서 Computer Use 도구를 정식 출시(GA)로 전환했다고 밝혔습니다. 적용 범위는 Interactions API와 GenerateContent API 두 가지입니다.
Computer Use는 스크린샷으로 화면을 보고 마우스 클릭과 키보드 입력 같은 UI 동작을 생성하는 도구입니다. 지원 환경은 브라우저와 모바일, 데스크톱으로 안내됐습니다.
| 항목 | 내용 |
|---|---|
| 상태 | 프리뷰에서 정식 출시(GA)로 전환됐습니다 |
| 적용 API | Interactions API, GenerateContent API |
| 지원 환경 | 브라우저, 모바일, 데스크톱 |
| 지원 모델 | 4종 (아래 표 참고) |
지원 모델 구성
같은 도구를 네 가지 모델에서 쓸 수 있게 됐습니다. 공식 문서는 이 가운데 Gemini 3.8 Flash를 Computer Use에 권장하는 모델로 적었습니다.
| 모델 | 모델 ID | 비고 |
|---|---|---|
| Gemini 4 Argon | gemini-4-argon | 2026년 10월 13일 정식 출시된 모델입니다 |
| Gemini 3.8 Flash | gemini-3.8-flash | 공식 문서의 권장 모델입니다 |
| Gemini 3.5 Flash-Lite | gemini-3.5-flash-lite | 지원 모델에 포함됐습니다 |
| Gemini 3 Flash Preview | gemini-3-flash-preview | 지원 모델에 포함됐습니다 |
권장 이유는 높은 UI 상호작용 정확도와 안정적인 도구 호출로 설명됐습니다. 다만 모델별 정확도 수치 자체는 이번 공개에서 함께 제시되지 않았습니다.
권장 모델이 문서에 명시됐다는 점은 도입 시 모델 선택 기준이 생겼다는 뜻입니다. 나머지 모델은 비용과 속도 조건에 따라 비교 대상으로 남습니다.
클라이언트 실행 루프 구조
실행 구조는 클라이언트 쪽 루프입니다. 모델이 서버에서 화면을 직접 만지는 구조가 아니라, 동작 제안과 실제 실행이 나뉘어 있습니다.
- 모델은
function_call로 다음 동작을 제안합니다 - 클라이언트는 좌표를 실제 화면 크기로 바꿔 동작을 실행합니다
- 실행 뒤에는 새 스크린샷을 모델에 돌려보냅니다
- 이 과정은 목표를 마칠 때까지 반복됩니다
Gemini 4와 Gemini 3.x 모델에서는 동작마다 이유를 설명하는 intent 필드가 함께 나옵니다. 어떤 동작이 왜 제안됐는지를 로그로 남기기 쉬운 구조입니다.
안전 정책과 인젝션 탐지
안전 정책은 범주와 재정의로 조정할 수 있게 됐습니다. 동작 실행 전에 확인을 요구하거나 차단하는 판단은 safety_decision 흐름으로 다뤄집니다.
프롬프트 인젝션 탐지는 선택 기능으로 제공됩니다. 스크린샷을 스캔해 화면 안에 숨은 적대적 지시를 찾는 방식으로 동작합니다.
인젝션 탐지는 기본값이 아니라 선택 기능입니다. 화면 속 지시를 그대로 따르는 에이전트라면, 도입 전에 이 기능을 켤지부터 정하시는 편이 안전합니다.
프리뷰에서 정식으로 바뀐 의미
Computer Use는 그동안 프리뷰 단계에 머물러 있었습니다. Gemini Enterprise Agent Platform 쪽에서는 2026년 9월에 Computer Use 샌드박스가 먼저 정식 출시된 바 있습니다.
이번 발표는 개발자가 직접 쓰는 Gemini API 쪽 도구가 정식 단계로 올라간 조치입니다. 프로덕션 도입을 막던 불확실성이 줄었고, 안전 정책과 인젝션 탐지를 설정으로 다룰 수 있어 운영 기준을 세우기 쉬워졌습니다.
모바일 환경이 지원 범위에 들어 있다는 점도 큽니다. 앱 화면을 대상으로 한 자동 테스트와 반복 입력 작업을 같은 API로 묶을 수 있게 됐기 때문입니다.
아직 확인되지 않은 부분
- Computer Use 자체의 별도 가격은 미확인입니다
- 호출 한도와 안정성 보장 범위의 변경 내용은 미확인입니다
safety_decision판단 기준의 세부 목록은 정책 범주 설명 범위까지만 공개됐습니다
실무 판단 기준
도입 판단에서는 모델 이름보다 실행 루프를 누가 책임지는지를 먼저 보시기 바랍니다. 좌표 변환과 실행, 실패 시 중단 조건은 전부 클라이언트 쪽 구현에 달려 있습니다.
확인 순서는 세 가지입니다. 권장 모델인 Gemini 3.8 Flash로 시작했는지, intent와 safety_decision을 로그로 남기는지, 인젝션 탐지를 켰는지를 먼저 확인하시기 바랍니다.