Gemini API Computer Use 정식 출시 — 두 API에서 GA, 지원 모델 4종 정리

Google 공식 · ax-trend 이슈 #3679 · 2026-10-30 공개

Gemini Computer Use 정식 출시 — 두 API에서 GA, 지원 모델 4종
화면을 보고 직접 조작하는 도구가 프리뷰를 벗어났습니다

공개 내용

Google은 2026년 10월 30일 Gemini API 릴리스 노트에서 Computer Use 도구를 정식 출시(GA)로 전환했다고 밝혔습니다. 적용 범위는 Interactions API와 GenerateContent API 두 가지입니다.

Computer Use는 스크린샷으로 화면을 보고 마우스 클릭과 키보드 입력 같은 UI 동작을 생성하는 도구입니다. 지원 환경은 브라우저와 모바일, 데스크톱으로 안내됐습니다.

항목내용
상태프리뷰에서 정식 출시(GA)로 전환됐습니다
적용 APIInteractions API, GenerateContent API
지원 환경브라우저, 모바일, 데스크톱
지원 모델4종 (아래 표 참고)

지원 모델 구성

같은 도구를 네 가지 모델에서 쓸 수 있게 됐습니다. 공식 문서는 이 가운데 Gemini 3.8 Flash를 Computer Use에 권장하는 모델로 적었습니다.

모델모델 ID비고
Gemini 4 Argongemini-4-argon2026년 10월 13일 정식 출시된 모델입니다
Gemini 3.8 Flashgemini-3.8-flash공식 문서의 권장 모델입니다
Gemini 3.5 Flash-Litegemini-3.5-flash-lite지원 모델에 포함됐습니다
Gemini 3 Flash Previewgemini-3-flash-preview지원 모델에 포함됐습니다

권장 이유는 높은 UI 상호작용 정확도와 안정적인 도구 호출로 설명됐습니다. 다만 모델별 정확도 수치 자체는 이번 공개에서 함께 제시되지 않았습니다.

권장 모델이 문서에 명시됐다는 점은 도입 시 모델 선택 기준이 생겼다는 뜻입니다. 나머지 모델은 비용과 속도 조건에 따라 비교 대상으로 남습니다.

클라이언트 실행 루프 구조

실행 구조는 클라이언트 쪽 루프입니다. 모델이 서버에서 화면을 직접 만지는 구조가 아니라, 동작 제안과 실제 실행이 나뉘어 있습니다.

Computer Use 실행 루프 — 스크린샷 전달, 동작 제안, 실행, 화면 회신, 반복
제안은 모델이 하고, 실행과 화면 회신은 클라이언트가 맡습니다

Gemini 4와 Gemini 3.x 모델에서는 동작마다 이유를 설명하는 intent 필드가 함께 나옵니다. 어떤 동작이 왜 제안됐는지를 로그로 남기기 쉬운 구조입니다.

안전 정책과 인젝션 탐지

안전 정책은 범주와 재정의로 조정할 수 있게 됐습니다. 동작 실행 전에 확인을 요구하거나 차단하는 판단은 safety_decision 흐름으로 다뤄집니다.

프롬프트 인젝션 탐지는 선택 기능으로 제공됩니다. 스크린샷을 스캔해 화면 안에 숨은 적대적 지시를 찾는 방식으로 동작합니다.

인젝션 탐지는 기본값이 아니라 선택 기능입니다. 화면 속 지시를 그대로 따르는 에이전트라면, 도입 전에 이 기능을 켤지부터 정하시는 편이 안전합니다.

프리뷰에서 정식으로 바뀐 의미

Computer Use는 그동안 프리뷰 단계에 머물러 있었습니다. Gemini Enterprise Agent Platform 쪽에서는 2026년 9월에 Computer Use 샌드박스가 먼저 정식 출시된 바 있습니다.

이번 발표는 개발자가 직접 쓰는 Gemini API 쪽 도구가 정식 단계로 올라간 조치입니다. 프로덕션 도입을 막던 불확실성이 줄었고, 안전 정책과 인젝션 탐지를 설정으로 다룰 수 있어 운영 기준을 세우기 쉬워졌습니다.

모바일 환경이 지원 범위에 들어 있다는 점도 큽니다. 앱 화면을 대상으로 한 자동 테스트와 반복 입력 작업을 같은 API로 묶을 수 있게 됐기 때문입니다.

아직 확인되지 않은 부분

실무 판단 기준

도입 판단에서는 모델 이름보다 실행 루프를 누가 책임지는지를 먼저 보시기 바랍니다. 좌표 변환과 실행, 실패 시 중단 조건은 전부 클라이언트 쪽 구현에 달려 있습니다.

확인 순서는 세 가지입니다. 권장 모델인 Gemini 3.8 Flash로 시작했는지, intent와 safety_decision을 로그로 남기는지, 인젝션 탐지를 켰는지를 먼저 확인하시기 바랍니다.

출처

Google멀티모달AX Trend