mobile-jev: Jev 판단 모델이 구동하는 실기기 Android UI 에이전트와 클라우드 실기기
모바일 UI 에이전트의 딜레마는 명확하다. 무거운 멀티모달 LLM에 화면을 통째로 던지면 판단은 그럴듯하지만 느리고 비싸다. 스크립트 기반은 빠르고 싸지만 화면 하나 바뀌면 깨진다. droidrun의 mobile-jev는 이 사이를 이렇게 가르른다: 판단은 빠르고 싼 전용 판단 모델에, 실행은 클라우드 실기기 API에.
핵심 분업 구조는 한 줄이다: "판단은 빠른 Jev, 실행은 Mobilerun". TypeSafe AI의 Jev(System One 결정 모델, 토큰 생성 없이 구조화된 판단만 반환)가 다음 액션을 고르고, Mobilerun의 클라우드 Android 디바이스 API가 실제로 터치한다. ADB 연결도 필요 없다.
분업 구조: 판단은 Jev, 실행은 Mobilerun
아키텍처를 뜯어보면 에이전트 루프가 깔끔하게 두 레이어로 분리되어 있다. Jev는 화면 묘사를 받아서 "다음에 뭘 눌러야 하는지"라는 구조화된 판단만 낸다. 액션의 실제 수행 — 탭, 입력, 스크롤 — 은 Mobilerun API가 담당한다. 판단 모델이 디바이스 프로토콜을 알 필요가 없고, 실행 레이어는 "뭘 해야 하는지"를 알 필요가 없다.
이 분리가 가져오는 실무적 이점은 두 가지다. 첫째, 판단 지연이 병목이 아니다. 70~250ms짜리 Jev 판단은 액션 간 대기 시간에 묻힌다. 둘째, 디바이스 인프라를 로컬에 두지 않아도 된다. Mobilerun Android 디바이스 + API 키만 있으면 에뮬레이터도 ADB도 없이 돌아간다. CI 머신이나 로컬 맥북에 에뮬레이터 띄우고 플래키한 부팅을 기다릴 필요가 없다는 얘기다.
같은 Jev 생태계에서 나온 쌍둥이 프로젝트가 Just-Betr의 jevtest(이슈 #3269)다. jevtest가 E2E 테스트 자동화에 Jev를 쓴다면, mobile-jev는 실제 폰을 조작하는 에이전트에 Jev를 쓴 경우다. 판단 레이어를 공유하고 용도가 갈라진 한 쌍으로 보면 된다.
Uber 데모: 21초, 9개 액션
README의 데모 시나리오는 이렇다. Jev가 실제 Mobilerun 폰에서 Uber 앱을 열고, 샌프란시스코 공항에서 골든게이트까지의 경로를 입력한 뒤 결제 선택 화면까지 도달한다. 기록된 타이머 기준으로 약 21초에 9개 액션. 액션당 평균 2.3초 — 판단(0.25초 이하)보다 디바이스 반응과 앱 렌더링이 시간을 먹는 구조임을 알 수 있다.
정직한 한계도 README에 적혀 있다: 실제 예약 완료는 데모하지 않았다. 결제 직전에서 멈췄다는 건, "마지막 단계의 신뢰도는 미확인"이라는 뜻이기도 하다. 에이전트 데모에서 가장 깨지기 쉬운 구간이 결제·인증 같은 되돌리기 어려운 액션이라는 걸 생각하면, 평가할 때는 이 경계를 명확히 해두는 게 맞다.
검증 설계: 모델의 DONE을 증거로 받지 않는다
이 프로젝트에서 개발자 관점으로 가장 주목할 설계는 내장 데모 "다크 테마 켜기"의 검증 방식이다. Jev가 설치된 앱 목록에서 Settings를 찾아 열고, 다크 테마 관련 컨트롤을 선택해 변경한다. 여기서 데모 러너는 화면을 다시 읽어 실제 다크 테마 스위치가 켜졌는지 검증한다. 모델이 "다 했습니다"라고 말한 것을 증거로 받지 않는다는 얘기다.
에이전트 시스템에서 이건 사소해 보이지만 결정적인 차이다. LLM 기반 에이전트의 고질적 실패 모드 중 하나가 조기 완료 선언(premature DONE)이다. "버튼을 눌렀다"는 액션 로그와 "버튼이 눌린 상태가 됐다"는 상태 확인은 다른 레이어의 정보다. mobile-jev는 후자를 검증 루프에 넣음으로써, 판단 모델의 할루시네이션 경로를 실행 결과로 차단한다.
직접 돌려보기
실행 조건은 단순하다. Node.js 24 권장, pnpm 10.30.1, Mobilerun Android 디바이스, 그리고 Mobilerun·TypeSafe API 키 두 개다.
# 의존성 설치 후 개발 서버 시작
pnpm install
pnpm dev
# http://127.0.0.1:3040 에서 목표 입력 → Run task
스튜디오는 공식 @mobilerun/react 컴포넌트 기반이다. 라이브 디바이스 스트림, 목표 입력창, 실행 액션 타임라인, 모델 지연 측정, 그리고 완료·실패·취소 시 멈추는 태스크 시계가 한 화면에 들어간다. 에이전트를 돌려보면서 "어디서 시간이 가는지"를 실시간으로 볼 수 있다는 점이 디버깅 관점에서 유용하다. 요청 단위 지연 측정도 내장되어 있어 Jev 호출 비용을 액션별로 추적할 수 있다.
실무 관점: Series 같은 실제 앱에 붙인다면
Android 개발자로서 주목할 포인트 세 가지:
- 실기기 테스트 인프라의 대안: ADB 없이 클라우드 디바이스 API로 조작하는 구조는 사내 디바이스 팜 운영 부담을 덜어준다. 특히 접근성 트리 기반 화면 묘사가 전제라면, Series처럼 접근성 라벨이 잘 갖춰진 앱일수록 판단 품질이 좋아질 가능성이 크다.
- 판단/실행 분리의 재사용성: Jev 판단 레이어를 jevtest(E2E 테스트)와 mobile-jev(에이전트)가 공유하는 구조는, 같은 판단 모델을 QA 자동화와 실제 조작 양쪽에 쓰는 패턴으로 확장할 수 있다.
- 비용 구조의 투명성: 요청 단위 지연 측정이 내장되어 있어 "액션당 얼마"를 바로 계산할 수 있다. 다만 Mobilerun 디바이스·서비스 요금은 별도라 전체 TCO는 직접 확인해야 한다.
아직 안 밝혀진 것. Mobilerun 디바이스·서비스 요금이 별도라 전체 비용은 미확인이다. Uber 데모가 결제 직전에서 멈춘 점 — 실제 예약까지의 신뢰도도 미확인이다. 그리고 Jev 판단이 화면의 텍스트 묘사에 의존하므로, 접근성 정보가 부실한 화면에서의 성능은 직접 검증이 필요하다.
핵심 링크
- droidrun/mobile-jev (MIT, ★447, 2026-09-17 생성)
- 원문 이슈 #3270