jevtest: Jev 판단 모델로 평문만 쓰는 모바일 E2E 테스트 자동화와 lockfile 리플레이
모바일 E2E 테스트의 고질병은 테스트가 깨지는 게 아니라 유지보수다. Appium 스크립트에 박힌 셀렉터 하나가 디자이너의 A/B 실험에 무너지고, Flaky 테스트는 "리런 한 번 더"로 관성에 묻힌다. 이 문제를 "스크립트 대신 평문으로 목표만 쓰고, 판단은 빠른 모델이 하게" 풀려는 오픈소스가 나왔다. Just-Betr의 jevtest다.
이 프로젝트의 핵심은 두 가지다. 첫째, TypeSafe AI의 Jev(System One 결정 모델, 70~250ms, 토큰 생성 없이 구조화된 판단 반환)를 모바일 테스트에 붙인 첫 사례 중 하나라는 점. 둘째, 모든 Jev 판단을 lockfile에 기록해 --lock frozen이면 네트워크도 API 키도 없이 정확히 리플레이된다는 점이다.
어떻게 도는가: 5단계 테스트 루프
동작 방식은 단순하다. 디바이스의 작은 에이전트가 accessibility tree를 밀리초 단위로 읽고, jevtest가 현재 화면을 텍스트로 묘사하면 Jev가 화면 위 옵션 중에서 다음 액션과 엘리먼트를 선택한다. 중요한 제약이 하나 있다: Jev는 텍스트를 쓰지 않는다. 입력되는 문자열은 전부 테스트 파일에서 나와야 한다. LLM이 마음대로 문자열을 지어내는 할루시네이션 경로를 구조적으로 차단한 셈이다.
각 판단은 기록되고 실행되며, 목표 달성까지 루프가 반복된다. tester-army의 e2e가 "느린 에이전트 스텝을 캐시 리플레이로 빠르게"라면, jevtest는 "판단 자체를 빠른 모델로" 접근하는 셈이다.
YAML 한 장으로 쓰는 테스트
테스트 형식은 YAML이다. 실제 README 예시는 이런 식이다:
tests:
- name: Sign in
steps:
- do: Sign in with email "${DEMO_EMAIL}" and password "${DEMO_PASSWORD}"
expect: The home screen is showing
see: Welcome, ${DEMO_EMAIL}
키워드는 세 가지 역할을 나눈다:
do:— 평문으로 목표를 쓴다. "이메일로 로그인" 같은 자연어 명령이다.tap:·type:·swipe:·scroll_to:— 22개 이상의 정밀 제어 스텝. 에이전트 판단 없이 직접 지정하고 싶을 때 쓴다.expect:·see:— 화면 상태 검증. 기대 화면과 화면에 보여야 할 텍스트를 선언한다.
개발자 관점에서 흥미로운 설계는 do:와 정밀 스텝의 하이브리드다. "로그인"처럼 변동 가능한 흐름은 평문으로, "체크박스 토글"처럼 결정적인 동작은 tap:으로. 기존 스크립트 테스트의 유지보수 부담은 평문으로 덜고, 정밀도는 코드로 지킨다.
부가 기능도 실무 친화적이다. jevtest inspect는 앱을 실행해 각 화면의 엘리먼트를 박스 표시한 스크린샷 + 스텝이 쓸 이름 + 에이전트가 테스트 작성 시 참고하는 JSON 덤프를 저장한다. 테스트 중 바뀐 디바이스 상태(방향·다크모드·네트워크·자동완성·위치)는 원복한다 — 테스트 오염 방지 차원이다.
결정적 리플레이: lockfile의 진짜 가치
모든 Jev 판단은 lockfile에 기록된다. 같은 화면은 항상 같은 답 — 이 한 줄이 CI에서 이 도구가 살아남는 이유다. 예시 실행 로그가 보여주는 것처럼:
Login test PASSED in 5.1s
Jev: 1 decision, 1 from lockfile, 0 asked live in 0.0s, $0.0000
--lock frozen이면 네트워크도 API 키도 없이 정확히 리플레이된다. 에이전트 기반 테스트가 늘 안고 가는 "비싼 추론 비용 + 비결정성"이라는 두 가지 약점을 lockfile 하나로 끊어낸 설계다.
실무 관점: Series 같은 실제 앱에 붙인다면
Android 개발자로서 주목할 포인트 세 가지:
- 유지보수 부담 감소: 접근성 트리 기반 묘사 + 평문 목표 조합이면, ID나 XPath 셀렉터가 바뀌어도 테스트 파일은 그대로다. A/B 실험이 잦은 앱일수록 유리하다.
- CI 친화성: FROZEN 리플레이는 API 키 없이 돌고, 비용이 0이다. PR마다 돌리는 회귀 테스트로 현실적이다.
- 검증 커버리지: Flutter 데모 앱으로 Android 에뮬레이터(API 37)·Pixel 4a(Android 13)·iOS 시뮬레이터(iOS 26)·iPhone 17(iOS 27) E2E를 돌렸다고 PyPI 페이지는 주장한다. 네이티브·Flutter·React Native·인앱 WebView를 같은 방식으로 구동한다는 점도 확인해볼 가치 있다.
아직 안 밝혀진 것. ★3(2026-09-25 생성)의 초기 프로젝트라 커뮤니티 검증은 없다. 그리고 Jev 판단이 accessibility tree의 텍스트 묘사에 의존하므로, 접근성 정보가 부실한 앱에서의 성능은 미확인이다. 접근성 라벨이 빈약한 화면이 많은 앱이라면 먼저 jevtest inspect로 묘사 품질을 확인하는 게 순서다.
관련 계열로 droidrun의 mobile-jev(#3270)도 있다. Uber 데모를 21초/9액션으로 돌린 Android 실기기 에이전트인데, 같은 Jev 생태계에서 나온 쌍둥이 프로젝트쯤으로 보면 된다.
핵심 링크
- Just-Betr/jevtest (MIT, PyPI에
jevtest로 배포, 0.7.0) - 원문 이슈 #3269