tester-army e2e: 검증·마이그레이션 스킬 2종 추가된 에이전틱 테스트와 에이전트 자가 검증
E2E 테스트의 오래된 딜레마가 있다. 스크립트 기반은 빠르고 싸지만 화면 하나 바뀌면 깨지고, 에이전트 기반은 화면에 강하지만 느리고 비싸다. TesterArmy(YC P26)의 오픈소스 프레임워크 e2e는 이 둘을 한 테스트 안에 공존시키는 구조로 시작했고, 이제 그 위에 실전 스킬 2종이 올라왔다. /create-verification-skill과 /migrate-to-e2e다.
방향은 뚜렷하다. ① 에이전트가 자기 작업물을 스스로 검증하게 하고(verify), ② 기존 테스트 자산을 agentic E2E로 옮기는 진입 장벽을 낮춘다(migrate). 둘 다 "에이전트 시대의 테스트"라는 같은 질문에 답하는, 용도가 다른 두 개의 스킬이다.
프레임워크: 에이전트 스텝과 결정적 어서션의 공존
e2e의 핵심 아이디어는 단순하다. 테스트 안에 두 종류의 스텝이 함께 산다. agent.act() — 목표만 주면 모델이 클릭 경로를 탐색하는 에이전트 스텝. 그리고 screen.getByRole() + expect() — 접근성 역할 기반의 결정적 어서션. 탐색은 모델에게 맡기고, 증명은 결정적으로.
그리고 결정적인 한 줄: 에이전트 스텝이 한 번 통과하면 액션을 캐시해, 다음 run부터는 모델 호출 없이 리플레이한다. 스크립트 속도로 돌고 토큰 비용은 0. "에이전트의 탐색 능력으로 작성하고, 스크립트의 속도로 실행한다"는 구조다. 웹은 Playwright, iOS 시뮬레이터·Android 에뮬레이터는 agent-device 경유, 하나의 API로 묶었다.
이는 이전에 다룬 jevtest(#[3269])의 lockfile 결정적 리플레이와 같은 문제의식을 공유한다. 차이는 jevtest가 액션을 lockfile에 "결정적으로 고정"하는 데 집중한다면, e2e는 어서션 자체를 결정적(assertion-first)으로 설계하고 캐시는 액션에만 적용한다는 점이다.
/create-verification-skill: 에이전트에게 "증거 남기기" 장착
Oskar(@o_kwasniewski, TesterArmy)가 10/13에 X에 올린 스킬이다. "Allow your agent to verify its own work and bring you evidence with e2e as the verification layer." 이 스킬이 하는 일은 e2e 위에 프로젝트 전용 verify-<app> 스킬을 생성하는 것. 그 후 코딩 에이전트는 이 스킬을 통해 앱을 실행하고, 사용자처럼 기능을 실행하고, 증거를 남기고, bug bash까지 한다. 스킬 + 기능별 explore charter가 담긴 feature map을 쓰고 한 번 증명하는 플로우다.
# 검증 스킬 설치
npx skills add tester-army/e2e --skill create-verification-skill
개발자 관점에서 흥미로운 건 이게 "테스트 작성 자동화"가 아니라는 점이다. 코딩 에이전트 워크플로우의 검증 게이트를 설계하는 패턴에 가깝다. 모델의 "다 했습니다"를 그대로 받지 않고, 화면을 다시 읽어 실제 상태로 증명하는 루프 — mobile-jev의 검증 설계와 같은 철학이다.
/migrate-to-e2e: 기존 스위트를 한 조각씩 옮기기
Kacper Kapuściak(@kacperkapusciak)가 10/15에 공개한 두 번째 스킬이다. 기존 Playwright·Cypress·Selenium·Detox·Maestro 스위트를 한 번에 하나씩(slice) e2e로 포팅한다. 핵심 원칙은 이 한 줄이다: "둘 다 green" — 각 테스트가 증명될 때까지新旧 스위트 둘 다 green으로 유지.
# 마이그레이션 스킬 설치
npx skills add tester-army/e2e --skill migrate-to-e2e
이 원칙은 마이그레이션의 가장 큰 심리적 장벽 — "기존 스위트를 버려야 한다는 두려움" — 을 정면으로 겨냥한다. 기존 테스트를 언제 내릴지는 사용자가 결정하고, MIGRATION.md 진행 파일로 다음 세션(사람이든 에이전트든)이 이어서 진행한다. 결함을 일부러 심어 양쪽 스위트가 다 잡는 것을 보여주는 옵션까지 있다. Series 앱처럼 기존 테스트 자산이 있는 팀에게는 "전부 갈아엎지 않고 한 조각씩" 옮기는 현실적 경로다.
아직 안 밝혀진 것. 스레드 답글에서 언급된 v0.20.0의 전체 변경 내용은 상세 미확인이다. 캐시 리플레이가 UI 변경에 얼마나 강건한지는 독립 검증이 없다. 그리고 두 스킬 모두 스킬 소스 등급상 X(공식 계정) 발표로, 실무 도입 전에는 직접 실행해 검증하는 게 맞다.
실무 관점: 검증 게이트 설계에 참고할 점
- 탐색과 증명의 분리: 탐색(에이전트 스텝)은 모델에게, 증명(어서션·캐시 리플레이)은 결정적으로. 이 분리가 모델 호출 비용을 "첫 1회"로 한정시킨다.
- '둘 다 green'은 마이그레이션 계약이다: 기존 스위트를 내리는 시점을 "사용자가 결정"하게 두고, MIGRATION.md로 세션 간 연속성을 보장한다. 에이전트 파이프라인에 인간 개입 지점을 두는 방식이 현실적이다.
- 검증 스킬은 재사용 가능한 자산: 한 번 만든
verify-<app>스킬은 feature map과 함께 팀의 검증 지식으로 남는다. "테스트를 돌린다"가 아니라 "증거를 남기는 문화"에 가깝다.
핵심 링크
- tester-army/e2e (Apache 2.0, ★10,738)
- /create-verification-skill 발표 (10/13, X)
- /migrate-to-e2e 발표 (10/15, X)
- 원문 이슈 #3273 · 관련 이슈 #1587 (TesterArmy SaaS 발표)