AX Trend

tester-army e2e: 검증·마이그레이션 스킬 2종 추가된 에이전틱 테스트와 에이전트 자가 검증

2026-10-15 · 원문 이슈 #3273

tester-army e2e 인포그래픽: 에이전트가 스스로 테스트한다

E2E 테스트의 오래된 딜레마가 있다. 스크립트 기반은 빠르고 싸지만 화면 하나 바뀌면 깨지고, 에이전트 기반은 화면에 강하지만 느리고 비싸다. TesterArmy(YC P26)의 오픈소스 프레임워크 e2e는 이 둘을 한 테스트 안에 공존시키는 구조로 시작했고, 이제 그 위에 실전 스킬 2종이 올라왔다. /create-verification-skill과 /migrate-to-e2e다.

방향은 뚜렷하다. ① 에이전트가 자기 작업물을 스스로 검증하게 하고(verify), ② 기존 테스트 자산을 agentic E2E로 옮기는 진입 장벽을 낮춘다(migrate). 둘 다 "에이전트 시대의 테스트"라는 같은 질문에 답하는, 용도가 다른 두 개의 스킬이다.

★10,738GitHub 스타 · Apache 2.0 (2026-07-22 생성)
/create-verification-skill10/13 공개 · X 조회 5.7만, 좋아요 1.1천
/migrate-to-e2e10/15 공개 · '둘 다 green' 원칙

프레임워크: 에이전트 스텝과 결정적 어서션의 공존

e2e 작동 방식: 에이전트 스텝 → 액션 캐시 저장 → 캐시 리플레이
에이전트 스텝이 통과하면 액션을 캐시해 다음 run부터 모델 호출 없이 리플레이

e2e의 핵심 아이디어는 단순하다. 테스트 안에 두 종류의 스텝이 함께 산다. agent.act() — 목표만 주면 모델이 클릭 경로를 탐색하는 에이전트 스텝. 그리고 screen.getByRole() + expect() — 접근성 역할 기반의 결정적 어서션. 탐색은 모델에게 맡기고, 증명은 결정적으로.

그리고 결정적인 한 줄: 에이전트 스텝이 한 번 통과하면 액션을 캐시해, 다음 run부터는 모델 호출 없이 리플레이한다. 스크립트 속도로 돌고 토큰 비용은 0. "에이전트의 탐색 능력으로 작성하고, 스크립트의 속도로 실행한다"는 구조다. 웹은 Playwright, iOS 시뮬레이터·Android 에뮬레이터는 agent-device 경유, 하나의 API로 묶었다.

이는 이전에 다룬 jevtest(#[3269])의 lockfile 결정적 리플레이와 같은 문제의식을 공유한다. 차이는 jevtest가 액션을 lockfile에 "결정적으로 고정"하는 데 집중한다면, e2e는 어서션 자체를 결정적(assertion-first)으로 설계하고 캐시는 액션에만 적용한다는 점이다.

/create-verification-skill: 에이전트에게 "증거 남기기" 장착

/create-verification-skill 인포그래픽: 에이전트가 자기 작업물을 스스로 검증
verify-<앱> 스킬 생성 — 기능별 explore charter와 feature map으로 한 번 증명

Oskar(@o_kwasniewski, TesterArmy)가 10/13에 X에 올린 스킬이다. "Allow your agent to verify its own work and bring you evidence with e2e as the verification layer." 이 스킬이 하는 일은 e2e 위에 프로젝트 전용 verify-<app> 스킬을 생성하는 것. 그 후 코딩 에이전트는 이 스킬을 통해 앱을 실행하고, 사용자처럼 기능을 실행하고, 증거를 남기고, bug bash까지 한다. 스킬 + 기능별 explore charter가 담긴 feature map을 쓰고 한 번 증명하는 플로우다.

# 검증 스킬 설치
npx skills add tester-army/e2e --skill create-verification-skill

개발자 관점에서 흥미로운 건 이게 "테스트 작성 자동화"가 아니라는 점이다. 코딩 에이전트 워크플로우의 검증 게이트를 설계하는 패턴에 가깝다. 모델의 "다 했습니다"를 그대로 받지 않고, 화면을 다시 읽어 실제 상태로 증명하는 루프 — mobile-jev의 검증 설계와 같은 철학이다.

/migrate-to-e2e: 기존 스위트를 한 조각씩 옮기기

/migrate-to-e2e 인포그래픽: '둘 다 green' 원칙으로 기존 스위트를 한 조각씩 포팅
'둘 다 green' 원칙 — 증명될 때까지新旧 스위트 모두 유지

Kacper Kapuściak(@kacperkapusciak)가 10/15에 공개한 두 번째 스킬이다. 기존 Playwright·Cypress·Selenium·Detox·Maestro 스위트를 한 번에 하나씩(slice) e2e로 포팅한다. 핵심 원칙은 이 한 줄이다: "둘 다 green" — 각 테스트가 증명될 때까지新旧 스위트 둘 다 green으로 유지.

# 마이그레이션 스킬 설치
npx skills add tester-army/e2e --skill migrate-to-e2e

이 원칙은 마이그레이션의 가장 큰 심리적 장벽 — "기존 스위트를 버려야 한다는 두려움" — 을 정면으로 겨냥한다. 기존 테스트를 언제 내릴지는 사용자가 결정하고, MIGRATION.md 진행 파일로 다음 세션(사람이든 에이전트든)이 이어서 진행한다. 결함을 일부러 심어 양쪽 스위트가 다 잡는 것을 보여주는 옵션까지 있다. Series 앱처럼 기존 테스트 자산이 있는 팀에게는 "전부 갈아엎지 않고 한 조각씩" 옮기는 현실적 경로다.

아직 안 밝혀진 것. 스레드 답글에서 언급된 v0.20.0의 전체 변경 내용은 상세 미확인이다. 캐시 리플레이가 UI 변경에 얼마나 강건한지는 독립 검증이 없다. 그리고 두 스킬 모두 스킬 소스 등급상 X(공식 계정) 발표로, 실무 도입 전에는 직접 실행해 검증하는 게 맞다.

실무 관점: 검증 게이트 설계에 참고할 점

핵심 링크


E2E 테스트AX Trend