GUI-JEPA 공개 — 디코더 없이 모바일 GUI 동작을 고르는 빠른 에이전트 정책

Bingchao Wang 외 · GUI-JEPA · ax-trend 이슈 #3624 · 2026-10-27 공개

GUI-JEPA — 디코더 없이 모바일 GUI 동작을 고르는 빠른 에이전트 정책
개요 — 생성하지 않고 고른다는 발상의 전환이 속도·크기를 함께 줄였습니다

기존 방식의 병목

모바일 GUI 에이전트는 보통 7B 규모로 미세 조정된 비전-언어 모델(VLM)이 동작을 텍스트로 하나씩 생성하는 방식으로 동작합니다. 매 동작마다 토큰을 하나씩 디코딩해야 하니 느리고 메모리도 많이 듭니다. 후보 동작을 점수 매기는 방식도 대규모 언어 모델이나 VLM을 루프 안에 두는 구조라, 병목이 사라지지 않았습니다.

온디바이스나 저지연 환경에서는 이 구조가 그대로 비용이 됩니다. 화면을 보고 다음 동작을 정하는 일이 매번 거대한 모델의 생성을 거치기 때문입니다. GUI-JEPA는 여기서 질문을 바꿨습니다. 동작을 새로 써내는 대신, 후보 중에서 고르는 문제로 바꾼 것입니다.

생성에서 선택으로

GUI-JEPA는 Joint-Embedding Predictive Architecture(JEPA)에 기반한 첫 디코더 없는 GUI 에이전트 정책입니다. 라벨 없는 GUI 스크린샷으로 사전 학습한 JEPA 인코더의 잠재 공간에서 동작을 선택합니다.

GUI-JEPA 동작 선택 흐름: 화면 잠재 인코딩, 후보 동작 잠재 예측, 배치 1회 점수 매기기, 최고 점수 동작 선택
동작 선택 흐름 — 토큰을 디코딩하지 않고 잠재 공간에서 후보를 비교합니다

흐름은 네 단계로 정리됩니다. 먼저 화면을 잠재로 인코딩하고, 동작·영역 조건 잠재 예측기가 화면 잠재를 후보 동작별 잠재로 바꿉니다. 이어서 가벼운 헤드가 토큰 디코딩 없이 한 번의 배치 패스로 모든 후보를 지시와 비교해 점수를 매깁니다. 마지막으로 가장 높은 점수의 동작을 선택합니다.

핵심은 모델을 더 크게 만드는 것이 아니라, 동작 결정 자체를 생성에서 선택으로 옮긴 점입니다.

측정 결과

AndroidControl에서 GUI-JEPA는 같은 GPU에서 같은 입력으로 미세 조정한 Qwen2.5-VL-7B 에이전트 대비 2.8~4.0배 빨랐습니다. 분포 내 정확도는 86~92%에 도달했으며, 파라미터는 비교 대상의 6% 수준이었습니다.

파라미터 규모 비교: Qwen2.5-VL-7B 100% 기준 GUI-JEPA 6%
파라미터 규모 비교 — 비교 대상의 6% 수준입니다 (arXiv 초록)

학습 방식의 이례적인 결과

예측기는 화면 동역학 사전 학습이 아니라 판정 자체를 위해 학습됩니다. 그런데 무작위 초기화된 예측기도 동역학 사전 학습 예측기만큼 잘 동작했다고 합니다. 동역학을 먼저 배우는 단계가 판정 성능에 필수적이지 않았다는 뜻으로 읽힙니다.

이 결과는 설계 단순화의 여지를 보여줍니다. 동역학 사전 학습을 생략해도 판정 품질이 유지된다면, 학습 파이프라인의 한 단계를 덜 수 있기 때문입니다. 다만 이 결론은 초록에 제시된 범위 안에서만 유효합니다. 어떤 태스크·조건에서 동등했는지는 본문 확인이 필요합니다.

아직 확인되지 않은 점

분포 외 환경에서의 정확도와 실패 형태는 초록에 수치로 제시되지 않았습니다. 학습에 쓴 GUI 스크린샷의 규모와 출처도 초록에서 확인되지 않았습니다. 실제 기기에서의 지연·메모리 측정 결과 역시 초록에 언급되지 않았으므로, 온디바이스 실측 수치로 인용하면 안 됩니다.

실무 판단: 온디바이스 설계의 참고 근거로 읽을 것

Android 개발자에게 이 논문의 가치는 온디바이스 에이전트 설계의 참고 근거에 있습니다. 2.8~4.0배 속도, 6% 파라미터라는 수치는 경량화 방향을 가늠하는 기준이 됩니다. 코드가 공개돼 있어 재현과 응용도 가능합니다. 다만 실제 기기 실측이 없다는 점은 분명히 구분해야 합니다. 분포 내 정확도만으로 실전 성능을 단정하지 말고, 분포 외 조건에서의 실패 형태를 본문에서 확인한 뒤에 도입을 검토하는 것이 순서입니다.

원문 이슈

AX TrendAndroid에이전트 모델온디바이스