SAKURA: 대역폭 적응형 KV 캐시로 폰 온디바이스 이미지 편집 가속와 클라우드-엣지 구조

arXiv · ax-trend 이슈 #3476 · 2026-10-22 제출

SAKURA overview — cloud-edge KV cache for on-device image editing
개요 — 클라우드-엣지 아키텍처: 재사용 attention state를 대역폭 예산 안에서 모바일로 전달한다

핵심 — 캐시 전송이 추론 경로의 병목이다

SAKURA bottleneck — reusable KV state is large, mobile networks fluctuate
병목 — 재사용 KV state는 크고, 모바일 네트워크는 불안정하다

동작 — 토큰 중요도 압축과 파이프라인 실행

SAKURA pipeline — token-importance compression, cache transfer overlaps on-device execution
동작 — 토큰 중요도 압축과 대역폭 적응, 전송과 실행의 파이프라인 중첩

수치 — 지연과 캐시 저장 모두 줄었다

세 수치의 비교 기준이 다르다는 점에 주의한다. 1.82배는 CacheGen과의 비교, 3.27배는 온디바이스 생성과의 비교, 3.06배는 압축하지 않은 캐시와의 비교다.
SAKURA results — 1.82x vs CacheGen, 3.27x vs on-device, 3.06x smaller cache storage
수치 — 지연 1.82배·3.27배 감소, 캐시 저장 3.06배 축소

왜 중요한지 — 온디바이스 생성형 AI의 실용화 조건

폰 이미지 편집은 프라이버시 때문에 온디바이스 추론이 유리하다. 요청별 추론을 디바이스에 두면 개인 이미지와 프롬프트를 클라우드에 보내지 않아도 된다. 기존의 cloud-device collaboration은 효율과 프라이버시를 함께 잡지만, 핵심 병목은 재사용 KV 캐시의 크기와 전송이다. Android 개발자 관점에서 온디바이스 생성형 AI의 실용화는 메모리와 대역폭 최적화에 달려 있다. diffusion transformer 기반 편집 서비스가 대표적 예다. Snapdragon 8 Elite Gen 5라는 최신 플래그십 모바일 칩에서의 실측 수치는 디바이스 타깃 선정의 근거가 된다. 개인 이미지와 프롬프트를 클라우드에 안 보낸다는 점은 사용자 신뢰와 규제 대응에도 중요하다.

아직 안 밝혀진 것 / 쟁점

원문 이슈

온디바이스이미지 생성성능 최적화AX Trend