target probability reuse: 타깃 확률 재사용으로 추측 디코딩을 가속한다

2026-10-21 arXiv 제출 · ax-trend 이슈 #3446 · 성능 최적화

Target Probability Reuse 개요 — 추측 디코딩 가속, 6개 target, first-token rerank가 draft ranking을 앞선다
Target Probability Reuse — 검증 패스의 부산물을 다음 라운드의 트리 설계에 쓴다

핵심 — 검증 패스의 부산물이 다음 트리의 가이드가 된다

동작 방식 — Draft tree → Target verifies → Reuse next-token distribution → Pick next tree
동작 방식 — 확률 분포는 이미 계산돼 있다. 새로 만들 필요가 없다

설계 — 트리를 할당하기 전에 먼저 first token을 뽑는다

결과 — Expected acceptance wins: rerank beats draft ranking, sample first token beats pruning
결과 — draft의 순위 매기기를 target의 확률로 덮어쓴다

결과 — draft ranking이 아니라 target 분포가 순위를 정한다

실무 처방 — 작은 tree budget에서 저렴한 추론, 약한 draft의 엣지 환경에서 유리
실무 처방 — 비용이 곧 서비스 비용인 시대에 디코딩 효율은 곧 마진이다

의미 — 추론 비용이 곧 서비스 비용인 시대의 디코딩 처방

AX TF 관점. LLM 서빙 비용을 깎을 때 draft 모델만 바꾸는 게 아니라 검증 패스의 부산물을 보는 것이 이 논문의 처방이다. 이미 계산된 확률을 다음 트리 선택에 재사용하는 것은 추가 추론이 아니라 정보 활용도의 문제다. 사내 LLM 서빙에 추측 디코딩을 쓰고 있다면, first-token branch 리랭크를 현재 draft 전략에 붙여 A/B로 돌려보는 것이 가장 저렴한 실험이다. tree budget이 작은 서빙 환경부터 시작하라 (이슈 배경).

아직 안 밝혀진 것 — 모델 명단·비용 균형·EAGLE 결합

⚠️ 미확인: 여섯 개 target의 구체 모델명은 초록에 없음 (arXiv). separate target pass의 추가 연산 비용과 실제 처리량 이득의 균형은 미확인 (arXiv). EAGLE 계열 draft 모델과의 결합 결과는 미확인 (이슈 쟁점).

원문 이슈

이 글은 ax-trend 이슈 #3446을 바탕으로 작성됐다. 핵심 링크: arXiv:2610.29210 — target probability reuse (2026-10-21 제출).

성능 최적화온디바이스AX Trend