Jev 오픈 LoRA 재현: 한 번의 forward pass로 답을 읽는 결정 모델와 LoRA 헤드 읽기

2026-10-22 arXiv 제출 · ax-trend 이슈 #3470 · Jev

Jev 개요 — 한 번의 forward pass로 답하는 typed decision
Jev — 답을 생성하지 않고, 한 번의 forward pass로 읽는다

핵심 — 답을 생성하지 않고 읽는다

// 개념도: 생성 파서 대신 헤드를 한 번 읽는다
evidence, question, options  →  backbone (frozen) + rank-16 LoRA
logits / hidden state        →  pointer head
output: per-option probabilities (one forward pass)
Part I — 사내 평가 비용: 패스당 약 $1,000을 약 $0.06으로
Part I — 사내 System~1 judge 실전 사용, 패스당 약 $1,000 → 약 $0.06

Part I — 사내 평가기를 $0.06짜리로

개념 흐름은 이렇게 읽힌다: judge 호출을 LLM API가 아니라 사내 GPU의 forward pass 한 번으로 바꾼다. 비용 구조가 바뀌면 평가를 매일 돌릴 수 있다.
Part II — JevBench hard 111문항: 35B 단일 시드 79.3% vs 상용 참조 73.0%
Part II — 오픈 재현: JevBench hard 111문항, 35B 단일 시드 79.3%

Part II — 오픈 재현이 상용 참조와 유의차 없음

출력 레이어 26개 letter 행 학습의 이득은 감지되지 않았다는 점도 저자들이 직접 보고한다. 작은 평가의 해상도 한계를 지적한다 (arXiv).
왜 중요한지 — 평가 루프를 매일 돌리고 온디바이스에서도 유리한 one-forward-pass 판정
왜 중요한지 — 평가 루프를 매일 돌리고, 온디바이스에서도 유리하다

왜 중요한지 — Series 코딩 세션 라벨링

모바일 에이전트 평가에 frontier judge를 돌리면 패스당 $1,000이다. $0.06짜리 사내 judge가 같은 일을 하면 평가 루프를 매일 돌릴 수 있다. Android 온디바이스에서도 one-forward-pass 판정은 지연·배터리 양쪽에 유리하다. 라벨링을 매일 돌리면 코딩 에이전트의 회귀를 조기에 잡을 수 있다 (이슈 배경).

아직 안 밝혀진 것

원문 이슈

Jev AI 코딩 온디바이스 성능 최적화