hunch 공개 — EmbeddingGemma2 기반 System One 판단 서버, CPU 추론

2026-10-29 · AX 트렌드 · 출처: GitHub 저장소 undrgrnd-labs/hunch

System One 판단 서버 hunch의 저장소가 GitHub에서 공개 상태로 확인됐습니다. Matt Mastracci가 10월 27일 X 포스트에서 데모만 보여줬을 때는 저장소가 확인되지 않아 이슈로 발행되지 않았고, 이번 사건은 데모가 아니라 저장소 공개 자체입니다. 저장소는 개인 계정이 아니라 Mastracci가 최대 기여자로 참여하는 Underground Labs 조직 계정에서 공개됐으며, 조직 설명은 "Stealth continual learning startup"입니다.

hunch 공개 타이틀카드
hunch — EmbeddingGemma2 기반 판단 서버, CPU 밀리초 추론

공개 내용

hunch는 텍스트와 이미지, 오디오를 벡터로 바꿔 고정된 형태의 질문에 답하는 서버입니다. 질문 형태는 세 가지로 고정돼 있습니다. 예·아니오(noul), 선택(choice), 단계 평가(score)입니다. 자유로운 문장 생성이 아니라 판단만 맡는 모델이라는 점이 핵심입니다.

질문 형태설명
예·아니오 (noul)하나의 명제에 대한 이진 판단
선택 (choice)주어진 보기 중 하나를 고르는 판단
단계 평가 (score)단계를 매기는 수치 판단

라이선스는 Apache-2.0이며, 확인 시점 기준 스타 176개, 포크 13개입니다. 최근 커밋은 2026-10-29T03:47 UTC의 "Ask the teacher while encoding when a request can't be answered locally"이며, 10월 28일에는 README 문구를 다듬는 커밋이 여러 건 올라왔습니다.

teacher와 student 구조

hunch의 학습 구조는 teacher와 student의 분업입니다. teacher는 질문마다 답을 내는 모델이며, Clef, Jev, 프론티어 모델 같은 느리고 비싼 모델이 그 역할을 맡습니다. student는 EmbeddingGemma2 임베딩을 읽는 작은 분류기입니다. teacher에게서 충분히 배우면 student는 teacher 없이 스스로 답합니다. 졸업한 뒤에도 주기적으로 teacher와 대조해 최신 상태를 유지합니다.

teacher에서 student로 이어지는 hunch 학습 흐름
느린 teacher가 가르치고, 빠른 student가 CPU에서 답합니다.

이 구조가 실무적으로 의미가 있는 이유는 반복 판단의 비용 때문입니다. 에이전트 트레이스나 로그, 댓글처럼 반복되는 판단 수천 건을 프론티어 모델에 매번 물으면 비용과 지연이 큽니다. 고정된 형태의 판단이라면 큰 모델을 매번 호출할 필요가 없으며, 작은 student가 그 자리를 대신할 수 있습니다.

성능 수치

성능 문서에 따르면 Apple M5 Pro 기준 텍스트 16토큰 추론은 SME 기준 7.4ms, NEON 기준 16ms입니다. 이미지 1장은 70개 소프트 토큰 기준 SME 98ms입니다. Mastracci가 10월 27일 시연에서 내세운 수치도 텍스트 20ms, 이미지 100ms의 CPU 추론이었으며, 문서 수치와 같은 방향입니다.

Apple M5 Pro 추론 지연 차트
출처: hunch docs/performance.md — 텍스트 16토큰, 이미지 1장 기준

함께 제공되는 hunch.live 라이브러리(Python, TypeScript)는 텍스트와 이미지 기반의 동적 choice 질문을 실시간으로 만들 수 있게 하며, teacher와 사용자 피드백 양쪽에서 배웁니다. 웹캠 데모로 물체 이름 맞히기와 제스처 읽기를 examples에 포함하고 있습니다.

Jev 계보 안에서의 위치

hunch는 Jev와 Clef 같은 판단 모델이 무거운 추론을 대신하는 흐름 속에 있습니다. Jev 계보의 System One 모델이 늘어나는 가운데, hunch는 그보다 작고 빠른 CPU 전용 학생 모델을 지향합니다. 관련 흐름으로는 Jev가 구동하는 Android/iOS 평문 E2E 테스트인 Just-Betr 'jevtest'(#3269)와 Jev가 판단하는 모바일 에이전트 droidrun 'mobile-jev'(#3270)가 있습니다.

아직 공개되지 않은 점

Mastracci 본인이 X에서 저장소 링크를 직접 알렸는지는 이번 확인에서 찾지 못했습니다. 저장소 자체가 1차 출처입니다. M5 Pro 외의 CPU 환경에서의 수치, teacher 대비 정확도, 졸업 판정 기준 같은 품질 지표는 확인된 문서에서 찾지 못했습니다. 프록시의 멀티모달 지원은 README에서 "coming soon"으로 적혀 있으며, 이미지 입력은 hunch.live 데모 경로로 제공됩니다. 이 부분은 미확인으로 두고, 공개 수치만으로 정확도를 단정하면 안 됩니다.

실무 시사점

반복 판단이 많은 파이프라인이라면 hunch는 바로 붙여볼 수 있는 형태입니다. 서버 CPU만으로 판단 로직을 돌릴 수 있고, EmbeddingGemma2 기반이라 텍스트와 이미지 입력을 같은 방식으로 벡터화합니다. 다만 도입 전에는 teacher 대비 정확도와 졸업 판정 기준을 직접 확인하는 것이 순서입니다. 고정된 질문 형태에 들어맞는 판단인지, 그리고 그 판단이 반복되는 규모인지가 도입 여부를 가르는 기준입니다.

원문 이슈

온디바이스에이전트 모델오픈 모델멀티모달성능 최적화