Your Benchmark: 벤치마크는 난이도 위의 경험적 측도라는 진단 연구와 25개 벤치마크 분석
핵심 — 리더보드는 벤치마크가 아니라 분포를 보고 읽는다
- 벤치마크는 문제 모음이 아니다. 난이도 위에 경험적 측도(empirical measure)를 유도한다는 관점을 정식화한 연구다 (arXiv).
- 25개 인기 벤치마크를 7개 도메인에서 문항 난이도를 정교하게 추정해 분석했다 (arXiv).
- 결론은 단순하다. 많은 벤치마크가 특정 난이도 구간에 암묵적으로 가중을 둔다. 의도한 난이도 분포와 실제 분포가 다르면 점수 해석이 틀어진다 (이슈 배경).
문제 — 벤치마크가 망가지는 두 가지 방식
- measure mismatch: 벤치마크의 난이도 분포가 의도한 분포와 다른 경우다 (arXiv).
- coverage gaps: 난이도 축의 미커버 구간 때문에 의미 있는 국소 훈련 진전 탐지를 못하는 경우다 (arXiv).
- 두 실패 모드를 각각 포착하는 진단 메트릭 2개와 엄밀한 이론 보장을 제안했다 (arXiv).
측정에서 실행으로 — BenchFill
- BenchFill은 난이도 표적 문항 재작성 알고리즘이다. 진단으로 찾은 국소 커버리지 갭을 문항을 다시 써서 메운다 (arXiv).
- 진단 메트릭 2개에 엄밀한 이론 보장이 붙어 있으니, 벤치마크 선정 단계에서 이 진단을 거치는 것만으로 리더보드 해석 오류를 크게 줄일 수 있다 (이슈 배경).
실무 체크리스트
- 리더보드 숫자만 보지 말고 벤치마크의 난이도 분포를 먼저 의심한다. 내가 관심 있는 분포와 맞는지가 첫 질문이다 (이슈 배경).
- 사내에서 에이전트 성능을 측정할 벤치마크를 고를 때 커버리지 갭 진단부터 돌려본다 (이슈 배경).
- BenchFill 같은 난이도 표적 재작성은 사내 평가셋 보강에 응용할 만하다 (이슈 배경).
AX TF 관점. 모델을 고를 때 "벤치마크 점수 3점 올랐다"는 말보다 "그 벤치마크가 어느 난이도 구간에 가중을 두는지"를 묻는 게 먼저다. 에이전트 성능을 측정할 벤치마크를 고를 땐 커버리지 갭 진단부터 돌리고, 사내 평가셋이 특정 구간에 비어 있으면 BenchFill식 재작성으로 메운다. 벤치마크 선정 단계에 이 진단 한 줄을 넣는 것만으로 해석 오류가 크게 줄어든다 (이슈 배경).
아직 안 밝혀진 것 — 벤치마크 명단·BenchFill 성능 수치·난이도 추정 타당도·코드 공개 미확인
⚠️ 미확인: 25개 벤치마크·7개 도메인의 구체적 명단은 초록에 없다. BenchFill의 구체적 성능 수치도 초록에 없다. 난이도 추정 방법의 타당도는 논문 본문 확인이 필요하다. 코드 공개 여부도 초록에 명시되지 않았다 (이슈 쟁점).
원문 이슈
이 글은 ax-trend 이슈 #3440를 바탕으로 작성됐다. 핵심 링크: arXiv:2610.29927 — Your Benchmark (2026-10-21 제출).