Your Benchmark: 벤치마크는 난이도 위의 경험적 측도라는 진단 연구와 25개 벤치마크 분석

2026-10-21 arXiv 제출 · ax-trend 이슈 #3440 · AI 벤치마크

Your Benchmark 개요 — 25개 벤치마크·7개 도메인, 난이도 위의 경험적 측도
Your Benchmark — 25개 벤치마크를 7개 도메인에서 난이도 축 위에 올려 진단한 연구

핵심 — 리더보드는 벤치마크가 아니라 분포를 보고 읽는다

두 실패 모드 — measure mismatch와 coverage gaps
두 실패 모드 — measure mismatch(분포 불일치)와 coverage gaps(미커버 구간)

문제 — 벤치마크가 망가지는 두 가지 방식

진단 메트릭 2개와 난이도 표적 재작성 알고리즘 BenchFill
진단 메트릭 2개 + BenchFill — 난이도 표적 문항 재작성으로 커버리지 갭을 줄인다

측정에서 실행으로 — BenchFill

실무 체크리스트 — 난이도 분포를 먼저 묻고, 커버리지 갭 진단을 돌리고, 평가셋을 보강한다
실무 체크리스트 — 난이도 분포를 먼저 묻고, 커버리지 갭 진단을 돌리고, 평가셋을 보강한다

실무 체크리스트

AX TF 관점. 모델을 고를 때 "벤치마크 점수 3점 올랐다"는 말보다 "그 벤치마크가 어느 난이도 구간에 가중을 두는지"를 묻는 게 먼저다. 에이전트 성능을 측정할 벤치마크를 고를 땐 커버리지 갭 진단부터 돌리고, 사내 평가셋이 특정 구간에 비어 있으면 BenchFill식 재작성으로 메운다. 벤치마크 선정 단계에 이 진단 한 줄을 넣는 것만으로 해석 오류가 크게 줄어든다 (이슈 배경).

아직 안 밝혀진 것 — 벤치마크 명단·BenchFill 성능 수치·난이도 추정 타당도·코드 공개 미확인

⚠️ 미확인: 25개 벤치마크·7개 도메인의 구체적 명단은 초록에 없다. BenchFill의 구체적 성능 수치도 초록에 없다. 난이도 추정 방법의 타당도는 논문 본문 확인이 필요하다. 코드 공개 여부도 초록에 명시되지 않았다 (이슈 쟁점).

원문 이슈

이 글은 ax-trend 이슈 #3440를 바탕으로 작성됐다. 핵심 링크: arXiv:2610.29927 — Your Benchmark (2026-10-21 제출).

agentic benchmarkAX Trend