Agent Behavior Maps: 에이전트를 실행 없이 행동 궤적으로 위치시키는 지도와 롤아웃 불필요

2026-10-21 arXiv 제출 · ax-trend 이슈 #3447 · agentic benchmark

Agent Behavior Maps 개요 — 100 LLMs / 4 envs, 에이전트를 실행하지 않고 행동 궤적으로 위치시키는 지도
Agent Behavior Maps — 에이전트를 실행하지 않고 행동 궤적으로 위치시키는 지도

핵심 — 에이전트를 돌리지 않고도 위치를 잡는다

동작 방식 — 참조 궤적 위의 중심화된 행동 로그 가능도, 새 환경 롤아웃 불필요
동작 방식 — 참조 궤적으로 중심을 맞춘 로그 가능도가 좌표가 된다

방법 — 참조 궤적에 대한 행동 로그 가능도로 좌표를 찍는다

결과 — 거리 순위와 궤적 KL 순위 일치, ALFWorld에서 유사도 유지
결과 — 지도상 거리의 순위가 궤적 KL의 순위와 일치한다

결과 — 유사도는 성공률·모델 크기를 통제한 뒤에도 유지됐다

실무 처방 — 성공률만 보지 마라, 기존 로그로 하네스 비교, 평가 비용 절감
실무 처방 — 성공률만 보지 말고 행동 지도를 그려라

의미 — 하네스 비교의 진입 장벽이 낮아진다

AX TF 관점. 하네스를 고를 때 성공률 표만 보고 결정하면 행동 차이를 놓친다. 기존 실행 로그가 남아 있다면 새 실험 없이도 행동 지도를 그려 비교 근거를 만들 수 있다. 컴포넌트를 바꿀 때도 지도상 이동 방향을 미리 보는 것이 저렴한 실험 설계다 (이슈 배경).

아직 안 밝혀진 것 — 모델 명단·컴포넌트별 수치·코드 공개 여부

⚠️ 미확인: 오차 한계의 명시적 가정은 논문 본문 확인이 필요 (arXiv). 4개 환경·100개 LLM의 구체 명단은 초록에 없음 (arXiv). 하네스 컴포넌트별 합성 정확도 수치는 초록에 없음 (arXiv). 코드 공개 여부는 초록에 명시되지 않음 (arXiv).

원문 이슈

이 글은 ax-trend 이슈 #3447을 바탕으로 작성됐다. 핵심 링크: arXiv:2610.30014 — Agent Behavior Maps (2026-10-21 제출).

agentic benchmark에이전트 모델AX Trend