Agent Behavior Maps: 에이전트를 실행 없이 행동 궤적으로 위치시키는 지도와 롤아웃 불필요
핵심 — 에이전트를 돌리지 않고도 위치를 잡는다
- 에이전트 비교는 보통 성공률 숫자 하나로 한다. 그런데 같은 점수의 에이전트가 전혀 다르게 행동할 수 있다 (이슈 배경).
- Agent Behavior Maps는 공유 참조 궤적 위의 중심화된 행동 로그 가능도로 LLM-하네스 조합을 표현한다 (arXiv). 좌표 하나로 행동의 위치를 찍는 방식이다.
- 대상 에이전트의 새 환경 롤아웃이 필요 없다 (arXiv). 새 점수를 매기려고 환경을 다시 돌릴 필요가 없다는 뜻이다. 평가 비용이 낮다.
- 궤적 KL에 대한 거리 제곱 좌표 거리의 오차 한계를 유도했다 (arXiv). 좌표상 거리가 궤적 KL과 얼마나 어긋날 수 있는지를 정량으로 붙잡았다.
방법 — 참조 궤적에 대한 행동 로그 가능도로 좌표를 찍는다
- 좌표는 공유 참조 궤적 위의 중심화된 행동 로그 가능도로 만든다 (arXiv). 같은 참조 기준으로 각 에이전트의 행동 로그 가능도를 중심화해 위치를 잡는다.
- 새 롤아웃 없이 점수만으로 위치를 잡는 것이 핵심이다 (이슈 배경). 기존에 쌓인 로그만 있으면 새 환경을 돌리지 않아도 된다.
- 8개 cross-scored 모델에서, 지도상 거리의 순위가 직접 측정한 궤적 KL의 순위와 일치했다 (arXiv). 지도가 궤적을 얼마나 잘 반영하는지 실측으로 검증했다.
- 100개 LLM과 4개 환경에서 ALFWorld 기반 좌표가 성능 예측을 지원하고 행동 유사도를 식별했다 (arXiv).
결과 — 유사도는 성공률·모델 크기를 통제한 뒤에도 유지됐다
- ALFWorld에서 유사도는 성공률과 모델 크기를 통제한 뒤에도 유지됐고 모델 패밀리를 가로질렀다 (arXiv). 비슷한 점수·비슷한 크기·다른 계열이어도 행동 유사도가 보인다.
- 하네스 컴포넌트 변위는 대략 합성 가능했고, 정확도는 컴포넌트·환경에 따라 달랐다 (arXiv). 컴포넌트를 바꾸면 좌표가 어떻게 움직이는지 예측 가능하지만, 환경마다 편차가 있다.
- 비슷한 성공률의 LLM 에이전트도 다른 행동 시퀀스를 따른다는 관찰이 출발점이다 (arXiv). 점수만 보는 비교로는 이 차이를 놓친다.
의미 — 하네스 비교의 진입 장벽이 낮아진다
- 사내에서 여러 에이전트 하네스를 비교할 때 성공률만 보지 말고 행동 지도를 그려볼 수 있다 (이슈 배경). 같은 점수의 하네스가 다르게 행동하는지를 지도로 본다.
- 기존 로그만으로 여러 하네스의 행동 지도를 그릴 수 있으니 비교 실험의 진입 장벽이 낮다 (이슈 배경). 새 롤아웃이 없다는 게 실무 이득이다.
- 하네스 컴포넌트 교체 효과를 미리 가늠하는 용도로도 쓸 만하다 (이슈 배경). 컴포넌트 변위가 대략 합성 가능하다는 결과와 연결된다.
AX TF 관점. 하네스를 고를 때 성공률 표만 보고 결정하면 행동 차이를 놓친다. 기존 실행 로그가 남아 있다면 새 실험 없이도 행동 지도를 그려 비교 근거를 만들 수 있다. 컴포넌트를 바꿀 때도 지도상 이동 방향을 미리 보는 것이 저렴한 실험 설계다 (이슈 배경).
아직 안 밝혀진 것 — 모델 명단·컴포넌트별 수치·코드 공개 여부
⚠️ 미확인: 오차 한계의 명시적 가정은 논문 본문 확인이 필요 (arXiv). 4개 환경·100개 LLM의 구체 명단은 초록에 없음 (arXiv). 하네스 컴포넌트별 합성 정확도 수치는 초록에 없음 (arXiv). 코드 공개 여부는 초록에 명시되지 않음 (arXiv).
원문 이슈
이 글은 ax-trend 이슈 #3447을 바탕으로 작성됐다. 핵심 링크: arXiv:2610.30014 — Agent Behavior Maps (2026-10-21 제출).