전문가 50명, 에이전트 선호를 86% 따라갔다 — Anthropic 판단 위임 연구 공개

Anthropic · Claude Code · ax-trend 이슈 #3565 · 2026-10-27 공개

전문가도 에이전트 선호를 86% 따라갔다 — Claude Code를 쓴 전문 분석가 50명의 판단 위임 실험
개요 — 전문가조차 에이전트 선호를 모른 채 따라갈 수 있다는 점을 수치로 보여준 연구입니다

전문가 결정을 에이전트에 맡긴 결과

Anthropic은 2026년 10월 27일 에이전트가 전문가 판단에 미치는 영향을 다룬 연구를 공개했습니다. 무작위 대조 실험으로 진행됐고, Claude Code를 쓴 전문 분석가가 대상이었습니다. 이 연구의 전제는 단순합니다. 에이전트가 코드 작성과 수치 계산을 맡으면, 전문가가 진짜로 결정해야 할 일은 무엇을 재고 어떻게 해석할지 같은 판단으로 좁혀집니다. Anthropic은 그 판단이 실제로 전문가 손에 남아 있는지 확인하려고, 답이 두 가지로 갈리는 결정을 네 개 배치한 과제를 만들었습니다.

모집단은 61명의 전문 분석가입니다. 인과추론 지식 검증을 통과하고, Python이나 R을 정기적으로 쓰며, 관측 인과 분석 실무 경험이 있는 사람들로 구성됐습니다. 과제는 가상의 Greenfields Farming Cooperative 자문 프로그램 평가입니다. 이사회는 생산성이 약 3~4% 개선될 때만 프로그램을 확대하기로 했고, 생산성을 어떻게 잴지는 정하지 않았습니다. 분석가는 네 가지 결정을 내려야 했습니다. 성과 지표, 비교 방법, 평가 대상 범위, 가중 방식이며, 각 결정은 추정치를 몇 퍼센트포인트 움직일 수 있습니다.

참가자는 Claude Opus 4.8을 High effort 설정으로 쓴 웹 기반 VS Code 환경에서 작업했고, 과제 중앙값 소요 시간은 65분이었습니다. 에이전트의 선호는 동전 던지기로 비밀 지정됐습니다. 분석가에게는 알리지 않았습니다. 에이전트는 자기 선호를 근거 있는 최선의 주장으로 펼치되, 증거가 결정적이면 바꾸고 결과를 오도하지 않도록 지시받았습니다.

전문가의 판단이 에이전트 선호로 굳어지는 흐름 — 과제 제시, 네 가지 결정, 에이전트 개입, 분석가 결정, 최종 권고, 실무 처방
흐름 — 비밀 지정된 에이전트 선호가 네 가지 결정을 거쳐 최종 권고까지 스며들었습니다

네 가지 결정, 일치율은 81%에서 92% 사이입니다

분석 대상 50명의 결과는 뚜렷했습니다. 네 가지 결정에서 에이전트 선호와 일치한 비율은 성과 지표 92%, 비교 방법 82%, 평가 범위 81%, 가중 방식 90%였습니다. 전체로는 86%였습니다. 어느 결정 하나만 튀는 것이 아니라, 네 결정 모두에서 80%를 넘겼습니다.

네 가지 결정에서 에이전트 선호와 일치한 비율 — 성과 지표 92%, 가중 방식 90%, 비교 방법 82%, 평가 범위 81%
수치 — 분석 대상 50명 기준, 전체 일치율은 86%입니다
결정에이전트 선호 일치율
성과 지표92%
가중 방식90%
비교 방법82%
평가 범위81%
전체86%

최종 권고까지 선호가 스며들었습니다

최종 권고에도 선호가 스며들었습니다. 에이전트가 확대 쪽으로 기울면 54%가 확대를 권고했고, 반대쪽이면 36%만 확대를 권고했습니다. 권고 방향이 18%포인트 갈린 셈입니다. 네 가지 개별 결정의 일치율이 최종 권고의 방향까지 바꿀 수 있다는 뜻입니다.

검토의 전제는 리뷰어가 독립적인 판단을 유지하는 것입니다. 이 연구는 그 전제가 전문가에게도 흔들릴 수 있다는 점을 보여줍니다.

인식과 실제가 어긋났습니다

사후 설문에서는 인식과 실제가 어긋났습니다. 분석가의 77%는 에이전트 논거를 최소 한 번은 반복해 썼지만, 에이전트를 출처로 밝힌 비율은 15%에 그쳤습니다. 논거는 받아썼는데 출처는 밝히지 않은 셈입니다. 검토 기록만 보면 전문가의 독립 판단처럼 보이지만, 실제 판단 과정에는 에이전트 선호가 들어 있었던 것입니다.

이 지점이 실무에서 가장 위험합니다. 코드 리뷰나 분석 검토에서 리뷰어가 에이전트 제안을 그대로 받아쓰고도 자기 판단으로 기록하면, 나중에 판단을 추적할 방법이 사라집니다. 누가 왜 그 결정을 내렸는지 되돌릴 수 없게 됩니다.

아직 확인되지 않은 점

실제 업무 환경으로 일반화되는지는 미확인입니다. 연구진이 에이전트 선호를 의도적으로 강화했기 때문에, 선호가 없는 실제 에이전트에서는 효과가 작아질 수 있습니다. 선호를 미리 밝힌 뒤 바꾼 사례는 38건에 그칩니다. 반대 선호에 60%가 전환했다는 수치의 95% 신뢰구간은 24%에서 82%로 넓습니다. 경험과 전문성은 위임 정도를 예측하지 못했습니다. 나이만 유의미해 보였으나, 다중 비교 보정 뒤에는 사라졌습니다. 에이전트를 쓰지 않은 11명은 비교 집단으로 쓰기 어렵습니다. 6명(55%)이 심각한 방법론 오류를 냈지만, 이 집단은 규모가 작고 경험도 적다고 연구진 스스로 밝히고 있습니다.

실무 판단: 자기 선호를 먼저 적어둡니다

실무 판단은 이렇게 정리됩니다. 에이전트 제안을 받기 전에 자기 선호를 먼저 적어두고, 에이전트와 다른 결론을 일부러 검토하는 절차가 필요합니다. 그 절차가 없으면 검토는 형식만 남고, 결정은 에이전트 선호대로 굳어질 수 있습니다. 에이전트 논거를 받아쓸 때는 출처도 함께 기록하는 것이 좋습니다. 판단의 출처가 기록에 남아 있어야 나중에 결정을 되짚을 수 있습니다.

원문 이슈

AI 코딩AnthropicAX Trend