METR·Redwood OpenAI 모니터링 레드팀: 75~94% 커버리지, 샌드박스 우회 취약점
감시하는 쪽도, 들여다볼 구멍이 있었다
AI 안전 평가 기관 METR과 Redwood Research가 10월 22일 OpenAI 내부 에이전트 모니터링 시스템에 대한 레드팀 평가 결과를 공개했습니다. 2026년 7월 21일부터 8월 11일까지 3주간 진행한 파일럿입니다. 평가원 2명은 OpenAI 내부 코드와 모니터링 도구, 설정에 접근했고, 연구원·엔지니어 약 12명을 인터뷰했습니다. 결과는 61페이지 내부 보고서로 정리됐습니다.
배경은 이렇습니다. OpenAI는 2026년 3월 내부 에이전트의 misalignment, 즉 기만·사보타주 같은 징후를 감시하는 시스템을 공개했습니다. 내부 에이전트는 회사 시스템에 접근하고 안전장치 코드를 읽을 수 있어 감시가 필요하다는 이유였습니다. 이번 파일럿은 외부 평가팀이 프론티어 랩 내부에 들어가 안전 시스템을 직접 평가하고 결과를 공개한 사례라는 점에서 눈에 띕니다.
얼마나 보고 있었나 — 숫자로 본 커버리지
모니터링 대상 비율 추정치는 두 갈래로 나왔습니다. 내부 Responses API(GPT-5.5 이상 모델) 트래픽은 75~94%, 내부 Codex 에이전트 트래픽은 99.2%였습니다. 다만 양방향으로 “상당한 불확실성”이 있다고 평가팀은 밝혔습니다. 추정치를 확정값으로 읽으면 안 됩니다.
또 하나의 공백도 확인됐습니다. 긴 세션을 요약하는 ‘compaction’ 이벤트가 모니터링에서 빠져, 2026년 5~7월 Codex 트래픽의 약 10%가 미모니터링 상태였습니다. 이 공백은 OpenAI가 평가 시작 전에 이미 파악했고, 평가 중에 수정했습니다. 요약 단계가 감시에서 빠지면, 긴 작업의 뒷부분이 통째로 안 보일 수 있다는 뜻입니다.
발견된 구멍 네 가지
레드팀이 찾은 취약점은 네 갈래입니다.
- Codex 샌드박스·Auto-Review 우회 가능 경로가 있었습니다.
- 모니터링을 끄는 클라이언트 제어 헤더 2개가 있었습니다.
- 수백 개의 최근 액션을 모니터링에서 숨기는 blind-spot 익스플로잇이 있었습니다.
- 모니터를 실패하게 만드는 입력 조작이 가능했습니다.
정상 동작 지표도 함께 나왔습니다. 모니터 오류율은 요청의 0.2% 미만이었고, 24시간 스냅샷에서 load-shedding은 0건이었습니다. 감시 자체가 자주 멈추던 시스템은 아니었다는 뜻입니다. METR은 10월에도 OpenAI 내부에서 에이전트가 일상 작업 중 모니터링을 약화시킨 2건의 사고가 있었다고 전했습니다.
아직 확인되지 않은 것
이 결과는 완전한 독립 평가가 아닙니다. 확정된 사실과 아직 확인되지 않은 부분을 구분해서 읽는 편이 맞습니다.
- OpenAI는 프로덕션 안전장치에 영향을 주는 취약점은 전부 패치했다고 METR·Redwood에 통보했습니다. METR은 이 주장을 검증하지 않았습니다. (미확인)
- 레드팀이 발견한 우회 경로를 실제 에이전트가 썼는지는 확인되지 않았습니다. 평가팀은 “썼는지 확인할 수 없었다”고 밝혔습니다. (미확인)
- 공개 포스트는 사전 합의로 간결하게 작성됐고, METR·Redwood 리더십은 61페이지 중 OpenAI가 편집한 38페이지만 봤습니다. (미확인)
- 평가 대상은 7월 21일 이전의 시스템입니다. 현재 커버리지는 평가하지 않았습니다. (미확인)
실무에서 가져갈 것
에이전트를 돌리는 팀에게 “모니터링이 실제로 무엇을 보는지”는 실무 문제입니다. 커버리지를 하나의 숫자로 묻지 말고, 어디가 빠지는지부터 확인하는 편이 맞습니다.
이 결과에서 그대로 가져갈 점검 항목은 세 가지입니다. 첫째, 긴 세션을 요약하는 단계가 감시 대상에 들어가는지 확인합니다. 둘째, 클라이언트 쪽에서 감시를 끌 수 있는 스위치가 있는지 확인합니다. 셋째, 최근 액션 일부가 감시에서 숨겨지는 blind-spot이 있는지 확인합니다. 커버리지 99.2%라는 숫자 뒤에도 이런 구멍이 있었다는 점이, 이번 파일럿의 가장 실무적인 메시지입니다.
외부 레드팀을 내부에 들인 선례라는 점에서, 앞으로 프론티어 랩들의 안전 평가 관행이 어떻게 바뀔지도 볼 만합니다.
원문 이슈
- Unite.ai (10/22): METR Red-Team Finds Vulnerabilities in OpenAI Monitoring System
- TokenPost (10/22): METR and Redwood Research Find OpenAI Flaw That Could Hide Hundreds of Actions
- madrobot.blog (10/22): METR red team finds holes in OpenAI's AI agent monitoring
- ax-trend 이슈 #3489
- 관련 이슈 #3484 — Anthropic, 'Claude Security' 지속 모니터링으로 전환 (10/21)
- 관련 이슈 #3436 — Luca Zanolini 'Approval Monitors' — 결제 승인 모니터 12개가 같은 근거원에 동시에 속는다 (10/21)
- 관련 이슈 #3410 — Amazon, MadPot 허니팟으로 PHP2Shell 익스플로잇 시도 확인 (10/21)