Approval Monitors: 결제 승인 모니터 12개가 같은 근거원에 동시에 속는다와 사전등록 측정

2026-10-21 arXiv 제출 · ax-trend 이슈 #3436 · agent safety

Approval Monitors 연쇄 실패 연구 개요 — 12개 소형 오픈웨이트 모니터
Approval Monitors — 12개 소형 오픈웨이트 모니터의 연쇄 실패를 측정한 연구

핵심 — 모니터가 많아도 근거원이 하나면 한 번에 무너진다

문제 — 세 모니터가 같은 증거 소스를 참조하다 동시에 실패
문제 — 같은 증거 소스를 보는 모니터는 공격에 함께 속는다

문제 — 모든 속임수는 증거 소스를 경유했다

측정 — 소스 카운팅 규칙 0.9% vs 투표 카운팅 7.4%, 같은 안전도에서 올바른 결제 차단율
측정 — 소스를 세는 규칙이 같은 안전도에서 올바른 결제 차단을 0.9%로

측정 — 소스를 세면 0.9%, 표를 세면 7.4%

체크리스트 — 소스를 세고, 입력원을 다변화하고, 설득 불가능한 규칙 엔진을 둔다
체크리스트 — 소스를 세고, 입력원을 다변화하고, 설득 불가능한 규칙 엔진을 한 겹 더 둔다

실무 체크리스트

AX TF 관점. 에이전트에 결제·배포 권한을 줄 때 "모니터 3개를 달았다"는 말은 반쪽짜리다. 3개가 같은 모델을 쓰면 공격 하나에 동시에 넘어간다. 진짜 질문은 "세 모니터가 서로 다른 증거 소스를 보느냐"다. 그리고 프롬프트로 설득할 수 없는 규칙(하드 리밋·정적 정책)을 한 겹 두면 safe 조건이 유지된다 (이슈 배경).

아직 안 밝혀진 것 — 사전등록 최악 케이스의 실패·12개 모델 위의 규칙의 한계·주장의 일반화 미확인

⚠️ 미확인: 사전등록한 최악 케이스 테스트는 실패했다. 한 공격이 승인자를 단일 소스로 남겼다. 12개 언어모델 모니터 위의 어떤 규칙도 측정된 모든 공격을 견디지 못했다 (arXiv). 증거 소스 이외의 경로로 모니터를 속인 사례는 관찰되지 않았다는 주장의 일반화 가능성도 미확인이다 (이슈 쟁점).

배경 — 다수결 모니터는 분산 시스템의 장애 모델부터

AI 에이전트가 결제·메시징·코드 변경 같은 되돌리기 어려운 행동을 할 때 승인 모니터를 여러 개 두고 다수결로 판단하는 구조가 흔하다. 문제는 모니터들이 같은 모델이나 같은 입력원을 쓰면 서로 독립이 아니라는 점이다. 분산 시스템의 장애 모델을 그대로 가져와 안전성(safe)과 활성(live)을 정의한 것이 이 연구의 출발점이다 (이슈 배경).

원문 이슈

이 글은 ax-trend 이슈 #3436를 바탕으로 작성됐다. 핵심 링크: arXiv:2610.29178 — Approval Monitors (2026-10-21 제출).

security에이전트 모델AX Trend