SysRB: 코딩 에이전트는 시스템 크래시 원인을 아직 제대로 못 읽는다와 크래시 해석 한계

2026-10-21 arXiv 제출 · ax-trend 이슈 #3445 · AI 코딩

SysRB 개요 — 코딩 에이전트가 왜 코드가 크래시하는지 아는가?
SysRB — 코딩 에이전트가 '고친다'는 것과 '왜 크래시하는지 안다'는 것은 다른 능력이다

핵심 — 패치 성공률은 실행 이해를 보장하지 않는다

벤치마크 설계 — 단일 커밋 차이의 소스 트리 쌍 934개, 양쪽을 모두 맞혀야 통과
벤치마크 설계 — 한 쌍은 하나만 크래시한다. 양쪽을 다 맞혀야 점수다

설계 — 단일 커밋 차이의 트리 쌍으로 '눈치'를 제거한다

# SysRB 쌍 평가 패턴 (의사코드)
pair = (tree_with_fix, tree_without_fix)  # 단일 커밋 차이, 하나만 크래시
score = all(agent.predict_crash(t, input_) == t.crashes for t in pair)
# 한쪽만 맞히면 통과가 아니다. 의심 코드 눈치로 못 버티는 구조다.
결과 — best agent가 실제 크래시의 1/4 이상을 놓치고, 크래시 코드의 효과를 오판
결과 — 크래시는 있는데 '안 날 것'이라고 말하는 게 더 편하다

결과 — 최고의 에이전트도 크래시의 1/4를 넘게 놓친다

실무 처방 — 실행 추론을 따로 재고, 사내 에이전트 평가에 쌍 평가 패턴을 도입
실무 처방 — 에이전트에게 커널급 수정을 맡기기 전에 쌍 평가를 먼저 돌리라

의미 — 사내 에이전트 평가에 쌍 평가를 도입하라

AX TF 관점. 에이전트 도입을 검토할 때 '버그를 고쳤는가'만 보면 위험하다. '이 입력이 크래시를 일으키는가'를 별도로 묻는 게이트를 평가에 넣는 것이 이 연구의 처방이다. 단일 커밋 차이의 쌍을 직접 만들어 돌리는 건 인프라 비용이 크지 않다 — git diff 하나짜리 쌍으로 시작할 수 있다. 코딩 에이전트를 프로덕션 코드 리뷰에 넣기 전, SysRB 패턴의 미니 평가를 통과시키라는 것이 이 연구가 주는 가장 실용적인 제안이다 (이슈 배경).

아직 안 밝혀진 것 — 에이전트 명단·정량 수치·공개 여부

⚠️ 미확인: 네 에이전트의 구체적 명단은 초록에 없음 (arXiv). 크래시가 해당 코드에서 멀리 일어날 때 오판이 특히 심하다는 분석의 정량 수치는 초록에 없음 (arXiv). 커널 외 일반 앱 코드베이스로의 일반화는 미확인 (이슈 쟁점). 데이터셋·코드 공개 여부도 초록에 명시되지 않음 (arXiv).

원문 이슈

이 글은 ax-trend 이슈 #3445를 바탕으로 작성됐다. 핵심 링크: arXiv:2610.29332 — SysRB (2026-10-21 제출).

AI 코딩agentic benchmark에이전트 모델AX Trend