SysRB: 코딩 에이전트는 시스템 크래시 원인을 아직 제대로 못 읽는다와 크래시 해석 한계
핵심 — 패치 성공률은 실행 이해를 보장하지 않는다
- 코딩 에이전트는 실제 버그 수정엔 능숙해졌지만, Linux 커널 같은 대규모 시스템 코드베이스에서는 왜 크래시하는지를 못 읽는다 (arXiv).
- 최고 에이전트조차 실제 크래시 중 over a quarter를 놓쳤다 (arXiv). 네 코딩 에이전트로 실험한 결과다.
- 에이전트는 no crash 예측에 편향돼 있다. 크래시가 날 거라고 말하기를 꺼리는 쪽으로 기운다는 뜻이다 (arXiv).
- 크래시를 결정하는 코드를 찾아도 그 코드의 효과를 자주 오판한다. 위치는 짚는데 해석이 틀린다 (arXiv).
설계 — 단일 커밋 차이의 트리 쌍으로 '눈치'를 제거한다
- 과제는 단순하다: 소스 코드가 주어지고, 주어진 입력이 시스템을 크래시시키는지 예측하는 것이다 (arXiv). 크래시 추론(crash reasoning)으로 실행 추론(execution reasoning)을 테스트한다.
- 문제는 정답 예측만으로는 이 능력을 입증할 수 없다는 점이다. 의심스러운 코드를 찾아낸 것만으로 맞힌 것처럼 보일 수 있기 때문이다 (arXiv).
- 그래서 연구팀은 source interventions를 제안했다. 단일 커밋만 다른 소스 트리 쌍을 매칭해, 같은 입력이 하나는 크래시하고 하나는 크래시하지 않게 만든다 (arXiv).
- SysRB 데이터셋은 Linux와 OSS-Fuzz 프로젝트의 934개 쌍이다 (arXiv).
- 양쪽을 모두 맞혀야 통과다. 의심 코드 발견으로만 점수를 따는 길이 막혀 있다.
# SysRB 쌍 평가 패턴 (의사코드)
pair = (tree_with_fix, tree_without_fix) # 단일 커밋 차이, 하나만 크래시
score = all(agent.predict_crash(t, input_) == t.crashes for t in pair)
# 한쪽만 맞히면 통과가 아니다. 의심 코드 눈치로 못 버티는 구조다.
결과 — 최고의 에이전트도 크래시의 1/4를 넘게 놓친다
- 네 코딩 에이전트 모두 no crash 쪽으로 편향됐다. 최고 에이전트도 실제 크래시 중 over a quarter를 놓쳤다 (arXiv).
- 크래시를 결정하는 코드를 정확히 찾아낸 경우에도 그 효과를 자주 오판했다 (arXiv). 의심 위치를 짚는 것과 실행 경로를 추적하는 것은 다른 능력이라는 증거다.
- 기존 벤치마크가 패치 성공률만 재온 한계가 여기서 드러난다. '고쳤다'는 점수와 '왜 크래시하는지 안다'는 점수는 다르다 (이슈 배경).
의미 — 사내 에이전트 평가에 쌍 평가를 도입하라
- 코딩 에이전트를 시스템 코드 리뷰에 투입할 때, 수정했다는 결과만 믿지 말고 실행 추론 능력을 별도로 재야 한다는 경고다 (이슈 배경).
- 쌍 평가(paired evaluation) 패턴은 사내 에이전트 평가에도 그대로 쓸 수 있다. 같은 코드의 이전·이후 버전을 묶어 양쪽을 다 맞히게 하는 구조다 (이슈 배경).
- 의심 코드 발견과 진짜 실행 추론을 구분하지 않으면 평가 점수가 부풀려진다. 잘 맞는 게 아니라 눈치가 빠른 걸 수도 있다 (이슈 배경).
- 크래시 원인을 못 읽는 에이전트에게 커널급 수정을 맡기면 안 된다는 판단 근거가 된다 (이슈 배경).
AX TF 관점. 에이전트 도입을 검토할 때 '버그를 고쳤는가'만 보면 위험하다. '이 입력이 크래시를 일으키는가'를 별도로 묻는 게이트를 평가에 넣는 것이 이 연구의 처방이다. 단일 커밋 차이의 쌍을 직접 만들어 돌리는 건 인프라 비용이 크지 않다 — git diff 하나짜리 쌍으로 시작할 수 있다. 코딩 에이전트를 프로덕션 코드 리뷰에 넣기 전, SysRB 패턴의 미니 평가를 통과시키라는 것이 이 연구가 주는 가장 실용적인 제안이다 (이슈 배경).
아직 안 밝혀진 것 — 에이전트 명단·정량 수치·공개 여부
⚠️ 미확인: 네 에이전트의 구체적 명단은 초록에 없음 (arXiv). 크래시가 해당 코드에서 멀리 일어날 때 오판이 특히 심하다는 분석의 정량 수치는 초록에 없음 (arXiv). 커널 외 일반 앱 코드베이스로의 일반화는 미확인 (이슈 쟁점). 데이터셋·코드 공개 여부도 초록에 명시되지 않음 (arXiv).
원문 이슈
이 글은 ax-trend 이슈 #3445를 바탕으로 작성됐다. 핵심 링크: arXiv:2610.29332 — SysRB (2026-10-21 제출).