Microsoft Scope: AI 코딩 에이전트 평가 오픈소스 플랫폼과 DevAx 개념와 평가 개념 제시
2026년 10월 19일, Microsoft가 AI 코딩 에이전트 평가 플랫폼 Scope를 오픈소스로 공개했다. Microsoft Developer Relations가 1년 넘게 개발해 온 프로젝트로, MIT 라이선스·리서치 프리뷰 상태다 (opensource.microsoft.com, 2026-10-19).
핵심은 플랫폼 자체보다 Microsoft가 함께 제시한 개념 DevAx (Developer Agent Experience) 다. 코딩 에이전트가 이제 소프트웨어의 "사용자"가 됐다. API를 찾고, SDK를 고르고, 문서를 읽고, 도구를 호출하면서 일하는 사용자다. 사람에게 잘 동작하는 개발자 경험(DevEx)만으로는 이 새로운 사용자의 실패를 잡을 수 없다는 것이 Microsoft의 문제의식이다.
DevAx: "코딩 에이전트가 소프트웨어의 사용자가 된 시대"
SDK·API·문서를 만드는 팀의 질문이 바뀐다. "사람이 쓰기 좋은가"에서 "에이전트가 잘 쓰는가"로. 문서를 읽기 좋게 쓰는 것과 에이전트가 실수 없이 호출할 수 있게 쓰는 것은 다른 설계다. DevAx라는 어휘 자체가 TF 내 평가 문화 논의에 쓸 만한 개념이다.
동작 방식: 반복 투입 → DAG 기준 → LLM Judge 채점
Scope의 입력은 두 가지다. 평가할 작업과 에이전트 설정(worker, 모델, 에이전트 버전, MCP 서버, 스킬, 확장)이다. Scope는 GitHub Copilot·Claude Code·VS Code + Copilot 같은 기존 에이전트를 그 작업에 투입해 반복 실행하고 결과를 채점한다 (itsfoss.com, 2026-10-20).
성공 기준은 의존성 그래프(DAG)로 정의된다. 한 검사가 다른 검사를 게이트할 수 있다. 예컨대 Node.js 서버 요청에 GET /health가 JSON을 반환하는지 확인하는 식이다. LLM 기반 Judge 서비스가 각 실행을 기준에 따라 채점한다. Judge가 틀릴 수 있으니 중요한 결론은 사람이 검토해야 한다고 Microsoft가 명시했다.
실행마다 라이브 로그·생성 파일·워크스페이스 스냅샷·도구 호출 내역을 보관한다. 실패한 기준은 어떤 단계에서 어긋났는지 추적할 수 있다. 에이전트·모델·스킬·MCP 서버·확장을 묶은 "프로필"을 버전 관리해 동일한 설정을 반복 실행한다. 하나씩 바꿔 끼우며 비교도 가능하다 (itsfoss.com).
# Scope 프로필의 개념 (공식 문서 용어 재구성)
profile:
agent: claude-code # worker
model: <모델> # 프로필에 묶인 모델
skills: [...]
mcp_servers: [...]
extensions: [...]
# 하나씩 바꿔 끼우며 비교, 동일한 설정은 반복 실행
지속 학습 루프: 과제 → 관찰 → 개선 → 재평가
Microsoft의 목표는 일회성 평가가 아니라 반복 실험에 근거한 지속적 DevAx 학습 루프다. 작업 부여 → 상호작용 관찰 → 제품·가이드 개선 → 재평가의 순환이다. 플랫폼은 Kubernetes 위에 구축됐다 (opensource.microsoft.com).
부대 기능도 있다. 시뮬레이션 사용자의 관점·톤을 설정하는 페르소나, 결과를 보는 웹 포털, 자동화를 위한 CLI와 REST API. 프롬프트 특성 감지(예: "API를 묻는가", "TypeScript를 묻는가")로 작업 간 교차 비교도 지원한다 (microsoft.github.io, 공식 문서).
실무 함의
AX TF의 에이전트 도입 평가에 직접 차용할 만한 패턴이 있다. 작업·프로필·기준을 버전 관리해 에이전트·모델 교체 시 회귀 테스트처럼 돌리는 방식이다. "우리 제품의 DevAx는 몇 점인가"를 주기적으로 재측정하는 문화로 이어지면, 평가 인프라가 없는 기업 배포 병목(#3354 Guardian Agents 같은 관측 흐름과도 맞닿은 문제)을 여는 실마리가 된다.
이 글은 ax-trend 이슈 #3378을 바탕으로 작성됐다. 핵심 링크: Microsoft 공식 발표 — Scope 오픈소스 공개 (2026-10-19), 공식 문서 — Scope란. 관련 이슈: #3373 — BMAD+ v0.23.1 공개, 7종 코딩 도구 어댑터, #3354 — Microsoft, Project Perception에 Guardian Agents 추가.