DynaCI: 로컬 런타임 정보로 GitHub Actions 워크플로를 자동 생성한다와 문서 작성 불필요
핵심 — 요구사항 문서를 쓰지 말고, 로컬 환경을 보여 줘라
- CI는 빌드와 테스트로 코드 변경을 자동 검증하지만, 복잡한 아키텍처와 수많은 의존성, 다양한 실행 환경 때문에 워크플로 설정은 여전히 어렵다 (arXiv).
- DynaCI는 개발자의 로컬 환경에서 수집한 runtime information으로 CI 워크플로를 만든다. 요구사항을 말로 풀어 쓰는 과정이 없다 (arXiv).
- 핵심 발상: 로컬에서 실제로 도는 빌드·테스트 환경을 트레이스하면, 그 안에 워크플로 작성에 필요한 정보가 이미 다 들어 있다 (이슈 배경).
문제 — CI 설정은 DSL이 문제고, 자동 생성은 요구사항이 문제였다
- 워크플로는 CI 플랫폼별 DSL로 써야 해서 에러가 잦고 유지보수가 힘들다 (arXiv). GitHub Actions YAML 한 줄 틀리면 파이프라인 전체가 멈춘다.
- 기존 자동 생성 연구는 자연어 명세나 부분 워크플로를 요구하는데, 개발자는 요구사항을 말로 풀기 어려워하고 CI 기능을 잘 모른다 (arXiv).
- 즉 DSL을 모르면 설정이 안 되고, 요구사항을 못 풀어 쓰면 자동 생성도 안 되는 구조였다. 양쪽의 병목을 동시에 건드린 게 이 연구다 (이슈 배경).
방법 — 3단계: 트레이스, 휴리스틱, RAG 정제
- (i) 로컬 환경을 트레이스해 런타임 정보를 수집한다 (arXiv). 빌드·테스트가 로컬에서 어떻게 도는지 그대로 관찰한다.
- (ii) runtime-informed heuristics로 초기 워크플로를 만든다 (arXiv). 트레이스에서 얻은 규칙 기반 추론이 초안의 뼈대를 잡는다.
- (iii) LLM 기반 RAG로 반복 정제한다 (arXiv). 검색으로 관련 워크플로 패턴을 끌어오고 LLM이 초안을 반복 다듬는다.
개념적으로 최종 산출물은 익숙한 Actions YAML이다. 예를 들어 초안이 이렇게 정제된다:
name: CI
on: [push]
jobs:
build:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- uses: actions/setup-python@v5
with:
python-version: '3.11'
- run: pip install -r requirements.txt
- run: pytest
차이는 이 YAML을 사람이 쓰지 않고, 로컬 트레이스에서 도출했다는 점이다. 개발자는 "테스트는 pytest로 도니 CI에도 그렇게 넣어 줘"라고 설명할 필요가 없다. 로컬에서 pytest가 도는 걸 시스템이 직접 본다 (이슈 배경).
측정 — 기존 방식 대비 BLEU +21.13%, F1 +20.96%
- GitHub Actions를 쓰는 인기 Python 프로젝트 50개로 평가했고, GH-WCOM과 LLM4GW와 비교했다 (arXiv).
- BLEU에서 21.13% 이상, F1에서 20.96% 이상 앞섰다 (arXiv). 둘 다 기존 최선 방식 대비 상당한 격차다.
- 기능 누락 없는 워크플로를 56%의 케이스에서 생성했고, 예외 수리에 필요한 수동 수정도 적었다 (arXiv). 절반이 넘는 케이스에서 손댈 곳이 없거나, 손대더라도 적었다는 얘기다.
- 실무 번역: 신규 레포의 CI 구성이 로컬 빌드 환경을 그대로 읽어 자동으로 만들어진다. 사내 신규 프로젝트 온보딩에 붙이기 좋은 형태다.
AX TF 관점. "CI 워크플로를 왜 매번 수작업으로 쓰지?"라는 질문에 대한 가장 현실적인 답 중 하나다. 자연어 요구사항이 아니라 로컬 실행 기록이 입력이라는 점이 포인트다. 개발자가 CI 문법을 몰라도, CI 용어를 못 써도 된다. 로컬에서 빌드가 돌면 CI가 따라 나온다. 내부 빌드 시스템에 붙이면 온보딩 자동화로 이어진다 (이슈 배경).
아직 안 밝혀진 것 — 50개 프로젝트 목록·Python 외 언어·코드 공개 여부
⚠️ 미확인: 50개 프로젝트의 구체 목록과 규모는 초록에 없다 (arXiv). Python 외의 언어와 다른 CI 플랫폼에 적용 가능한지도 미확인이다 (arXiv). 코드 공개 여부도 초록에 언급이 없다 (이슈 쟁점).
배경 — LLM 기반 CI 생성의 전제는 "요구사항을 글로 쓰라"였다
CI 워크플로를 LLM으로 만들려는 시도는 많았지만, 요구사항을 글로 쓰라는 전제가 발목을 잡았다. 개발자는 요구사항을 글로 풀어 쓰기 어려워하고, CI 플랫폼의 기능도 잘 모른다. 이 논문은 로컬에서 실제로 도는 환경을 보고 추론한다. 같은 접근을 DevOps 설정 자동화 전반으로 넓힐 수 있다 (이슈 배경).
실무 체크리스트
- 신규 레포의 CI 초안은 로컬 트레이스에서. "CI YAML 처음부터 쓰지 말고 로컬 빌드 로그부터"가 실무 원칙으로 바뀔 수 있다 (이슈 배경).
- 예외 케이스 수동 수정량을 기준으로 삼는다. 연구가 보고한 지표 그대로 — 수리량이 적어야 도입 가치가 있다 (arXiv).
- DSL 문법 의존을 줄인다. 플랫폼별 문법 차이는 사람이 아니라 파이프라인이 흡수하는 영역으로 넘긴다 (이슈 배경).
원문 이슈
이 글은 ax-trend 이슈 #3441를 바탕으로 작성됐다. 핵심 링크: arXiv:2610.29890 — DynaCI (2026-10-21 제출).