additive power law: 롱컨텍스트 지속 프리트레이닝 스케일링 법칙 연구와 100개 예산 조합

arXiv · ax-trend 이슈 #3474 · 2026-10-22 제출

Additive power law overview — three factors for long-context performance
개요 — 롱컨텍스트 성능을 결정하는 세 가지 요소

핵심 — 롱컨텍스트 성능을 세 요소로 예측한다

Experiment scale — 5 model scales, 100+ budget configs, 1.22B model, 100B LCCP tokens
실험 규모 — 5개 모델 규모, 100개 이상 예산 조합

실험 규모 — 5개 규모, 100개 이상 예산 조합

실무 관점의 포인트는 외삽이다. 이미 본 규모 안에서만 맞는 법칙이 아니라, 보지 못한 규모에서도 들어맞았다는 점이 예산 계획의 근거가 된다.
Constant-Last4 protocol — average last 4 checkpoints, one stable trajectory
Constant-Last4 — 최근 4개 체크포인트 평균으로 하나의 안정 궤적

Constant-Last4 — 하나의 궤적으로 안정 모니터링

No saturation yet — 128K extension plus SFT, gains hold, downstream improves
아직 포화 없음 — 128K 확장과 파인튜닝 이후에도 이득 유지

다운스트림 — 128K 확장 이후에도 이득 유지

왜 중요한지 — 학습 예산 계획의 근거

긴 문서나 코드베이스를 다루는 모델을 고를 때, "토큰을 얼마나 더 넣으면 성능이 얼마나 오르나"를 예측할 수 있게 된다. AX 실무에서 장문서 처리 모델을 고를 때의 선정 기준에도 바로 연결된다. 이득이 안정적으로 관측되고, 정량 예측이 되며, 다운스트림 태스크로 전이된다는 세 가지가 "계속 스케일하라"는 주장의 근거다.

아직 안 밝혀진 것 / 쟁점

원문 이슈

성능 최적화AX Trend