additive power law: 롱컨텍스트 지속 프리트레이닝 스케일링 법칙 연구와 100개 예산 조합
핵심 — 롱컨텍스트 성능을 세 요소로 예측한다
- Ziqing Qiao 연구진이 롱컨텍스트 지속 프리트레이닝(LCCP)의 empirical additive power law를 제시했다.
- 롱컨텍스트 성능을 세 가지 요소에 연결한다. 모델 크기, 단기 프리트레이닝 토큰 예산, LCCP 토큰 예산이다.
- LCCP는 롱컨텍스트 능력을 높이는 표준 처방이다. 하지만 토큰을 얼마나 더 넣어야 하는지, 이득이 투입량에 따라 어떻게 스케일하는지에 대한 정량 지침이 없었다.
- 이 논문은 그 빈곳에 "일찍 멈추지 말라"는 주장의 근거를 스케일링 법칙 형태로 붙인다.
실험 규모 — 5개 규모, 100개 이상 예산 조합
- 5개 모델 규모와 100개가 넘는 단기·장기 예산 조합으로 실험했다.
- 맞춘 법칙은 관측 경향을 재현한다. held-out 모델 규모로 외삽이 잘 된다.
- 같은 스케일링 법칙 형태가 1.22B 파라미터 모델의 LCCP 성능 궤적을 정확히 예측했다. 이 모델은 약 100B LCCP 토큰으로 학습했다.
실무 관점의 포인트는 외삽이다. 이미 본 규모 안에서만 맞는 법칙이 아니라, 보지 못한 규모에서도 들어맞았다는 점이 예산 계획의 근거가 된다.
Constant-Last4 — 하나의 궤적으로 안정 모니터링
- 논문은 Constant-Last4 프로토콜을 도입했다. 고정 학습률 run의 가장 최근 연속 4개 체크포인트를 평균한다.
- 단일 extensible trajectory에서 안정적으로 모니터링하는 방식이다.
- 논문은 modeling, monitoring, validating 세 단계로 LCCP 스케일링의 이득을 조사했다. 같은 스케일링 법칙 형태가 Constant-Last4 아래에서도 잘 맞는다.
다운스트림 — 128K 확장 이후에도 이득 유지
- 다운스트림 평가에서 롱컨텍스트 성능이 계속 개선됐고, 평가 범위 안에 포화 징후는 없었다.
- 이 이득은 128K 컨텍스트 확장과 지도 파인튜닝(SFT) 이후에도 유지됐다.
- 이득은 롱컨텍스트 이해와 에이전트 태스크로 확장된다.
왜 중요한지 — 학습 예산 계획의 근거
긴 문서나 코드베이스를 다루는 모델을 고를 때, "토큰을 얼마나 더 넣으면 성능이 얼마나 오르나"를 예측할 수 있게 된다. AX 실무에서 장문서 처리 모델을 고를 때의 선정 기준에도 바로 연결된다. 이득이 안정적으로 관측되고, 정량 예측이 되며, 다운스트림 태스크로 전이된다는 세 가지가 "계속 스케일하라"는 주장의 근거다.
아직 안 밝혀진 것 / 쟁점
- power law의 구체 식(계수·형태)은 미확인이다. 초록에는 형태에 대한 설명만 있고 식은 없다.
- 100B를 넘는 LCCP 토큰 구간에서의 포화 여부는 미확인이다.
- 1.22B 외 규모에서 맞춘 법칙이 얼마나 정확히 예측하는지의 세부 수치는 미확인이다.
- 128K를 넘는 컨텍스트 길이에서의 다운스트림 동작은 미확인이다.