Weight-Space Programming — 가중치 0.016%로 수학 성능 6배 개선

2026년 11월 3일 · MIT CSAIL 연구 블로그 · ax-trend #3728

Weight-Space Programming 타이틀카드 — 가중치 0.016% 수정으로 MATH-500 7.9%에서 48.1%로

MIT CSAIL 연구진(Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab)이 Weight-Space Programming이라는 개념과 초기 실험 결과를 연구 블로그에 공개했습니다. 범용 프론티어 LLM이 옵티마이저나 그래디언트 없이 신경망 가중치를 직접 읽고 쓰는 방식입니다.

지금까지 LLM은 프롬프트와 코드 같은 텍스트 산출물을 다뤄 왔고, 가중치 자체는 Adam이나 Muon 같은 옵티마이저의 영역으로 여겨졌습니다. 이번 결과는 추론으로 가중치를 읽고 고치는 방식이 작은 네트워크를 넘어 0.8B 언어모델까지 닿았다는 초기 증거입니다.

가중치는 지금까지 LLM이 직접 다룰 수 없는 영역으로 여겨졌습니다.

가중치만 보고 맞힌 네트워크 식별 결과

실험 모델은 블로그에서 GPT-6 Astra로 표기됩니다. 이 모델은 가중치 17,253개의 MLP 원시 가중치만 보고 PPO로 학습된 게임을 확인했습니다.

MinAtar 3개 게임에서는 가중치를 처음부터 새로 써서 PPO 1억 스텝 학습 네트워크를 모두 이겼습니다. Breakout 점수는 517.4점으로, 5억 스텝 PPO의 25.3점보다 약 20배 높게 기록됐습니다.

Qwen3.5-0.8B 수정 과정

가중치 공간 프로그래밍 흐름 — 가중치 읽기, 원인 방향 지목, 방향 제거, 성능 측정

수학 성능 개선에서는 반복 루프의 원인이 먼저 지목됐습니다. 연구진은 15번·19번 층 MLP가 쓰는 한 방향을 원인으로 특정했습니다.

수정 방식은 그 방향을 빼는 형태로 이뤄졌습니다. 64개 출력 열에서 해당 방향을 제거해 전체 가중치의 0.016%(131,072개)만 바꿨습니다.

수정 전후 성능 수치

Qwen3.5-0.8B 수정 전후 성능 막대차트 — MATH-500 7.9%에서 48.1%로, GSM8K 13.8%에서 67.1%로

전체 실험 로그는 GitHub에 공개됐고, 수정된 Qwen3.5-0.8B는 Hugging Face에 올라와 있습니다. 블로그는 Hugging Face 측에서 로그를 바탕으로 모델을 재구축하고 평가를 다시 실행했다고 밝히고 있습니다.

확인되지 않은 지점과 한계

실무 판단

옵티마이저 중심의 학습 방식에 대한 대안이 실측 결과와 함께 제시된 셈입니다. 가중치만으로 모델의 숨은 문제를 감사하거나, 재학습 없이 결함 방향 하나를 제거하는 운용이 가능해지면 해석 가능성과 모델 유지보수의 비용 구조가 달라집니다.

다만 재현 조건이 아직 닫혀 있다는 점이 판단의 중심입니다. 저자 팀이 측정용 벤치마크와 하네스를 만들고 있다고 밝힌 만큼, 후속 공개에서 같은 모델로 제3자가 재현할 수 있는지가 다음 확인 지점입니다.

출처

오픈 모델 성능 최적화 AX Trend