Behavioral Localization: 스킬 효과 국소화로 소프트 프롬프트를 학습한다

arXiv · ax-trend 이슈 #3480 · 2026-10-21 제출

Behavioral Localization overview — skill effect is concentrated, not spread out
개요 — 스킬의 효과는 궤적 전체에 퍼져 있지 않고, 일부 위치에 집중된다

설명이 길어질수록 매 호출마다 비용이 붙는다 — 왜 짧게 만들어야 하나

text skill은 tool-using agent의 능력을 확장해줍니다. 자연어로 쓴 설명을 에이전트에게 건네는 방식이죠. 그런데 설명이 길어지면 계산 비용도 함께 커집니다. 매 호출마다 긴 설명을 읽어야 하니까요.

soft prompt는 compact한 대안으로 제시돼 왔습니다. 문제는 학습 방식에 있습니다. 전체 성공 trajectory로 학습하면, 필요한 부분 외의 불필요한 행동 변화까지 함께 생긴다고 합니다. 외워야 할 것을 통째로 외우게 하니, 엉뚱한 행동까지 따라 배우는 셈이죠.

이 연구의 출발점은 한 가지 관측입니다. text skill의 유용한 효과는 trajectory positions의 작은 subset에 집중돼 있다는 것이죠. 전체가 아니라 일부 위치라는 말입니다. 그렇다면 그 위치만 골라 학습시키면 되지 않을까요?

Behavioral Localization method — compare frozen agent with and without the skill, highlight positions where successful-token likelihood rises
방법 — frozen agent를 스킬 유무로 비교해, 효과가 나타나는 위치를 찾는다

효과가 있는 위치만 찾는다 — 켜고 끄며 비교하는 법

Behavioral Localization은 frozen agent를 text skill 유무로 비교합니다. 스킬이 successful tokens의 likelihood를 높이고, next token distribution을 의미 있게 바꾸는 위치를 찾는 방식입니다.

찾아낸 국소 위치들로 short soft prompt를 supervision합니다. 작지만 행동 관련성이 높은 위치 집합이 효과적인 supervision을 제공한다는 것이 연구의 주장입니다.

Behavioral Localization results — top 10 percent positions capture 96.12 percent of positive skill gain, shared prompt 30.36 to 36.79 percent, task-specific 57.38 percent
수치 — 상위 10% 위치가 긍정적 스킬 이득의 96.12%를 품는다

상위 10%가 96.12%를 품는다 — 숫자로 보는 결과

실험은 SpreadsheetBench와 frozen Qwen3.6-35B-A3B로 진행됐습니다. 결과부터 정리하면, top 10% trajectory positions가 total positive skill gain의 96.12%를 포착했습니다. 효과의 대부분이 10%에 몰려 있다는 관측이 숫자로 확인된 것이죠.

학습 결과도 함께 봐야 합니다. shared prompt setting에서 selective supervision은 success rate를 30.36%에서 36.79%로 올렸습니다. full trajectory 전체로 학습한 경우와 비교한 결과입니다.

task-specific 조건에서는 더 강합니다. top 10% localized positions로 57.38%를 달성했고, full text skill과 on-policy OPCD baseline을 앞섰다고 합니다.

전체 궤적을 학습시키는 것은 필요한 행동만 가르치는 방법이 아니었습니다. 효과가 집중된 위치만 골라 가르치는 편이, 더 적게 가르치면서도 더 잘하는 길이었습니다.
이 글의 수치는 이슈 본문에 나온 그대로입니다. “96.12%”는 전체 긍정적 스킬 이득 중 상위 10% 위치가 포착한 비율이며, “30.36%에서 36.79%”는 공유 프롬프트 조건의 성공률 변화, “57.38%”는 태스크별 조건의 성공률입니다.
Behavioral Localization limits — soft prompt length, OPCD baseline details, and generalization beyond SpreadsheetBench still unknown
한계 — 프롬프트 길이도, 일반화도 아직 미확인이다

아직 가려진 것들 — 길이도, 일반화도 미확인이다

설계가 깔끔한 만큼, 확인되지 않은 항목도 또렷합니다. 섣불리 메우지 않고 미확인으로 남겨두는 편이 맞습니다.

우리 팩토리에 무엇을 가져올까 — 프롬프트 다이어트의 기준점

이슈 본문이 짚은 실무적 가치는 비용과 직결됩니다. 스킬과 프롬프트 주입 비용은 토큰 비용과 직결돼, 설명이 길수록 매 호출마다 비용이 붙는다고 합니다. “효과는 10%에 집중된다”는 관측은 우리 크론 프롬프트 다이어트의 정량 근거가 될 수 있죠. 길게 쓰던 스킬 설명을 어디서 잘라야 할지 알려주는 셈입니다.

soft prompt 전환을 검토할 때도 마찬가지입니다. Behavioral Localization처럼 효과가 집중된 위치만 골라 학습시키는 방식을 기준으로 삼을 수 있지 않을까요? 다만 아직은 한 벤치마크, 한 frozen 모델에서의 결과입니다. 우리 환경의 스킬과 태스크에서 직접 재보는 것이 순서겠죠. 숫자는 가져오되, 판단은 우리 과제로 검증하는 게 맞지 않을까요?

원문 이슈

AI 코딩성능 최적화에이전트 모델AX Trend