LLM 에이전트 Skill의 작동 원리와 실패 경계

LLM 에이전트의 Skill은 경험을 저장하는 것만으로 작동하지 않고, 절차를 어떤 형식으로 압축하고 어떤 맥락에서 호출하는지에 따라 효과가 달라집니다. 이 연구는 8,135개 실행 기록과 528개의 대응 비교를 이용해 Skill이 사실 주입보다 행동 순서와 검증 절차를 안정화하는 데 주로 기여한다는 점을 수치로 분리했습니다. 동시에 Skill pool이 5개에서 100개로 커질 때 실행 중 사용 정밀도가 29.6%에서 3.3%로 떨어져도 성공률은 36.4%에서 39.3%로 유지되어, 검색 정확도와 실제 과제 성공을 같은 지표로 취급하면 안 된다는 점을 확인할 수 있습니다.

LLM 에이전트는 도구 호출, 파일 수정, 테스트 실행처럼 여러 행동을 순서대로 수행해야 합니다. 이전 실행 기록을 그대로 Workflow Memory로 제공하면 성공한 명령뿐 아니라 실패한 분기와 탐색 과정도 함께 들어가 다음 실행의 문맥 부담이 커집니다. 이 연구의 Skill은 같은 경험을 SKILL.md라는 짧은 절차 묶음으로 다시 구성해, 과제 입력에서 설정 단계와 도구 순서를 거쳐 검증 단계로 이어지는 행동 경로를 더 안정적으로 만드는 방식입니다.

Skill이 제공하는 핵심 출력은 새로운 도메인 사실이 아니라 실행 절차입니다. Skill creator는 성공 및 실패 궤적을 입력으로 받아 반복되는 설정 방법, 명령 순서, 오류 회피책과 확인 절차를 추출하고, 에이전트는 이를 실행 환경에서 읽어 현재 과제의 행동 순서에 반영합니다. 그래서 procedural_anchor가 65.7%를 차지한 반면 지식 주입은 4.5%에 그쳤으며, Skill은 무엇을 알아야 하는지보다 무엇을 먼저 하고 무엇을 확인할지를 고정하는 역할에 가깝습니다.

다만 Skill은 자동으로 올바르게 적용되지 않습니다. 에이전트가 후보를 찾고 현재 과제와의 호환성을 판단한 뒤 필요한 부분만 조정해야 하므로, Skill pool이 커지거나 유사한 방해 후보가 늘면 호출 정밀도가 낮아질 수 있습니다. 실제로 pool 크기가 5에서 100으로 증가할 때 실행 중 사용 정밀도는 29.6%에서 3.3%로 하락했지만 성공률은 36.4%에서 39.3%로 유지되어, 적절한 절차의 일부 사용과 과제 성공 사이에 독립적인 경로가 있음을 나타냅니다.

연구는 네 가지 질문을 고정된 비교 조건으로 나누었습니다. 같은 원천 궤적을 Raw, Workflow Memory, Skill의 세 형식으로 제공하고, 성공 궤적과 실패 궤적의 조합을 5s0f부터 0s5f까지 바꾸면서 표현 형식만이 결과에 미치는 영향을 측정했습니다. Codex + GPT-5.3-Codex와 Gemini CLI + Gemini-3.1-Pro-Preview를 사용했으며, Terminal-Bench와 SkillsBench에서 같은 과제를 평가했습니다.

Outcome annotation의 효과는 성공 및 실패 표시를 Skill creator에게 제공하는 normal 조건과 제거한 no-hint 조건으로 비교했습니다. 프레임워크 전이는 Codex에서 만든 Workflow Memory와 Skill을 Gemini CLI에 옮겨 프롬프트 방식, 도구 인터페이스와 실행 루프가 달라져도 절차 지식이 유지되는지 측정했습니다. downstream 실행은 과제마다 n = 5 unique trials와 parallelism 20을 기본으로 했습니다.

검색 연구에서는 각 후보 pool에 ground-truth Skill 하나와 random, similar, dissimilar distractor를 넣고 pool 크기를 5, 10, 20, 50, 100으로 조정했습니다. Arm 1은 Qwen3-Embedding-0.6B가 과제 설명과 Skill 설명의 cosine similarity를 계산해 순위를 매겼고, Arm 2는 에이전트가 실행 없이 후보를 선택했으며, Arm 3은 전체 후보를 실제 실행 환경에 제공한 뒤 검증 후 실제 사용 Skill과 성공 여부를 파싱했습니다. 세 Arm의 출력은 서로 전달하지 않아 검색 식별, 실행 중 호출, 최종 성공을 독립 측정했습니다.

궤적 분석에서는 8,135개 trial record 중 transcript가 있는 7,837개를 정규화하고 240개 표본에 open coding을 적용했습니다. 238개 유효 라벨을 12개 canonical mode와 세 개 상위 범주로 통합한 뒤, 528개 paired triple에서 Raw, Workflow Memory, Skill의 행동 변화를 비교했습니다. 사람 검증은 238개 라벨마다 세 개의 supporting trajectory를 확인하는 714회 점검으로 구성됐고 95.8% exact agreement와 Cohen’s κ = 0.952를 얻었습니다.

Skill의 oracle-status success rate는 61.9%로 Raw 59.1%, Workflow Memory 55.9%보다 높았습니다. 같은 원천 궤적을 사용한 Skill과 Workflow Memory의 차이는 +6.06 percentage points였으며 95% bootstrap confidence interval은 [+0.76, +11.36]이었습니다. 26개 Terminal-Bench-2 과제의 보조 기준에서는 instruction-derived short plan이 47.7%, workflow-derived test-first template이 59.2%, Workflow Memory가 62.3%, Skill injection이 79.2%를 기록했습니다.

Skill-arm의 성공 절차 범주는 61.7%였고 Workflow-arm은 55.7%였습니다. execution-layer 및 verification failure는 Raw 37.3%, Workflow Memory 33.3%, Skill 23.5%로 낮아졌으며, environment_infrastructure_failure는 5.3%에서 0.2%, output_format_schema_mismatch는 7.4%에서 3.2%, background_service_lifecycle_failure는 2.7%에서 0.8%로 줄었습니다. 반대로 algorithmic_logic_error는 Raw 8.3%, Workflow Memory 11.0%, Skill 7.4%였고 static_verification_without_runtime은 각각 12.5%, 12.5%, 11.7%로 남았습니다.

Skill의 새로운 실패 양식은 skill_guidance_misapplied_or_ignored로, Skill-arm 10.0%에서 나타났으며 Raw 0.8%, Workflow Memory 0.4%보다 높았습니다. Workflow Memory에서는 긴 탐색과 실패 분기가 남아 timeout_budget_exhaustion이 10.6%까지 증가했고 Skill에서는 4.4%였습니다. Outcome annotation을 제거하면 실패 궤적이 섞인 조건에서 성능 하락이 커졌으며, Gemini의 Terminal-Bench-2 3s2f 조건은 normal 0.7462에서 no-hint 0.4000으로 낮아졌습니다.

검색의 offline top-1 embedding precision은 pool 크기 5에서 88.3%, 100에서 76.9%였고 explicit agent selection은 70.0%에서 63.7%였습니다. 실제 실행 중 평균 사용 정밀도는 29.6%에서 3.3%로 떨어졌지만 downstream success는 36.4%에서 39.3%로 변했습니다. Similar pool에서 Arm 1 정밀도는 70.5%에서 53.4%로 낮아졌고, Arm 3 정밀도는 random, similar, dissimilar 모든 조건에서 pool 증가와 함께 크게 하락했습니다.

실험의 핵심 대조는 동일한 source trajectory pool을 서로 다른 표현으로 변환하는 데 있습니다. Raw는 prior experience를 받지 않고, Workflow Memory는 정제된 procedural trace를 직접 받으며, Skill은 같은 trace에서 표준화한 SKILL.md를 실행 환경의 reusable procedural resource로 받습니다. 성공 및 실패 궤적 비율을 5s0f, 4s1f, 3s2f, 2s3f, 1s4f, 0s5f로 바꿔 경험의 질과 표현 형식을 분리했습니다.

Skill-use taxonomy는 각 paired triple의 실행을 procedural_anchor, knowledge_injection, failure_warning, none, counterproductive와 같은 메커니즘으로 분류합니다. 상위 범주 SC1은 성공적인 절차적 앵커링, SC2는 환경 설정·출력 형식·서비스·Shell·구현·검증 실패, SC3는 호출·적용 가능성·경계 실패를 포함합니다. Skill-arm에서는 SC1이 326/528, SC2가 124/528, SC3가 78/528이었고 Workflow Memory에서는 SC1 294/528, SC2 176/528, SC3 58/528로 집계됐습니다.

검색 Arm 1에서는 과제 설명과 후보 Skill 설명을 Qwen3-Embedding-0.6B로 벡터화한 뒤 cosine similarity가 높은 순서로 후보를 정렬했습니다. pool 크기 k가 5에서 100으로 늘어날 때 Arm 1의 평균 top-1 precision은 88.3%에서 76.9%로, Arm 2의 explicit selection precision은 70.0%에서 63.7%로 감소했습니다. Similar distractor 조건의 Arm 1 precision은 70.5%에서 53.4%로 낮아져 pool의 단순한 크기보다 의미적 혼동성이 오프라인 식별의 주요 부담으로 나타났습니다.

Arm 3에서는 전체 후보를 실행 환경에 제공하고 에이전트가 실제로 접근한 Skill과 verifier 결과를 함께 기록했습니다. 평균 actual-use precision은 k=5에서 29.6%, k=100에서 3.3%였지만 downstream success는 36.4%에서 39.3%로 변했습니다. Arm 3 recall이 k=100에서도 54.3–73.6%였으므로 에이전트가 정답 Skill을 전혀 보지 못하는 경우만으로 성공과 정밀도의 차이를 설명하기 어렵고, 여러 후보를 함께 읽거나 관련 Skill의 절차 일부를 활용하는 과정이 중요합니다.

Outcome annotation 실험은 Skill creator가 각 궤적의 성공 및 실패 여부를 볼 수 있는 normal 조건과 같은 궤적에서 표시만 제거한 no-hint 조건을 비교했습니다. 성공 궤적만 있는 pool에서는 차이가 작았지만 실패 궤적이 추가되면 normal 조건이 대체로 더 강했고, Gemini의 Terminal-Bench-2 3s2f에서 normal 0.7462와 no-hint 0.4000의 차이가 나타났습니다. 이는 실패 기록 자체보다 실패 기록을 구분하고 절차를 선택하는 신호가 Skill 구성에 영향을 준다는 뜻입니다.

평가는 multi-step 실행, debugging과 verification을 중심으로 하는 terminal 및 tool-using benchmark에 집중되어 장기 web interaction이나 open-ended collaboration을 포함하지 않습니다. 사용한 agent–model configuration도 제한적이어서 다른 scaffold, model family와 model version에서 같은 결과가 유지되는지는 확인되지 않았습니다. 또한 taxonomy는 정규화된 기록의 약 3%에 해당하는 층화 표본을 open coding한 결과이므로 드문 행동 양식이 충분히 포착되지 않았을 수 있습니다.