SkVM: 이기종 LLM 및 하네스 환경에서의 스킬 실행을 위한 언어 가상 머신 재방문

LLM 에이전트가 사용하는 '스킬'은 현재 단순한 텍스트 프롬프트로 취급되어 모델이나 환경이 바뀌면 오작동하는 경우가 많습니다. 이 논문은 스킬을 '코드'로, LLM을 '프로세서'로 정의하고 전통적인 컴파일러 구조를 도입하여 에이전트의 실행 안정성과 효율성을 획기적으로 개선했습니다.

왜 중요한가

핵심 기여

스킬 실행을 위한 가상 머신 SkVM 제안

이기종 LLM과 에이전트 하네스 환경에서 스킬의 이식성과 효율성을 보장하기 위해 사전 컴파일(AOT) 및 실시간 최적화(JIT)를 결합한 시스템을 설계했다.

역량 기반 컴파일 기법 도입

스킬의 요구 사항을 26개의 원시 역량(Primitive Capabilities)으로 분해하고, 대상 모델의 역량 프로필에 맞춰 스킬을 자동으로 변환하거나 보완하는 메커니즘을 구현했다.

JIT 코드 고정 및 적응형 재컴파일

런타임에 반복되는 코드 패턴을 감지하여 LLM 추론을 우회하는 실행 파일로 변환(Code Solidification)하고, 실행 실패 로그를 분석해 스킬을 스스로 개선하는 기능을 갖췄다.

다양한 병렬성 추출을 통한 성능 향상

데이터 수준(DLP), 인스트럭션 수준(ILP), 스레드 수준(TLP)의 병렬성을 스킬에서 추출하여 에이전트 하네스에 매핑함으로써 실행 속도를 최대 3.2배 향상시켰다.

핵심 아이디어 이해하기

기존의 LLM 에이전트 스킬은 단순한 자연어 지시문 뭉치로 취급되어, 모델의 성능이 낮거나 실행 환경(하네스)이 달라지면 지시사항을 무시하거나 환경에 없는 도구를 호출하는 등 취약성을 보였다. 이는 마치 하드웨어 특성을 고려하지 않고 작성된 기계어 코드를 서로 다른 CPU에서 실행하려는 것과 같은 문제이다.

SkVM은 이 문제를 해결하기 위해 스킬을 '고수준 언어'로, LLM을 '이기종 프로세서'로 간주한다. 먼저 스킬이 요구하는 기능을 원자 단위의 역량(예: 복잡한 파이프라인 처리, 특정 라이브러리 호출 등)으로 정의한다. 그 다음, 대상 모델이 해당 역량을 얼마나 갖췄는지 마이크로 벤치마크로 측정하여 '역량 프로필'을 생성한다. 만약 모델의 역량이 부족하면 컴파일러가 더 쉬운 단계로 지시문을 풀어서 설명하거나(Compensation), 아예 다른 도구를 사용하도록 코드를 교체(Substitution)한다.

또한, 스킬 실행 과정에서 반복적으로 생성되는 정형화된 코드 패턴을 포착한다. LLM이 매번 동일한 구조의 코드를 생성하느라 토큰과 시간을 낭비하는 대신, 이를 템플릿화된 실행 함수로 고정(Solidification)하여 다음 호출부터는 LLM 추론 없이 즉시 실행한다. 이를 통해 비결정적인 자연어 실행 환경에 결정적인 소프트웨어 공학적 안정성을 부여한다.

방법론

SkVM은 크게 사전 컴파일러(AOT Compiler)와 런타임 및 JIT 최적화 도구(Runtime & JIT Optimizer)로 구성된다. AOT 컴파일러는 설치 시점에 세 가지 패스를 수행한다. 첫째, 역량 기반 컴파일(Capability-Based Compilation) 패스에서 모델-하네스 쌍의 프로필을 분석하여 스킬 변체를 생성한다. 둘째, 환경 바인딩(Environment Binding) 패스에서 필요한 패키지나 도구의 의존성을 확인하고 설치 스크립트를 생성한다. 셋째, 병렬성 추출(Concurrency Extraction) 패스에서 스킬의 워크플로우를 DAG(Directed Acyclic Graph)로 변환하여 병렬 실행 가능 지점을 식별한다.

런타임 시스템은 작업이 입력되면 적절한 스킬 변체를 선택하고 실행한다. JIT 최적화 도구는 실행 이력을 모니터링하며 두 가지 최적화를 수행한다. 적응형 재컴파일(Adaptive Recompilation)은 반복적인 실패가 감지될 때 실패 로그를 컴파일러에 피드백하여 스킬을 수정한다. 코드 고정(Code Solidification)은 LLM이 생성한 코드가 사전에 정의된 코드 시그니처와 일치하는지 검증하고, N번 이상 일치하면 이를 호출 가능한 함수로 승격시켜 LLM 추론 과정을 생략한다.

자원 인식형 스케줄러(Resource-Aware Scheduler)는 컴파일 타임에 추출된 병렬성 주석과 현재 시스템의 CPU, 메모리, API 레이트 리밋 상태를 비교하여 서브 에이전트의 실행을 동적으로 조절한다. [현재 자원 사용량 입력 → 임계치 비교 연산 → 실행/일시정지 결정 출력] 과정을 통해 자원 경합으로 인한 에이전트 실패를 방지한다.

주요 결과

8개의 LLM과 3개의 에이전트 하네스를 대상으로 한 실험에서 SkVM은 작업 완료율을 평균 15.3% 향상시켰다. 특히 성능이 낮은 모델일수록 개선 폭이 컸으며, BareAgent 환경의 Qwen3-30B 모델에서는 기존 대비 25% 이상의 성능 향상을 보였다. 또한, 불필요한 오류 수정 루프를 줄임으로써 SOTA 모델인 DeepSeek-V3.2 기준 최대 40%의 토큰 소비 절감 효과를 거두었다.

성능 면에서는 병렬성 추출을 통해 최대 3.2배의 실행 속도 향상을 달성했다. 특히 코드 고정(Code Solidification) 기술을 적용했을 때, PDF 처리와 같은 정형화된 작업에서 지연 시간을 기존 10,469~~15,116ms에서 206~~568ms 수준으로 줄여 최대 50배의 속도 개선을 확인했다. 환경 바인딩 기능을 통해 의존성 결여로 인한 실패율을 0%로 낮추는 결과도 얻었다.

기술 상세

SkVM의 핵심은 자연어 기반의 스킬을 정형화된 실행 단위로 추상화한 것이다. 26개의 원시 역량은 'Composability', 'Generality', 'Semantic Independence'라는 세 가지 원칙에 따라 설계되었으며, 이는 JVM 바이트코드와 유사한 역할을 수행한다. AOT 컴파일 단계에서 수행되는 역량 변환은 단순한 프롬프트 수정을 넘어, 모델의 한계를 보완하기 위한 예시 추가(Few-shot), 명시적 제약 조건 삽입 등을 포함한다.

병렬성 추출 메커니즘은 전통적인 컴파일러의 최적화 기법을 차용한다. DLP는 동일 연산을 여러 데이터에 적용할 때 'xargs -P'와 같은 쉘 수준 병렬화를 사용하고, ILP는 의존성 없는 도구 호출을 하나의 LLM 턴에 배치 처리(Batching)하며, TLP는 독립적인 하위 작업을 별도의 에이전트 세션으로 분리하여 실행한다. 이러한 계층적 병렬화는 하네스의 지원 여부에 따라 동적으로 선택된다.

JIT의 코드 고정 기법은 정규 표현식 기반의 코드 시그니처 매칭을 사용한다. LLM이 생성한 코드가 파라미터만 바뀐 채 구조적으로 동일함을 N번 확인하면, 해당 구조를 파이썬 함수나 쉘 스크립트로 템플릿화한다. 이후 동일 작업 요청 시 LLM은 파라미터만 추출하고 실제 실행은 템플릿이 담당하게 되어 추론 비용을 제거한다.

한계점

스킬 컴파일 과정에서 자연어를 입력으로 사용하기 때문에 비결정성(Non-determinism)이 완전히 제거되지 않을 수 있다. 또한 AOT 컴파일 단계에서 LLM 호출이 발생하므로 초기 설치 비용이 발생하며, 현재 26개로 정의된 원시 역량이 미래의 모든 스킬 요구사항을 완벽히 커버하지 못할 가능성이 존재한다.

실무 활용

SkVM은 기업용 LLM 에이전트 시스템에서 다양한 모델을 교체하며 사용해야 하거나, 반복적인 자동화 작업을 수행할 때 비용과 안정성을 동시에 확보할 수 있는 실무적 프레임워크를 제공합니다.

이기종 LLM 환경에서 동일한 업무 스킬(데이터 분석, 보고서 작성 등)을 일관되게 실행하고자 하는 에이전트 플랫폼
반복적인 API 호출이나 데이터 처리 스크립트 생성이 필요한 워크플로우의 실행 비용 및 지연 시간 최적화
에이전트 실행 환경의 라이브러리 의존성 문제를 자동으로 해결하여 배포 안정성을 높이고자 하는 경우

코드 공개 여부: 공개

코드 저장소 보기

키워드

LLM 에이전트(LLM Agent)스킬 실행(Skill Execution)컴파일러(Compiler)가상 머신(Virtual Machine)JIT 최적화(JIT Optimization)

용어 해설

에이전트 하네스(Agent Harness): — LLM 모델과 실제 실행 환경(OS, 도구 등) 사이를 연결하고 관리하는 런타임 프레임워크입니다. 모델의 API 연결, 도구 등록 및 호출 제어, 대화 이력 관리 등을 담당하며 에이전트가 외부 세계와 상호작용하는 통로 역할을 합니다.
사전 컴파일(AOT Compilation): — 프로그램 실행 전(Install Time)에 소스 코드를 대상 시스템에 최적화된 형태로 미리 변환하는 기술입니다. SkVM에서는 스킬 실행 전에 모델의 능력과 환경을 분석하여 최적화된 스킬 변체(Variant)를 생성함으로써 실행 시점의 불확실성을 줄입니다.
실시간 최적화(JIT Optimization): — 프로그램이 실행되는 동안(Runtime) 수집된 정보를 바탕으로 코드를 즉석에서 최적화하는 기법입니다. SkVM은 반복되는 코드 패턴을 감지하여 LLM 추론 없이 직접 실행 가능한 코드로 변환하거나, 실행 실패 시 스킬을 재구성하여 성능을 높입니다.
역량 프로파일링(Capability Profiling): — 특정 LLM과 하네스 조합이 가진 기술적 역량을 정량적으로 측정하는 과정입니다. SkVM은 26개의 원시 역량(Primitive Capabilities)을 기준으로 대상 모델을 테스트하여, 해당 모델이 특정 스킬의 지시사항을 수행할 수 있는지 사전에 판단합니다.

SkVM: 이기종 LLM 및 하네스 환경에서의 스킬 실행을 위한 언어 가상 머신 재방문

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

작업마다 스스로 진화하는 에이전트 하네스

LLM 에이전트 Skill의 작동 원리와 실패 경계

확장 가능한 에이전트 스킬 라이브러리를 위한 계약 보존 그래프 압축

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

작업마다 스스로 진화하는 에이전트 하네스

LLM 에이전트 Skill의 작동 원리와 실패 경계

확장 가능한 에이전트 스킬 라이브러리를 위한 계약 보존 그래프 압축