SkVM: 이기종 LLM 및 하네스 환경에서의 스킬 실행을 위한 언어 가상 머신 재방문

LLM 에이전트가 사용하는 '스킬'은 현재 단순한 텍스트 프롬프트로 취급되어 모델이나 환경이 바뀌면 오작동하는 경우가 많습니다. 이 논문은 스킬을 '코드'로, LLM을 '프로세서'로 정의하고 전통적인 컴파일러 구조를 도입하여 에이전트의 실행 안정성과 효율성을 획기적으로 개선했습니다.

기존의 LLM 에이전트 스킬은 단순한 자연어 지시문 뭉치로 취급되어, 모델의 성능이 낮거나 실행 환경(하네스)이 달라지면 지시사항을 무시하거나 환경에 없는 도구를 호출하는 등 취약성을 보였다. 이는 마치 하드웨어 특성을 고려하지 않고 작성된 기계어 코드를 서로 다른 CPU에서 실행하려는 것과 같은 문제이다.

SkVM은 이 문제를 해결하기 위해 스킬을 '고수준 언어'로, LLM을 '이기종 프로세서'로 간주한다. 먼저 스킬이 요구하는 기능을 원자 단위의 역량(예: 복잡한 파이프라인 처리, 특정 라이브러리 호출 등)으로 정의한다. 그 다음, 대상 모델이 해당 역량을 얼마나 갖췄는지 마이크로 벤치마크로 측정하여 '역량 프로필'을 생성한다. 만약 모델의 역량이 부족하면 컴파일러가 더 쉬운 단계로 지시문을 풀어서 설명하거나(Compensation), 아예 다른 도구를 사용하도록 코드를 교체(Substitution)한다.

또한, 스킬 실행 과정에서 반복적으로 생성되는 정형화된 코드 패턴을 포착한다. LLM이 매번 동일한 구조의 코드를 생성하느라 토큰과 시간을 낭비하는 대신, 이를 템플릿화된 실행 함수로 고정(Solidification)하여 다음 호출부터는 LLM 추론 없이 즉시 실행한다. 이를 통해 비결정적인 자연어 실행 환경에 결정적인 소프트웨어 공학적 안정성을 부여한다.

SkVM은 크게 사전 컴파일러(AOT Compiler)와 런타임 및 JIT 최적화 도구(Runtime & JIT Optimizer)로 구성된다. AOT 컴파일러는 설치 시점에 세 가지 패스를 수행한다. 첫째, 역량 기반 컴파일(Capability-Based Compilation) 패스에서 모델-하네스 쌍의 프로필을 분석하여 스킬 변체를 생성한다. 둘째, 환경 바인딩(Environment Binding) 패스에서 필요한 패키지나 도구의 의존성을 확인하고 설치 스크립트를 생성한다. 셋째, 병렬성 추출(Concurrency Extraction) 패스에서 스킬의 워크플로우를 DAG(Directed Acyclic Graph)로 변환하여 병렬 실행 가능 지점을 식별한다.

런타임 시스템은 작업이 입력되면 적절한 스킬 변체를 선택하고 실행한다. JIT 최적화 도구는 실행 이력을 모니터링하며 두 가지 최적화를 수행한다. 적응형 재컴파일(Adaptive Recompilation)은 반복적인 실패가 감지될 때 실패 로그를 컴파일러에 피드백하여 스킬을 수정한다. 코드 고정(Code Solidification)은 LLM이 생성한 코드가 사전에 정의된 코드 시그니처와 일치하는지 검증하고, N번 이상 일치하면 이를 호출 가능한 함수로 승격시켜 LLM 추론 과정을 생략한다.

자원 인식형 스케줄러(Resource-Aware Scheduler)는 컴파일 타임에 추출된 병렬성 주석과 현재 시스템의 CPU, 메모리, API 레이트 리밋 상태를 비교하여 서브 에이전트의 실행을 동적으로 조절한다. [현재 자원 사용량 입력 → 임계치 비교 연산 → 실행/일시정지 결정 출력] 과정을 통해 자원 경합으로 인한 에이전트 실패를 방지한다.

8개의 LLM과 3개의 에이전트 하네스를 대상으로 한 실험에서 SkVM은 작업 완료율을 평균 15.3% 향상시켰다. 특히 성능이 낮은 모델일수록 개선 폭이 컸으며, BareAgent 환경의 Qwen3-30B 모델에서는 기존 대비 25% 이상의 성능 향상을 보였다. 또한, 불필요한 오류 수정 루프를 줄임으로써 SOTA 모델인 DeepSeek-V3.2 기준 최대 40%의 토큰 소비 절감 효과를 거두었다.

성능 면에서는 병렬성 추출을 통해 최대 3.2배의 실행 속도 향상을 달성했다. 특히 코드 고정(Code Solidification) 기술을 적용했을 때, PDF 처리와 같은 정형화된 작업에서 지연 시간을 기존 10,46915,116ms에서 206568ms 수준으로 줄여 최대 50배의 속도 개선을 확인했다. 환경 바인딩 기능을 통해 의존성 결여로 인한 실패율을 0%로 낮추는 결과도 얻었다.

SkVM의 핵심은 자연어 기반의 스킬을 정형화된 실행 단위로 추상화한 것이다. 26개의 원시 역량은 'Composability', 'Generality', 'Semantic Independence'라는 세 가지 원칙에 따라 설계되었으며, 이는 JVM 바이트코드와 유사한 역할을 수행한다. AOT 컴파일 단계에서 수행되는 역량 변환은 단순한 프롬프트 수정을 넘어, 모델의 한계를 보완하기 위한 예시 추가(Few-shot), 명시적 제약 조건 삽입 등을 포함한다.

병렬성 추출 메커니즘은 전통적인 컴파일러의 최적화 기법을 차용한다. DLP는 동일 연산을 여러 데이터에 적용할 때 'xargs -P'와 같은 쉘 수준 병렬화를 사용하고, ILP는 의존성 없는 도구 호출을 하나의 LLM 턴에 배치 처리(Batching)하며, TLP는 독립적인 하위 작업을 별도의 에이전트 세션으로 분리하여 실행한다. 이러한 계층적 병렬화는 하네스의 지원 여부에 따라 동적으로 선택된다.

JIT의 코드 고정 기법은 정규 표현식 기반의 코드 시그니처 매칭을 사용한다. LLM이 생성한 코드가 파라미터만 바뀐 채 구조적으로 동일함을 N번 확인하면, 해당 구조를 파이썬 함수나 쉘 스크립트로 템플릿화한다. 이후 동일 작업 요청 시 LLM은 파라미터만 추출하고 실제 실행은 템플릿이 담당하게 되어 추론 비용을 제거한다.

스킬 컴파일 과정에서 자연어를 입력으로 사용하기 때문에 비결정성(Non-determinism)이 완전히 제거되지 않을 수 있다. 또한 AOT 컴파일 단계에서 LLM 호출이 발생하므로 초기 설치 비용이 발생하며, 현재 26개로 정의된 원시 역량이 미래의 모든 스킬 요구사항을 완벽히 커버하지 못할 가능성이 존재한다.