LLM 터미널 능력 확장을 위한 데이터 엔지니어링 연구

섹션별 상세

NVIDIA 연구진은 터미널 에이전트의 성능을 극대화하기 위해 시드 기반 및 기술 기반 작업 구성을 지원하는 합성 데이터 생성 파이프라인 'Terminal-Task-Gen'을 개발했다. 이 파이프라인은 복잡한 터미널 명령어와 시나리오를 체계적으로 생성하여 학습 데이터의 다양성과 품질을 확보한다.

연구를 통해 구축된 'Terminal-Corpus'는 터미널 작업에 특화된 대규모 오픈소스 데이터셋으로, 실제 환경에서 발생할 수 있는 다양한 터미널 상호작용 데이터를 포함한다. 이 데이터셋은 모델이 터미널 환경의 문맥을 이해하고 정확한 명령어를 실행하는 능력을 학습하는 데 핵심적인 역할을 한다.

데이터 엔지니어링 과정에서 필터링, 커리큘럼 학습(쉬운 작업부터 어려운 작업 순으로 학습), 롱 컨텍스트 학습 및 스케일링 법칙에 대한 포괄적인 분석이 수행되었다. 이러한 전략적 접근은 모델이 제한된 파라미터 수로도 복잡한 터미널 작업을 효율적으로 처리할 수 있도록 최적화한다.

Qwen3 모델을 기반으로 초기화된 Nemotron-Terminal 모델군은 Terminal-Bench 2.0 벤치마크에서 괄목할 만한 성능 향상을 보였다. 특히 32B 모델은 성능이 3.4%에서 27.4%로 급증하며, 훨씬 더 큰 규모의 모델들과 경쟁 가능한 수준의 터미널 제어 능력을 입증했다.

기술

Qwen3
Nemotron-Terminal
Terminal-Task-Gen
Terminal-Corpus

활용 사례

자율 시스템 관리
자동화된 서버 트러블슈팅
AI 기반 CLI 도구

언급된 리소스

논문On Data Engineering for Scaling LLM Terminal Capabilities (arXiv)