Karpathy의 LLM OS 아키텍처 레이어 개념

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

LLM을 운영체제(OS) 개념에 대입하여 CPU, RAM, 커널 등 시스템 구성 요소로 추상화한 아키텍처 모델.

Karpathy가 제안한 LLM OS 개념을 기반으로, LLM 시스템을 컴퓨터 운영체제 구조에 비유하여 각 구성 요소를 체계화한 아키텍처 다이어그램이다.

LLM을 CPU, 컨텍스트를 RAM, 스토리지를 디스크로 매핑하여 LLM 애플리케이션의 리소스 관리 구조를 정의했다. 이 모델은 하드웨어 아키텍처를 소프트웨어 에이전트 시스템에 이식하여 각 구성 요소의 역할을 명확히 구분한다.

지식 계층을 GitHub, Linear, 메모리, 벡터 DB 등으로 세분화하여 데이터 접근성을 최적화했다. RAG 파이프라인과 연동하여 활성 데이터와 영구 저장소를 효율적으로 관리한다.

에이전트 팀을 프로세스로, 도구 사용을 시스템 호출로 정의하여 복잡한 워크플로를 체계화했다. Harness를 커널로 설정하여 안전성과 다중 에이전트 제어를 수행하는 구조를 갖춘다.

ChromaDB중립

벡터 데이터 저장 및 검색

GitHub중립

외부 지식 소스 및 코드 관리

Linear중립

프로젝트 관리 및 외부 데이터 소스