Claude Code와 로컬 LLM을 활용한 1년간의 AI 개발 워크플로 쇼케이스

작성자의 방대한 작업량과 체계적인 로컬 인프라 구축 사례에 대해 커뮤니티는 매우 긍정적이고 놀랍다는 반응을 보이고 있습니다.

• Jetson 하드웨어를 사용한다면 Marlin 커널이 포함된 vLLM 빌드를 통해 프리필 속도를 최적화하라.
• 반복되는 프로젝트 설정 과정을 CLI 도구로 자동화하여 LLM 세션 시작 시 이전 맥락을 즉시 주입하라.

선형 어텐션(Linear Attention)

— 표준 트랜스포머의 어텐션 메커니즘이 가진 연산 복잡도를 시퀀스 길이에 비례하는 선형 수준으로 최적화한 기법이다. 긴 문맥을 처리할 때 메모리 효율성을 극대화하며, 본문에서는 지속성 메모리 연구인 PROMETHEUS-MIND의 핵심 구조로 언급됐다.

텐서RT(TensorRT)

— NVIDIA에서 개발한 고성능 딥러닝 추론 최적화 라이브러리이자 런타임이다. 모델의 연산 그래프를 하드웨어에 최적화하여 실행 속도를 높이며, 본문에서는 Jetson AGX 장치에서 TTS 모델의 추론 속도를 초당 15.8토큰까지 끌어올리는 데 사용됐다.

GPTQ 양자화(GPTQ)

— LLM의 가중치를 4비트 등으로 압축하여 메모리 사용량을 줄이고 추론 속도를 높이는 포스트 트레이닝 양자화 기법이다. 본문에서는 Marlin 커널을 적용한 GPTQ를 통해 Jetson 환경에서 llama.cpp 대비 3.8배 빠른 프리필 속도를 달성했다.

그래프 강화 검색 증강 생성(Graph-enhanced RAG)

— 단순 텍스트 검색을 넘어 코드 구조나 문서 간의 관계를 그래프 형태로 인덱싱하여 검색 품질을 높이는 RAG 기법이다. 코드베이스의 복잡한 의존성 관계를 파악하여 LLM이 더 정확한 답변을 생성하도록 돕는 역할을 한다.