pi-coding-agent를 활용한 로컬 코딩 에이전트 실험

실용적 조언

Apple Silicon 사용자라면 MLX에 최적화된 모델을 사용하여 로컬 추론 속도를 극대화할 수 있다.
로컬 코딩 에이전트 구축 시 30B 이하 체급에서는 지능 한계를 고려하여 작업의 난이도를 조절해야 한다.

섹션별 상세

로컬 환경에서 코딩 에이전트를 구축하기 위해 qwen3-coder-30b 모델과 pi-coding-agent를 조합했다. MLX 프레임워크를 기반으로 6비트 양자화 모델을 실행하여 모델의 도구 호출(tool calling) 능력을 활용하고자 했다. 오프라인 상태에서 프롬프트 엔지니어링만으로 복잡한 결과물을 만들어내는 것이 주요 목표였다.

터미널에서 로컬 서버를 실행 중인 스크린샷 — Screenshotpython3 -m http.server 3000 명령어를 통해 로컬 서버를 실행하고 에이전트가 생성한 웹 포트폴리오 결과물을 확인하는 과정을 보여준다. Ghostty 터미널 환경에서 MLX 기반 모델이 구동되고 있음을 확인할 수 있다.

현재 로컬 모델의 지능 수준은 상용 모델인 opus 4.6에 비해 현저히 낮다는 평가다. 작성자는 로컬 모델이 상용 모델 지능의 4분의 1에도 미치지 못한다고 언급하며 복잡한 작업 수행 능력이 부족함을 지적했다. 30B 이하의 가중치를 가진 모델 중 더 높은 지능을 가진 증류(distilled) 모델을 찾는 것이 향후 과제이다.

성능 측면에서는 MLX에 최적화된 모델들이 뛰어난 효율성을 보여주었다. 30B 미만의 모델들은 48GB RAM 환경에 원활하게 적재되었으며, 특히 24B 모델은 초당 120토큰(tok/s)이라는 속도를 기록했다. 이는 로컬 환경에서도 충분한 대화 및 계획 수립 속도를 확보할 수 있음을 시사한다.

언급된 도구

pi-coding-agent추천

로컬 LLM 기반의 코딩 에이전트 프레임워크

MLX추천

Apple Silicon용 머신러닝 프레임워크

qwen3-coder-30b중립

코딩 특화 로컬 언어 모델