Apple Silicon Mac 전용 로컬 AI 스튜디오 'Lekh AI Pro' 공개

실용적 조언

Mac에서 로컬 AI 성능을 비교하고 싶다면 내장된 벤치마크 도구를 통해 TTFT와 Throughput을 측정할 수 있다.
로컬 모델을 외부 IDE나 도구에서 사용하려면 앱 내 API 서버 기능을 활성화하여 OpenAI 호환 엔드포인트를 활용하면 된다.

섹션별 상세

Lekh AI Pro는 단순한 챗봇 인터페이스를 넘어 Apple Silicon 환경에 최적화된 통합 AI 스튜디오를 지향한다. LLM 채팅뿐만 아니라 Flux, SDXL 기반의 이미지 생성 및 편집, Kokoro를 활용한 TTS와 오디오북 제작 기능을 단일 앱 내에서 제공한다. 사용자는 별도의 복잡한 설정 없이 로컬 환경에서 멀티모달 AI 워크플로우를 구축할 수 있다.

다양한 모델 포맷과 추론 엔진을 지원하여 호환성을 극대화했다. MLX, GGUF뿐만 아니라 JANG 포맷을 지원하며, 모델 간 벤치마크 기능을 통해 Throughput과 TTFT 수치를 직접 비교할 수 있다. 이는 사용자가 자신의 하드웨어 사양에 가장 적합한 모델을 선택하는 데 객관적인 근거를 제공한다.

로컬 실행 시 발생하는 하드웨어 자원 관리 문제를 해결하는 데 집중했다. M 시리즈 칩의 메모리 압박(Memory Pressure)을 관리하고 모델의 로딩 및 언로딩 프로세스를 최적화하여 시스템 안정성을 확보했다. 속도와 품질 사이의 균형을 맞추기 위해 다양한 양자화 포맷 변환 도구도 내장했다.

외부 도구와의 연동을 위해 OpenAI 및 Ollama 호환 API 서버 기능을 탑재했다. 로컬에서 실행 중인 모델을 외부 애플리케이션이나 개발 도구에서 API 형태로 호출하여 사용할 수 있다. 이는 로컬 AI를 단순한 독립 앱이 아닌 개발 생태계의 일부로 확장하려는 시도이다.

용어 해설

MLX: — Apple Silicon에서 머신러닝 연구를 위해 설계된 효율적인 프레임워크이다. 통합 메모리 아키텍처를 활용하여 GPU 가속을 최적화하며, Mac 환경에서 대규모 모델의 추론 및 학습 속도를 대폭 향상시킨다.
GGUF: — llama.cpp 등에서 널리 쓰이는 LLM 저장 및 배포용 바이너리 포맷이다. CPU와 GPU 간의 효율적인 데이터 로딩을 지원하며, 다양한 양자화 수준을 제공하여 로컬 환경의 메모리 제약을 극복하게 돕는다.
첫 번째 토큰 생성 시간(TTFT): — Time To First Token의 약자로, 모델이 입력을 받은 후 첫 번째 응답 토큰을 출력하기까지 걸리는 시간이다. 사용자 경험의 즉각성을 결정하는 핵심 성능 지표로 활용된다.
검색 증강 생성(RAG): — 외부 문서나 데이터베이스에서 관련 정보를 검색하여 LLM의 컨텍스트로 주입하는 기술이다. 모델의 학습 데이터에 없는 최신 정보나 개인 파일을 기반으로 정확한 답변을 생성하게 한다.
인페인팅(Inpainting): — 이미지의 특정 부분을 지우거나 새로운 내용으로 자연스럽게 채워 넣는 편집 기술이다. 생성형 AI 모델을 사용하여 주변 맥락에 맞는 픽셀을 생성함으로써 정교한 이미지 수정을 가능하게 한다.

언급된 도구

Lekh AI Pro추천링크

Apple Silicon 전용 로컬 AI 통합 스튜디오

MLX중립

Apple Silicon 최적화 머신러닝 프레임워크

Kokoro중립

텍스트 음성 변환(TTS) 모델

언급된 리소스

DemoLekh AI Pro 공식 웹사이트

DemoLekh AI App Store (Non-Pro)