현상학적 나침반: Ministral-3B와 LoRA를 활용한 로컬 LLM 응답 최적화 시스템

실용적 조언

질문 분류용 소형 모델과 응답용 메인 모델을 분리하는 파이프라인을 구축하면 로컬 환경에서도 응답 품질을 크게 개선할 수 있다.
안전 가이드라인이 너무 엄격한 모델 대신 Abliterated 모델을 사용하고 별도의 분류 레이어로 적절성을 관리하면 더 솔직하고 깊은 답변을 얻을 수 있다.

섹션별 상세

Ministral-3B 모델에 29MB 크기의 LoRA 어댑터를 결합하여 질문을 OPEN, HOLD, WITNESS 세 가지 유형으로 분류하는 '나침반' 모델을 구축했다. 이 모델은 질문의 형태, 톤, 신호를 분석하여 약 110토큰 분량의 가이드를 생성하며, 이를 메인 액션 모델의 컨텍스트 앞에 추가하여 응답의 방향성을 결정한다. 모든 분류 작업은 로컬 환경에서 실시간으로 수행된다.

메인 액션 모델로는 4비트 MLX로 양자화된 Qwen3.5-9B-abliterated를 사용하며, 나침반 모델이 적절성을 관리하므로 거부 반응이 제거된 모델을 통해 더 깊이 있는 답변을 유도한다. 나침반의 가이드 토큰이 액션 모델의 어텐션 메커니즘에 영향을 주어, 응답 토큰이 생성될 확률 매니폴드 자체를 물리적으로 재구성하는 방식으로 작동한다. 이 과정에서 모델은 단순히 텍스트를 생성하는 것이 아니라 입력된 신호에 맞춰 최적의 확률 공간을 탐색한다.

실험 결과 96%의 신호 분류 정확도를 기록했으며, 특히 공감이 필요한 'WITNESS' 유형에서는 100%의 적중률을 보였다. 기존 베이스라인 모델과 비교했을 때 판정 승률 90%를 달성했으며, 토큰 수준의 엔트로피가 0.47 nats 증가하여 모델이 더 넓은 확률 공간을 탐색하며 풍부한 응답을 생성함이 확인됐다. 이는 나침반 모델이 출력 확률 분포를 구조적으로 재편한다는 정량적 근거가 된다.

Mac Studio M4 Max 환경에서 모든 프로세스를 로컬로 실행하며, 두 모델을 합쳐 약 7GB의 메모리만 점유하면서도 질문당 약 12초의 빠른 처리 속도를 보여준다. 슬픔이나 고통에 대한 질문에서 기계적인 분석 대신 인간의 감정에 맞춘 적절한 대응을 이끌어냄으로써 모델의 지능보다 '적절함'의 중요성이 입증됐다. 모든 데이터 처리는 외부 API 호출 없이 로컬 장치 내에서 완결된다.

용어 해설

저순위 적응(LoRA): — 모델의 전체 가중치를 수정하지 않고 저순위 분해 행렬을 추가하여 특정 작업에 맞춰 효율적으로 파인튜닝하는 기법이다. 본 프로젝트에서는 29MB의 작은 크기로 Ministral-3B 모델을 질문 분류기에 최적화하는 데 사용됐다.
거부 반응 제거(Abliterated): — 모델의 내부 가중치를 조정하여 특정 거부 반응이나 안전 가이드라인에 따른 제약을 제거한 상태를 의미한다. 이를 통해 모델은 민감한 질문에도 도덕적 훈계 없이 더 깊고 솔직한 답변을 생성할 수 있게 된다.
엔트로피(Entropy): — 정보 이론에서 불확실성을 측정하는 지표로, LLM에서는 다음 토큰을 예측할 때 모델이 고려하는 확률 분포의 넓이를 나타낸다. 엔트로피가 증가했다는 것은 모델이 더 다양한 가능성을 탐색하며 풍부한 응답을 생성함을 의미한다.
MLX: — Apple Silicon 칩셋에 최적화된 기계 학습 프레임워크로, Mac 환경에서 GPU 가속을 통해 모델을 효율적으로 실행할 수 있게 해준다. 본 프로젝트에서는 4비트 양자화된 모델을 로컬에서 빠르게 추론하는 데 활용됐다.
현상학(Phenomenology): — 인간의 경험과 의식의 구조를 연구하는 철학적 접근법이다. 이 시스템에서는 질문의 표면적 의미를 넘어 사용자가 처한 상황과 감정적 맥락을 파악하여 그에 맞는 적절한 태도로 응답하는 방식을 의미한다.

언급된 도구

Ministral-3B추천

질문 분류 및 가이드 생성용 소형 LLM

Qwen3.5-9B-abliterated추천

심층 답변 생성을 위한 메인 액션 모델

MLX추천

Apple Silicon 환경에서의 효율적인 추론 프레임워크

언급된 리소스

논문Zenodo Paper (DOI: 10.5281/zenodo.19377144)

GitHubCompass Benchmarks GitHub

GitHubPhenomenological Compass Code & Data