이모지로만 대화하는 LFM2.5-1.2B-Thinking 모델 개발기

실용적 조언

브라우저 기반 LLM 배포 시 Transformers.js v4와 WebGPU를 조합하면 서버 비용 없이 고성능 추론이 가능하다
Thinking 모델을 파인튜닝할 때 사고 과정을 유지하면서 출력 형식만 변경하는 것이 가능하다

섹션별 상세

LiquidAI의 LFM2.5-1.2B-Thinking 모델을 기반으로 Unsloth LoRA를 사용하여 특정 출력 형식을 학습시켰다. 모델은 입력된 질문에 대해 먼저 영어로 사고 과정을 거친 후, 이를 이모지 조합으로 압축하여 출력하도록 설계되었다. Unsloth를 활용해 1.2B 규모의 모델을 효율적으로 미세 조정했으며, 이는 저사양 환경에서도 학습이 가능함을 의미한다.

학습된 모델은 ONNX 포맷으로 내보내져 Transformers.js v4와 WebGPU를 통해 웹 브라우저에서 직접 실행된다. 서버 없이 클라이언트의 GPU 자원만을 사용하여 추론을 수행하므로 개인정보 보호와 비용 절감 측면에서 이점이 있다. WebGPU 가속을 통해 브라우저 환경에서도 실시간에 가까운 추론 속도를 확보했다.

이 프로젝트의 독특한 점은 모델의 '사고 과정(Thinking)'을 사용자에게 노출한다는 것이다. 사용자는 모델이 이모지로 답변하기 위해 어떤 논리적 단계를 거치는지 실시간으로 확인할 수 있다. 이는 복잡한 감정이나 상황을 이모지로 변환하는 모델의 내부 추론 메커니즘을 투명하게 드러내는 사례이다.

용어 해설

LoRA: — Low-Rank Adaptation의 약자로, 거대 모델의 전체 가중치를 수정하는 대신 일부 파라미터만 학습시켜 효율적으로 미세 조정하는 기법이다. 적은 컴퓨팅 자원으로도 특정 도메인에 최적화된 모델을 만들 수 있어 실무에서 널리 활용된다.
WebGPU: — 웹 브라우저에서 하드웨어 그래픽 가속기에 직접 접근할 수 있게 해주는 최신 API이다. 기존 WebGL보다 효율적이며, 브라우저 환경에서 LLM과 같은 복잡한 AI 모델을 빠르게 실행하는 데 필수적인 역할을 한다.
ONNX: — Open Neural Network Exchange의 약자로, 서로 다른 AI 프레임워크 간에 모델을 공유하고 실행할 수 있도록 설계된 개방형 포맷이다. 파이토치 등으로 학습된 모델을 브라우저나 모바일 등 다양한 환경에서 최적화하여 실행할 때 유용하다.

언급된 도구

Unsloth추천

LoRA 파인튜닝용 라이브러리

Transformers.js추천

브라우저 내 LLM 실행 라이브러리

WebGPU추천

브라우저 GPU 가속 API

LFM2.5-1.2B-Thinking중립

기반 언어 모델

언급된 리소스

DemoPantheon UI Demo on Hugging Face