1998년형 iMac G3에서 Llama 2 LLM 구동하기

실용적 조언

PowerPC와 같은 빅 엔디안 아키텍처에서는 모델 가중치의 엔디안 변환이 필요하다
메모리가 부족한 환경에서는 malloc 대신 정적 버퍼를 사용하여 할당 실패를 방지해야 한다

섹션별 상세

하드웨어 및 모델 구성: 233 MHz PowerPC 프로세서와 32 MB RAM을 탑재한 1998년형 iMac G3에서 Llama 2 아키텍처 기반의 260K 파라미터 TinyStories 모델을 실행했다. 약 1 MB 크기의 체크포인트를 사용하며, Mac mini에서 Retro68을 이용해 클래식 Mac OS용 바이너리로 크로스 컴파일하는 과정을 거쳤다. PowerPC 아키텍처의 특성에 맞춰 모델 가중치와 토크나이저를 리틀 엔디안에서 빅 엔디안으로 변환하여 데이터 호환성을 확보했다.

메모리 관리 및 출력 제약: Mac OS 8.5의 기본 메모리 파티션 제한을 극복하기 위해 Mac Memory Manager의 MaxApplZone()과 NewPtr() 함수를 사용하여 힙 영역을 수동으로 할당했다. 32 MB라는 극도로 제한된 RAM 환경에서 동적 할당 실패를 방지하고자 KV 캐시와 실행 상태를 위한 정적 버퍼를 구현했다. 표준 출력 도구인 RetroConsole의 충돌 문제로 인해 추론 결과는 텍스트 파일로 저장한 뒤 SimpleText 앱으로 확인하는 방식을 채택했다.

GQA 아키텍처 호환성 수정: 기존 llama2.c 코드가 n_kv_heads와 n_heads가 동일하다고 가정하여 작성되었으나, 사용된 260K 모델은 Grouped-Query Attention(GQA)을 사용해 포인터 오프셋 오류가 발생했다. n_kv_heads * head_size를 기준으로 wk 및 wv 크기를 재조정하여 NaN(Not a Number) 값이 출력되는 계산 오류를 해결했다. 이 수정 과정을 통해 현대적인 LLM 아키텍처의 최적화 기법이 구형 하드웨어의 제한된 연산 자원에서도 올바르게 작동하도록 보장했다.

용어 해설

그룹화 쿼리 어텐션(Grouped-Query Attention): — 여러 쿼리 헤드가 키-값 헤드를 공유하여 메모리 사용량과 연산량을 줄이는 기법이다. Llama 2와 같은 최신 모델에서 추론 효율성을 높이기 위해 널리 사용된다.
엔디안(Endianness): — 컴퓨터 메모리에 바이트를 저장하는 순서이다. PowerPC는 빅 엔디안을 사용하므로 리틀 엔디안 기반의 모델 데이터를 변환해야 정상적인 연산이 가능하다.
크로스 컴파일(Cross-Compilation): — 실행될 환경이 아닌 다른 환경에서 실행 파일을 생성하는 과정이다. 현대적인 Mac mini에서 1998년형 iMac용 바이너리를 만들기 위해 Retro68 툴체인을 사용했다.

언급된 도구

Retro68추천

클래식 Mac OS용 GCC 크로스 컴파일러

llama2.c추천

C 언어 기반 Llama 2 추론 엔진

언급된 리소스

GitHubimac-llm GitHub