llama.cpp의 mmap 취약점을 이용한 로컬 LLM 추론 변조 PoC

커뮤니티 반응

로컬 LLM 보안에 대한 새로운 시각을 제공했다는 평가를 받으며, 특히 공유 볼륨을 사용하는 클라우드/컨테이너 환경에서의 위험성이 주목받았다.

01중립다수

모델 로딩 후 가중치가 불변이라는 가정이 로컬 환경에서는 위험할 수 있음을 지적했다.

llama.cpp의 기본 설정인 mmap(Memory-mapped file) 방식의 취약점을 이용한다. 운영체제가 디스크의 GGUF 파일을 메모리에 직접 매핑하므로, 외부 프로세스가 디스크의 파일을 수정하면 메모리에 로드된 가중치도 즉시 변경된다.

PoC는 output.weight 텐서 내 특정 토큰 행의 양자화 스케일(Quantization Scale) 값을 수정하는 방식을 취한다. 이를 통해 특정 토큰의 가중치를 비정상적으로 높여 모델이 해당 답변을 출력할 확률을 극대화한다.

이 공격은 ptrace나 프로세스 인젝션 같은 복잡한 기법이 필요 없으며, 실행 중인 서버를 재시작할 필요도 없다. 한 번 수정된 가중치는 파일에 직접 기록되므로 이후의 모든 추론에 영구적인 영향을 미친다.

작성자는 이를 방지하기 위해 모델 디렉토리를 읽기 전용(Read-only)으로 마운트하거나, 서비스 프로세스의 권한을 격리하고, --no-mmap 옵션을 사용할 것을 권장한다.

메모리 맵 파일(mmap): — 파일을 프로세스의 가상 메모리 주소 공간에 직접 매핑하는 시스템 호출이다. 디스크 I/O를 줄여 성능을 높이지만, 디스크의 원본 파일이 수정되면 메모리에 로드된 내용도 즉시 변경되는 특성이 있어 보안상 주의가 필요하다.
GGUF 포맷(GGUF): — llama.cpp에서 주로 사용하는 모델 파일 포맷으로, 가중치와 메타데이터를 하나의 파일에 효율적으로 저장한다. mmap 로딩에 최적화되어 있어 로컬 환경에서 대규모 언어 모델을 빠르게 실행하는 데 사용된다.
양자화 스케일(Quantization Scale): — 모델 가중치를 낮은 비트로 압축(양자화)할 때, 원래의 정밀도로 복원하기 위해 사용하는 배율 값이다. 이 값을 조작하면 특정 가중치의 영향력을 인위적으로 확대하거나 축소하여 모델의 출력을 제어할 수 있다.
런타임 무결성(Runtime Integrity): — 프로그램이 실행되는 동안 데이터나 코드가 인가되지 않은 외부 요인에 의해 변조되지 않았음을 보장하는 보안 속성이다. AI 모델의 경우 추론 중에 가중치가 유지되는 것이 무결성의 핵심이다.

llama.cpp중립

로컬 LLM 추론 엔진

llm-inference-tampering추천

런타임 가중치 변조 증명 PoC 도구