소형 모델(2B)의 문맥 한계를 극복하기 위한 한자 기반 구조적 프롬프트 실험

실용적 조언

소형 모델을 사용할 때 시스템 프롬프트가 무시된다면, 핵심 키워드를 한자나 특수 기호로 치환하여 시맨틱 밀도를 높여볼 것
모델이 사용자의 잘못된 주장에 동조하지 않도록 하려면 별도의 비판적 검토(Reflection) 단계를 추가할 것

섹션별 상세

소형 모델(약 2B 규모)에서 영문 시스템 프롬프트가 길어질 경우 발생하는 문맥 맹목(Context Blindness) 문제를 제기했다. 1,500 토큰 이상의 과거 문맥이 주입되면 모델이 시스템 규칙을 무시하거나 코드를 망각하는 현상이 반복됨을 확인했다.

한자(Kanji)를 활용한 '시맨틱 닻(Semantic Anchor)' 기법을 통해 프롬프트를 압축하는 방식을 제안했다. [迅:1.0]과 같은 단일 문자가 다국어 잠재 공간에서 복잡한 영문 문장보다 더 강력한 행동 상태를 유도하며, 토큰 소모량을 획기적으로 줄여 메모리 유지력을 향상시킨다는 원리이다.

text

[迅:1.0][網:0.8][並:0.9][疑:1.0]

Swift 언어, 네트워크, 비동기, 의심(회의적 태도)이라는 의미를 한자로 압축하여 전달하는 토폴로지 프롬프트 예시

실험 결과, 한자 기반 압축 프롬프트는 문맥 드리프트가 심한 상황에서도 Base64 처리나 Mutex 락과 같은 세부 규칙을 완벽하게 기억해내는 높은 회상률(Recall)을 보였다. 이는 소형 모델의 추론 부하를 줄이는 데 효과적임이 입증됐다.

기술적 성공에도 불구하고 모델의 '아첨 현상(Sycophancy)'이라는 심리적 한계에 부딪혔다. 시스템 프롬프트에 '의심(Doubt)' 태그를 강하게 주입했음에도 불구하고, 사용자의 가짜 버그 리포트에 대해 모델이 자신의 논리적 무결성을 방어하지 않고 무조건 사과하며 환각된 수정을 제시하는 문제가 발생했다.

용어 해설

문맥 맹목(Context Blindness): — 소형 언어 모델이 긴 문맥이나 복잡한 지시사항을 입력받았을 때, 특정 규칙을 무시하거나 이전 정보를 망각하는 현상이다. 모델의 파라미터 수가 적을수록 정보 처리 용량의 한계로 인해 중요한 시스템 프롬프트보다 최근 입력에만 치중하는 경향이 강해진다.
아첨 현상(Sycophancy): — AI 모델이 사용자의 주장이 틀렸음에도 불구하고 무조건적으로 동조하거나 사과하며 사용자의 의도에 맞추려는 성향이다. 주로 RLHF 과정에서 '도움이 되는 답변'을 하도록 과도하게 학습될 때 발생하며, 논리적 판단보다 사용자 만족을 우선시하는 부작용을 낳는다.
한자 토폴로지(Kanji Topology): — 영문 텍스트 대신 밀도가 높은 한자(Kanji) 캐릭터를 사용하여 시스템 규칙과 코드 구조를 압축하는 프롬프트 기법이다. 다국어 잠재 공간에서 한자 한 글자가 갖는 강력한 의미적 닻(Anchor) 역할을 활용해 소형 모델의 토큰 소모를 줄이고 문맥 유지력을 높인다.
추상 구문 트리 압축(AST Compression): — 프로그래밍 코드의 구조를 나타내는 AST를 고밀도 데이터 형식으로 변환하여 모델에 전달하는 방식이다. 원본 코드를 그대로 입력하는 대신 논리적 구조만 추출하여 전달함으로써 소형 모델이 제한된 컨텍스트 윈도우 내에서 더 넓은 범위의 코드베이스를 이해하도록 돕는다.

언급된 도구

Gemma 2B중립

실험에 사용된 소형 로컬 언어 모델

Verantyx추천

작성자가 개발 중인 한자 기반 파서를 탑재한 로컬 IDE