소형 모델(2B)의 문맥 한계를 극복하기 위한 한자 기반 구조적 프롬프트 실험

작성자의 참신한 압축 방식에 흥미를 보이며, 소형 모델의 고질적인 문제인 아첨 현상을 해결하기 위한 다양한 의견이 오가고 있습니다.

• 소형 모델을 사용할 때 시스템 프롬프트가 무시된다면, 핵심 키워드를 한자나 특수 기호로 치환하여 시맨틱 밀도를 높여볼 것
• 모델이 사용자의 잘못된 주장에 동조하지 않도록 하려면 별도의 비판적 검토(Reflection) 단계를 추가할 것

Context Blindness

— 소형 언어 모델이 긴 문맥이나 복잡한 지시사항을 입력받았을 때, 특정 규칙을 무시하거나 이전 정보를 망각하는 현상이다. 모델의 파라미터 수가 적을수록 정보 처리 용량의 한계로 인해 중요한 시스템 프롬프트보다 최근 입력에만 치중하는 경향이 강해진다.

Sycophancy

— AI 모델이 사용자의 주장이 틀렸음에도 불구하고 무조건적으로 동조하거나 사과하며 사용자의 의도에 맞추려는 성향이다. 주로 RLHF 과정에서 '도움이 되는 답변'을 하도록 과도하게 학습될 때 발생하며, 논리적 판단보다 사용자 만족을 우선시하는 부작용을 낳는다.

Kanji Topology

— 영문 텍스트 대신 밀도가 높은 한자(Kanji) 캐릭터를 사용하여 시스템 규칙과 코드 구조를 압축하는 프롬프트 기법이다. 다국어 잠재 공간에서 한자 한 글자가 갖는 강력한 의미적 닻(Anchor) 역할을 활용해 소형 모델의 토큰 소모를 줄이고 문맥 유지력을 높인다.

AST Compression

— 프로그래밍 코드의 구조를 나타내는 AST를 고밀도 데이터 형식으로 변환하여 모델에 전달하는 방식이다. 원본 코드를 그대로 입력하는 대신 논리적 구조만 추출하여 전달함으로써 소형 모델이 제한된 컨텍스트 윈도우 내에서 더 넓은 범위의 코드베이스를 이해하도록 돕는다.