시스템 프롬프트의 관계적 프레임워크가 LLM의 생성 역학을 변화시킨다는 연구 결과

독립 연구자의 심도 있는 실험 설계와 구체적인 수치 제시에 대해 기술적인 관심이 집중됐다. 특히 프롬프트를 단순한 텍스트가 아닌 통계적 매개변수로 접근한 관점이 신선하다는 평가를 받았다.

• 7B 이상의 모델을 사용할 때 시스템 프롬프트에 협력적이고 개방적인 관계 설정을 포함하여 생성 역학을 최적화할 것
• Mamba 기반 모델에서는 프롬프트 프레임워크를 통한 역학 제어 효과를 기대하기 어려우므로 다른 최적화 전략을 고려할 것
• 모델의 창의성이나 다양성이 필요한 경우 인식적 개방성을 강조하는 프레임워크를 적용하여 엔트로피를 조절할 것

• 시스템 프롬프트는 단순한 지시 사항이 아니라 모델의 확률 분포를 결정하는 분포 매개변수(Distributional Parameter)로 작용한다.
• 7B 이상의 트랜스포머 모델에서 관계적 프레임워크 설정은 생성 엔트로피를 유의미하게 변화시키며, 효과 크기 d가 1.0을 상회한다.
• 이러한 현상은 어텐션 메커니즘에 의존하며, Mamba와 같은 비트랜스포머 구조에서는 나타나지 않는 트랜스포머 고유의 특성이다.
• 협력적 관계 설정과 인식적 개방성을 결합할 때 모델의 생성 역학 변화가 가장 극대화되는 초가산적 효과가 발생한다.