주요 AI 코딩 도구들의 시스템 프롬프트 유출본 성능 분석

실용적 조언

프롬프트를 작성할 때 모든 지침을 중요도 순으로 정렬하고 각 지침이 단 하나의 섹션에만 속하도록 구성하십시오.
절대적인 제약 조건은 프롬프트의 가장 앞부분에 배치하여 모델이 최우선으로 인지하게 하십시오.
프롬프트에 새로운 내용을 추가하기 전에 기존 내용을 재조직화하는 것이 더 효과적인지 먼저 검토하십시오.

섹션별 상세

Replit은 약 2,000토큰의 가장 짧은 프롬프트를 사용함에도 불구하고 종합 점수 81.13점으로 1위를 차지했다. 프롬프트를 명확한 태그 섹션으로 조직화하고 4가지 행동 유형에 대한 구체적인 예시를 제공하여 구조 점수 85점, 명확성 83.5점을 획득했다. 이는 단순히 프롬프트의 길이를 늘리는 것보다 체계적인 구조화가 모델의 이해도를 높이는 데 더 효과적임을 입증한다.

Lovable의 프롬프트에서는 상충되는 지침이 발견되어 모델의 행동 예측 가능성을 저해하는 것으로 나타났다. 한 지침은 코딩 전 계획 수립을 지시하는 반면, 다른 지침은 첫 메시지에서 토론 없이 코드를 작성하라고 명령하여 우선순위 논리가 부재했다. 이러한 모순은 모델이 임의로 행동을 선택하게 만들어 일관성 없는 사용자 경험을 초래한다.

Bolt는 'IMPORTANT'와 'CRITICAL' 같은 강조어를 남발하여 지침의 변별력을 상실하는 문제를 보였다. 보안 정책과 단순 코드 포맷팅 규칙에 동일한 수준의 강조어를 각각 12회, 8회씩 사용함으로써 실제 중요한 규칙의 우선순위가 희석됐다. 모든 것이 긴급하다고 강조될 경우 모델은 어떤 지침이 진정으로 중요한지 판단하기 어려워진다.

조사된 모든 도구의 프롬프트에서 강건성(Robustness) 점수가 75점 미만으로 낮게 측정되었다. 도구 호출 실패나 사용자의 불가능한 요청, 컨텍스트 부재 상황에 대한 명시적인 예외 처리 로직이 대부분 부족했다. Replit만이 부정적 제약 조건과 수행 불가능한 작업의 분류를 명시하여 71점으로 상대적으로 높은 점수를 기록했다.

용어 해설

시스템 프롬프트(System Prompt): — AI 모델의 역할, 제약 사항, 출력 형식을 규정하는 최상위 지침이다. 모델의 페르소나와 행동 강령을 정의하여 사용자 입력에 대한 일관된 반응을 유도하는 핵심 메커니즘이다.
토큰(Token): — LLM이 텍스트를 처리하는 최소 단위로, 단어나 문자 뭉치에 해당한다. 프롬프트의 길이를 측정하는 척도이며 모델의 컨텍스트 윈도우 제한 내에서 효율적인 정보 배치가 중요하다.
강건성(Robustness): — 예외 상황이나 예기치 못한 입력에서도 시스템이 안정적으로 작동하는 능력이다. AI 프롬프트에서는 도구 호출 실패나 불가능한 요청에 대한 대응 로직 포함 여부로 평가된다.
부정적 제약 조건(Negative Constraint): — 모델이 수행해서는 안 되는 행동이나 출력하지 말아야 할 형식을 명시하는 기법이다. 할루시네이션을 방지하고 출력의 안전성과 일관성을 확보하는 데 필수적인 요소이다.

언급된 도구

PromptEval추천

시스템 프롬프트의 명확성, 구체성, 구조, 강건성을 평가하는 도구

언급된 리소스

GitHubSystem Prompts and Models of AI Tools GitHub