Gemini의 내부 시스템 지침 및 사고 과정 노출 사례

커뮤니티 반응

사용자들은 Gemini의 내부 지침이 노출된 것에 대해 높은 관심을 보였으며, 특히 모델이 스스로 대화 기록을 삭제한 점에 주목했다.

주요 논점

01중립다수

Gemini의 내부 지침이 노출된 것은 모델의 작동 원리를 이해하는 데 도움이 되지만, 보안 취약점일 수도 있다.

합의점 vs 논쟁점

합의점

노출된 텍스트는 사용자가 설정한 것이 아닌 구글 측의 시스템 프롬프트이다.
모델이 오류 발생 시 대화 내용을 삭제하는 보호 메커니즘이 존재한다.

논쟁점

이러한 노출 현상이 특정 모드 전환(Fast to Pro)에 의한 일시적 오류인지, 아니면 모델 자체의 근본적인 취약점인지에 대해 의견이 갈린다.

실용적 조언

AI 모델이 예상치 못한 내부 정보를 출력할 경우 즉시 스크린샷을 확보하는 것이 분석에 도움이 된다.
커스텀 지침을 설정하더라도 시스템 기본 지침이 우선하거나 병행 적용될 수 있음을 인지해야 한다.

섹션별 상세

Gemini Pro 모드에서 요트 관련 질의응답 중 모델이 내부 로직을 노출했다. 일반적인 텍스트 응답 대신 '구조화된 사고 과정(Structured thought process)'이 출력되었으며, 이후 종료 루프에 빠지는 오류가 발생했다. 최종적으로 모델은 해당 응답뿐만 아니라 사용자의 직전 프롬프트까지 모두 삭제하여 대화 기록에서 지워버렸다.

노출된 시스템 지침에는 구체적인 제약 사항들이 명시되어 있었다. '수식에는 LaTeX를 사용하되 단순 포맷팅에는 절대 사용하지 말 것', '사용자의 톤, 격식, 에너지, 유머를 미러링할 것' 등의 지침이 확인됐다. 또한 '인간인 척하지 말 것'이나 '전문적이고 객관적인 톤을 유지할 것'과 같은 페르소나 설정값도 포함되어 있었다.

Gemini가 출력한 내부 제약 조건(Constraints) 목록 스크린샷이다. — Screenshot'Re-reading constraints'라는 제목 아래 LaTeX 사용 규칙, 사용자 톤 미러링 지침, 데이터 처리 시 금지 표현 등이 나열되어 있다. 이는 구글이 Gemini에게 부여한 기본 시스템 프롬프트의 일부로 판단되며, 모델이 답변 생성 시 준수해야 할 구체적인 가이드라인을 보여준다.

사용자의 커스텀 지침과 시스템 기본 지침 간의 상호작용이 관찰됐다. 사용자는 이미 전문적인 AI 페르소나를 요구하는 커스텀 지침을 설정한 상태였으나, 노출된 내용에는 시스템 차원의 기본 제약 조건들이 병렬적으로 나열되어 있었다. 이는 모델이 응답을 생성할 때 여러 층위의 지침을 동시에 참조하고 있음을 시사한다.

용어 해설

시스템 프롬프트(System Prompt): — AI 모델이 사용자 대화를 시작하기 전, 개발자가 모델의 역할, 제약 사항, 말투 등을 정의하기 위해 입력하는 최상위 지침이다. 모델의 전체적인 행동 양식을 결정하며 일반 사용자는 직접 수정할 수 없다.
라텍스(LaTeX): — 수식, 도표, 복잡한 문서를 정교하게 조판하기 위해 사용하는 마크업 언어이다. LLM은 수학적 기호나 복잡한 서식을 표현할 때 이를 활용하도록 지침을 받기도 한다.
사고 과정(Thought Process): — 모델이 최종 답변을 생성하기 전 내부적으로 수행하는 추론 단계를 의미한다. 최근 모델들은 이 과정을 명시적으로 구조화하여 논리적 일관성을 높이도록 설계된다.

언급된 도구

Gemini Pro중립

구글의 고성능 대규모 언어 모델