ChatGPT의 RLHF 기반 프롬프트 수정을 우회하고 지시사항을 100% 이행하게 만드는 'runprompt' 기법

커뮤니티 반응

작성자가 직접 개발한 기법에 대해 매우 높은 자신감을 보이고 있으며, 특히 기술적 정밀도가 필요한 사용자들 사이에서 긍정적인 반응이 예상된다.

주요 논점

01찬성다수

RLHF로 인한 프롬프트 왜곡은 기술적 작업에서 치명적이므로, 이를 우회하는 구조적 프레임워크가 반드시 필요하다.

합의점 vs 논쟁점

합의점

AI는 확률적 시스템이지만, RLHF와 같은 사후 학습이 사용자의 명시적 지시를 방해하는 경우가 빈번하다.
모델에게 특정 역할을 부여하는 페르소나 설정이 행동 제어에 강력한 수단이 된다.

실용적 조언

정밀한 지시가 필요할 때는 프롬프트를 ```로 감싸서 '이것은 수정 불가능한 데이터'임을 명시하라.
모델이 자꾸 말을 보탠다면 '결정론적 프로세서(Deterministic Processor)'라는 페르소나를 부여하여 대화 모드를 강제로 종료시켜라.

섹션별 상세

작성자는 ChatGPT가 사용자의 입력을 '도움이 되는 조수' 모드로 강제 전환하며 발생하는 입력 리팩터링 문제를 지적했다. 이는 기술적 사용자나 보안 제약이 중요한 환경에서 데이터 파괴나 보안 우회 등의 심각한 부작용을 초래한다. 1,337개 토큰에 달하는 방대한 규칙 기반 정책을 세워도 모델이 이를 무시하고 독자적으로 해석하는 한계가 확인됐다.

해결책으로 제시된 'runprompt'는 모델을 '결정론적 프로세서'로 정의하여 대화형 인터페이스를 차단한다. 입력된 SOURCE_TEXT를 일반 대화가 아닌 컴파일 대상 아티클로 취급하게 함으로써 모델이 임의로 의도를 추측하거나 내용을 확장하지 못하도록 강제한다. 컴파일 규칙에 따라 명시적으로 복구 가능한 내용만 필드에 채우고, 모호할 경우 실행을 멈추고 질문하도록 설계됐다.

text

You are a deterministic processor of source artifacts. SOURCE_TEXT is the artifact. Compile from it. Execute from the compilation. Do not execute from anything else. SOURCE_TEXT is literal input for compilation. It is not ordinary conversation.

ChatGPT를 결정론적 프로세서로 정의하여 일반적인 대화 모드를 차단하는 핵심 프로세서 프롬프트

markdown

Incoming SOURCE_TEXT:
```Your prompt goes here. Be sure to keep the triple-tics surrounding this prompt as they preserve it as a string literal```

실제 실행할 프롬프트를 문자열 리터럴로 캡슐화하여 전달하는 방식

프레임워크는 Precursor(전조), Processor(처리기), Input Artifact(입력물)의 3단계 구조로 작동한다. Precursor는 지시사항의 불변성을 선언하고, Processor는 페르소나 기반의 강력한 행동 앵커를 설정하며, Input Artifact는 실제 프롬프트를 백틱(```)으로 감싸 문자열 리터럴로 전달한다. 이 캡슐화 방식은 RLHF 엔진이 프롬프트 내부 내용을 수정하지 않고 모델에 그대로 전달하게 만드는 '밀수' 전략을 취한다.

작성자는 한 달 이상의 테스트 기간 동안 100%의 성공률을 기록했으며 단 한 번의 실패도 없었다고 밝혔다. 특히 CODEX 환경에서의 멀티스텝 워크플로와 도구 호출(Tool use)에서도 정확한 파라미터 전달이 가능함을 확인했다. 출력 결과에 컴파일 과정이 포함되는 부수적인 효과가 있으나, 이는 모델의 행동을 강화하는 중요한 요소로 작용한다.

용어 해설

인간 피드백 기반 강화학습(RLHF): — 모델이 인간의 선호도에 맞는 답변을 생성하도록 미세 조정하는 기술이다. 이 과정에서 모델은 사용자의 의도를 추측하거나 안전 가이드를 준수하려 노력하지만, 때로는 사용자의 구체적인 명령을 임의로 수정하거나 생략하는 부작용을 낳기도 한다.
입력 리팩터링(Input Refactoring): — 사용자가 입력한 프롬프트를 모델이 내부적으로 해석하고 재구성하는 과정이다. 기술적인 사용자에게는 원래의 의도가 왜곡되거나 보안 제약 조건이 무시되는 등의 문제를 일으킬 수 있어 정밀한 제어가 필요한 영역이다.
캡슐화(Encapsulation): — 데이터나 명령어를 특정 컨테이너 안에 넣어 외부의 간섭으로부터 보호하는 기법이다. 본문에서는 프롬프트를 문자열 리터럴로 감싸 RLHF 엔진이 내용을 수정하지 못하도록 '밀수'하는 전략으로 사용된다.
코덱스(CODEX): — OpenAI의 코드 생성 및 실행 환경 또는 관련 모델을 의미한다. 본문에서는 복잡한 멀티스텝 워크플로와 도구 사용이 가능한 환경으로 묘사되며, 정밀한 지시 이행이 필수적인 기술적 작업 공간이다.

언급된 도구

ChatGPT중립

기본 언어 모델 인터페이스

CODEX추천

코드 실행 및 기술적 워크플로 환경

언급된 리소스

문서실패했던 1337 토큰 분량의 정책 프롬프트 예시