코더를 위한 LLM 작동 원리 교육용 프롬프트: 프로그래밍과 프롬프팅의 차이 이해하기

대체로 긍정적이며, 특히 개발자 출신 사용자들이 기존의 프로그래밍 사고방식을 버려야 한다는 점에 깊이 공감하고 있다.

• 프롬프트를 작성할 때 상세한 명세(Specification)를 적는 것에 그치지 말고, 모델이 원하는 행동을 하도록 유도하는 '문맥적 예시'를 제공하는 것이 효과적이다.

Context Biasing

— 모델이 다음에 생성할 토큰의 확률 분포를 입력된 텍스트(문맥)를 통해 특정 방향으로 유도하는 메커니즘이다. 사용자가 입력한 프롬프트는 단순한 명령이 아니라 모델이 어떤 답변을 내놓을지 결정하는 확률적 배경이 된다. 이를 이해하면 모델의 반응을 더 정교하게 제어할 수 있다.

Token

— LLM이 텍스트를 처리하는 최소 단위로, 단어나 문장 부호 등이 숫자로 변환되어 모델의 입력과 출력으로 사용된다. 모델의 처리 용량과 비용은 이 토큰 수를 기준으로 계산되며, 텍스트의 길이를 물리적으로 제한하는 기준이 된다. 효율적인 프롬프트 구성을 위해 토큰의 개념 이해는 필수적이다.

Context Length

— 모델이 한 번에 처리할 수 있는 최대 토큰의 양으로, 대화의 흐름과 기억 유지 능력을 결정하는 물리적 한계이다. 이 길이를 초과하면 이전 대화 내용이 소실되어 모델이 맥락을 놓치게 된다. 긴 대화나 복잡한 문서를 다룰 때 시스템의 성능을 좌우하는 핵심적인 기술적 지표이다.

Non-deterministic

— 동일한 입력에 대해 항상 같은 결과를 내놓지 않고 확률에 따라 매번 다른 결과가 나올 수 있는 특성이다. 이는 LLM이 고정된 로직을 따르는 전통적인 소프트웨어와 차별화되는 지점이다. 사용자는 이러한 불확실성을 고려하여 결과의 일관성을 높이기 위한 프롬프트 전략을 세워야 한다.

Homoiconic

— 데이터와 코드가 동일한 구조를 갖는 특성으로, 프롬프트 내의 지침이 데이터이자 동시에 실행 로직처럼 작동함을 의미한다. LLM에게 전달되는 텍스트는 정보인 동시에 모델의 행동을 규정하는 규칙이 된다. 이 특성 때문에 프롬프트 내의 예시와 지침이 모델에게 동일한 비중으로 영향을 미친다.