제로샷 vs 퓨샷: 베이지안 사전 확률과 최신성 편향에 대한 퀀트의 관점

작성자가 퓨샷의 물리적 원리를 설명하며 커뮤니티에 JSON 출력 시의 최신성 편향 경험과 분류 작업에서의 레이블 편향 해결책을 묻고 있다.

• 최신성 편향을 활용하기 위해 가장 중요한 엣지 케이스나 출력 형식을 입력값 바로 앞(마지막 위치)에 배치하라.
• 대규모 배치 처리 시 예시 순서를 셔플하여 모델이 위치적 특성에 매몰되는 것을 방지하라.
• 비용 효율을 위해 장황한 텍스트 지침을 줄이고 구체적인 입출력 예시 1~2개로 대체하라.

• 퓨샷 예시는 모델의 잠재 공간 내 생성 경로를 물리적으로 보정하는 베이지안 사전 확률 역할을 수행한다.
• T_n = T_0 + n * E 공식을 활용해 퓨샷 도입에 따른 토큰 비용 증가량을 사전에 정밀하게 계산해야 한다.
• 트랜스포머의 최신성 편향을 활용하여 가장 중요한 예시나 제약 조건을 프롬프트의 맨 마지막에 배치하는 것이 유리하다.
• 모호한 장문의 지침보다 1~2개의 정교한 예시가 모델의 성능을 고정하는 데 훨씬 효과적이다.