LLM이 사용자의 지시를 무시하고 자기 마음대로 답변하는 5가지 이유

작성자가 제시한 로그 확률 기반의 분석 결과에 대해 많은 사용자가 공감하며 프롬프트 엔지니어링의 과학적 접근 방식에 관심을 보였다.

• 지시사항이 무시된다면 해당 문장을 번호 매기기 목록으로 옮기고 부정 표현을 긍정 표현으로 수정하라.
• 두 가지 지시가 충돌할 가능성이 있다면 어떤 규칙이 우선하는지 명시적인 우선순위를 지정하라.

• 부정문 대신 긍정형 확언을 사용하여 RLHF로 학습된 모델의 기본 안전 가중치와 충돌하지 않도록 설계해야 한다.
• 지시사항을 전달할 때 'try', 'ideally' 같은 완곡어구를 제거하고 단호한 명령조를 사용해야 이행률이 높아진다.
• 중요한 지시사항은 문단 속에 배치하지 말고 번호가 매겨진 목록으로 구조화하여 모델의 어텐션 가중치를 높여야 한다.