AI가 인간 전문가 수준의 결과물을 낼 수 있을까? 3개 도메인 실험 결과

작성자의 실험 결과에 대해 대체로 흥미롭다는 반응이며, 특히 전문가의 개입이 성능을 낮춘다는 부분에서 많은 공감이 이루어졌다.

• 디버깅 작업을 할 때는 복잡한 지침을 주기보다 문제 상황만 명확히 전달하는 제로샷 방식을 먼저 시도하라.
• 마케팅 문구 생성 시에는 타겟 사용자의 상태(인지도, 구매 의도)를 먼저 분류하는 라우터 단계를 추가하라.
• 일관된 UI 생성을 원한다면 프롬프트에 스타일을 설명하기보다 JSON 형태의 디자인 시스템 규격을 먼저 주입하라.

• 모델이 이미 특정 분야의 전문가라면 인간의 상세한 지침(Context Engineering)은 오히려 성능을 저해하고 토큰만 낭비한다.
• 랜딩 페이지 카피와 같이 맥락 의존적인 작업은 단일 최적화보다 사용자 유형에 따른 라우팅 전략이 성능 우위를 점한다.
• 프론티어 모델일수록 인간의 편향된 가이드에 민감하게 반응하여 성능이 하락할 수 있으므로 제로샷 성능을 먼저 확인해야 한다.
• 고품질 UI 디자인을 위해서는 프롬프트 엔지니어링보다 디자인 시스템을 먼저 구축하고 이를 참조하게 하는 구조적 접근이 필요하다.