LLM이 직접 작성한 최적화 도구가 표준 벤치마크의 96%에서 Optuna를 능가했다

LLM이 전문적인 최적화 도구를 능가했다는 실험 결과에 대해 매우 긍정적이고 놀랍다는 반응이 주를 이룬다.

• 특정 도메인의 최적화 문제가 있을 때 LLM에게 기본 로직과 피드백을 주어 맞춤형 알고리즘을 생성해볼 수 있다.
• 알고리즘 개선 시 단순히 결과를 묻는 대신 대조적 피드백 방식을 활용하면 성능 향상 폭이 크다.

• LLM에게 최소한의 가이드와 대조적 피드백을 제공하면 기존 전문 최적화 라이브러리인 Optuna보다 뛰어난 성능의 알고리즘을 스스로 작성할 수 있다.
• LLM은 최적화 과정에서 코너 케이스 탐색이나 다단계 정제와 같은 고급 수학적/공학적 전략을 인간의 개입 없이 독립적으로 발견했다.
• 2,000회의 평가 예산과 5라운드의 피드백만으로도 55개 벤치마크 문제 중 53개에서 승리하며 높은 효율성을 증명했다.