LLM을 훌륭한 최적화 도구로 만드는 것은 무엇인가? LLM 가이드 진화 탐색의 궤적 분석

LLM이 최적화 시스템의 핵심 엔진으로 사용되고 있지만 그 작동 원리에 대한 이해는 부족했다. 이 논문은 단순히 똑똑한 모델보다 해결책을 미세하게 조정하는 능력이 뛰어난 모델이 실제 최적화 작업에서 더 높은 성과를 낸다는 사실을 밝혀내어 효율적인 AI 시스템 설계 방향을 제시한다.

전통적인 진화 알고리즘에서 변이(Mutation)는 무작위성에 의존하여 새로운 영역을 탐색하는 역할을 한다. 하지만 LLM을 최적화 도구로 사용할 경우, LLM은 이전의 성공 사례와 문맥을 바탕으로 다음 솔루션을 제안하므로 무작위 탐색이 아닌 '학습된 사전 지식(Generative Prior)'에 기반한 탐색을 수행하게 된다. 이 과정에서 단순히 기존과 다른 새로운 답을 내놓는 것보다, 기존의 좋은 답을 얼마나 정교하게 깎아 나가는지가 최종 성능을 결정한다.

이 논문은 이를 '의미론적 공간(Semantic Space)'에서의 움직임으로 설명한다. 임베딩 벡터로 표현된 솔루션들의 분포를 분석했을 때, 우수한 모델은 시간이 지날수록 고성능 영역 주변으로 솔루션들을 밀집시키는 '공간적 국지화' 현상을 보인다. 반면 성능이 낮은 모델은 일관성 없이 공간 전체를 부유하며 우연한 발견에만 의존한다.

결국 LLM 최적화의 핵심은 Gradient Descent가 손실 함수를 따라 조금씩 하강하듯, LLM이 현재의 최적해 근처에서 미세한 개선(Breakthrough)을 지속적으로 만들어낼 수 있는 '리파인먼트 역량'에 달려 있다. 이는 모델의 일반적인 문제 해결 능력과는 별개의 '최적화 능력'이라는 새로운 평가 척도를 시사한다.

15개의 다양한 LLM(GPT-4o, Gemini-1.5-Pro, Llama-3.1 등)을 진화 알고리즘의 변이 연산자로 활용하는 프레임워크를 구축했다. 인구 초기화 후 Top-q 선택 방식을 통해 상위 20%의 부모 솔루션을 샘플링하고, 이를 LLM에 입력하여 새로운 자손 솔루션을 생성하는 과정을 30세대 동안 반복했다.

최적화 성능 분석을 위해 '의미론적 거리(Semantic Distance)'를 정의했다. TSP 과제에서는 Edge-set 거리를, 프롬프트 최적화에서는 텍스트 임베딩 간의 Cosine 거리를 사용했다. 이를 통해 각 세대 내 솔루션들의 분산 정도를 나타내는 '공간적 엔트로피(Spatial Entropy)'를 계산했다.

공간적 엔트로피 H는 커널 밀도 추정치 gi를 입력으로 하여 -Σ qi log qi를 계산한다. gi는 가우시안 커널 K를 통해 주변 솔루션과의 유사도를 합산한 값이며, 이를 전체 합으로 나누어 확률 분포 qi를 얻는다. H값이 낮을수록 솔루션들이 특정 영역에 밀집되어 있음을 의미하며, 이는 탐색의 집중도를 수치화한 것이다.

또한 '로컬 리파인먼트 비율(LRR)'을 측정했다. 이는 LLM이 생성한 자손이 부모보다 더 높은 Fitness 점수를 기록하는 빈도를 나타낸다. 이를 통해 모델이 단순히 새로운 것을 만드는지, 아니면 실제로 성능을 개선하는지를 정량적으로 평가했다.

Zero-shot 성능과 최종 최적화 성과 사이에는 양의 상관관계(r=0.860)가 존재하지만, 초기 능력이 비슷한 모델들 사이에서도 최적화 결과는 크게 갈렸다. 예를 들어 Gemini-1.5-Pro는 지속적인 개선을 보인 반면, Mistral-7B-Instruct는 높은 참신함을 유지함에도 불구하고 성능 개선에는 실패했다.

회귀 분석 결과, '돌파구 발생률(Breakthrough Rate)'이 Zero-shot 능력보다 최종 성능을 훨씬 더 잘 설명(설명력 약 2배)하는 것으로 나타났다. 특히 참신함(Novelty) 단독으로는 성능 향상과 유의미한 상관관계가 없었으며, 탐색 공간이 국지화된 상태에서만 긍정적인 영향을 미쳤다.

비용 효율성 측면에서 Mistral-24B-Instruct와 같은 중형 모델은 GPT-4o와 같은 최상위 모델보다 훨씬 저렴한 비용으로도 대등하거나 더 높은 최적화 이득을 얻을 수 있음을 확인했다. 이는 모델 선택 시 파라미터 크기보다 리파인먼트 행동의 안정성이 더 중요함을 시사한다.

본 연구는 LLM 기반 최적화 과정을 '의미론적 궤적 분석'이라는 새로운 관점에서 접근했다. 기존 연구들이 최종 결과물에만 집중했던 것과 달리, 탐색 과정 중 발생하는 솔루션들의 기하학적 분포 변화를 추적했다.

핵심 지표인 'Fitness Spatial Entropy'는 고성능 솔루션들이 공간상에 얼마나 응집되어 있는지를 측정한다. 분석 결과, 우수한 최적화 모델은 세대가 거듭될수록 이 엔트로피가 감소하는 경향을 보였다. 이는 모델이 유망한 영역을 식별하고 그 주변을 집중적으로 파고드는 'Exploitation' 능력이 핵심임을 입증한다.

또한 'Model Mixing' 실험을 통해 인위적으로 리파인먼트 능력이 낮은 모델의 비중을 높였을 때 최적화 성능이 단조 감소하는 것을 확인하여, 리파인먼트 행동과 성능 사이의 인과 관계를 검증했다. 이는 LLM 최적화 시스템에서 디코딩 온도(Temperature)나 프롬프트 전략이 모델의 리파인먼트 성향을 유도하도록 설계되어야 함을 시사한다.

본 연구는 고정된 진화 프로토콜 하에서 진행되었으므로 선택 압력이나 인구 크기 등 다른 설계 요소가 탐색 역학에 미치는 영향은 충분히 다루지 못했다. 또한 참신함의 정의를 최근접 이웃 거리로 한정했으므로 다른 다양성 지표를 적용했을 때 결과가 달라질 가능성이 있다.