optimize_anything: 텍스트 매개변수 최적화를 위한 범용 API

다양한 도메인에 걸친 텍스트 아티팩트를 최적화하는 단일 LLM 기반 시스템의 범용성을 보인다. 이 시스템은 단일-task, multi-task, generalization 모드를 하나의 API로 통합하고, 사이드 정보(SI)를 피드백으로 활용해 수렴 속도와 최종 성능을 크게 향상시킨다.

출발점과 기본 아이디어: 텍스트 아티팩트를 입력으로 받아 평가 함수 f(x, e) = (s(x, e), SI(x, e))를 통해 점수와 진단 정보를 얻고, 프로포저 LLM이 SI를 이용해 x를 점진적으로 개선한다. Pareto 프런티어를 유지하며 2-3개의 예제로 구성된 미니배치를 통해 각 예제에서의 강점을 조합해 후속 후보를 생성한다. 멀티-task 모드에서는 관련 문제 간 전이가 가능해 패턴이 공유되어 수렴 속도와 해결 수가 향상되며, 일반화 모드에서는 보유한 데이터로 unseen 사례에 대한 일반화 성능을 측정한다. SI는 디버깅 정보를 통해 구체적 실패 원인과 수정 방향을 제공하므로, 기존의 점수 중심 탐색보다 더 빠르고 안정적인 개선이 가능하다. 이 프레임워크는 코드/프롬프트/에이전트 아키텍처/수치 최적화/이미지까지 다양한 도메인에 동일 API로 적용되며, 제로샷(seedless) 모드도 지원한다.

1. 아키텍처: X는 텍스트 아티팩트이며 f: X × E → R × I로 평가한다. (s, SI) 쌍을 반환한다. 2) 모드 구분: dataset이 없으면 Single-task, 있으면 Multi-task 또는 Generalization으로 해석한다. 3) Pareto 기반 선택: J개의 목표에 대해 Pareto 비지배 후보를 유지하고, 2-3 예제로 구성된 미니배치를 통해 Reflect 과정에서 x를 업데이트한다. 4) SI의 역할: SI는 텍스트, 구조화 데이터, 이미지 등 여러 형식으로 제공되어 진단 피드백을 풍부하게 만들고, Reflect 단계에서 개선 방향을 제시한다. 5) 백엔드 구성: GEPA를 기본 프론티어로 사용하되, 필요 시 다른 백엔드를 Adapter로 연결한다. 6) 모드별 실행 흐름: Seed를 주면 시작 후보를 평가하고 Pareto_frontier에서 후보를 선택해 개선한다. Seedless 모드는 자연어 목표로부터 첫 후보를 LLM이 생성하도록 한다.

주요 벤치마크에서 최상위 성능 달성: ARC-AGI에서 점수 32.5% → 89.5%; CUDA KernelBench에서 커널의 87%가 PyTorch 베이스라인과 일치 또는 향상, 10% 이상 속도 증가 커널 다수; Circle Packing( n=26 )에서 2.63598로 AlphaEvolve/OpenEvolve의 보고치 대비 우수; AIME 프롬프트에서 60.00%의 점수 도달; CloudCast은 40.2%의 비용 절감, Can’t Be Late은 7.8%의 절감 달성. 멀티-task 모드가 단일-task 대비 향상 효과를 보였고, SI 도입으로 수렴 속도 4–6× 증가 및 최종 점수 증가를 확인했다. Multi-task MT20은 MT10보다 더 높은 성능을 보였으며, 일반화 모드(G)에서 프로프트 외 아키텍처(ARC-AGI)에도 일반화가 가능했다.

1. 전체 아키텍처: 텍스트 아티팩트를 입력으로 받고 evaluator f(x, e) → (s, SI)을 산출하며, 세 가지 모드(Single-task, Multi-task, Generalization)를 하나의 인터페이스로 다룬다. 2) 핵심 메커니즘: Pareto frontier 기반 후보 선택, 2-3 예제 미니배치를 통한 반성(reflection) 단계에서 Proposer가 개선안을 제시하고, 개선 후보를 전체 평가에 적용한다. 3) SI의 수학적 역할: SI는 각 예제/메트릭에 대한 부하 균형 정보를 제공해 특정 실패 원인을 겨냥한 Mutations를 촉발한다. 4) 백엔드 및 확장성: GEPA를 기본으로 사용하되, 필요 시 다양한 최적화 백엔드를 Adapter로 연결하여 확장 가능하다. 5) 일반화 및 전이: 멀티-task 모드는 정보가 서로 다른 문제 간의 패턴 공유를 통해 신규 문제에 대한 일반화 가능성을 높인다.

논문에 제시된 한계로, (1) 프로포저 LLM의 능력에 의존하고 저성능 모델은 후보의 질이 낮아질 수 있다. (2) 평가 비용이 도메인에 따라 높아질 수 있으며, (3) 텍스트로 표현 가능한 아티팩트에 한정되며, (4) 멀티-task 탐색은 문제 간 공유 구조가 충분하지 않으면 성능 저하를 초래할 수 있다. (5) SI 설계에는 도메인 전문성이 필요하다.