연구 우선 코딩 에이전트가 코드 전용 에이전트보다 뛰어난 성능을 보이다

SkyPilot은 코드를 작성하기 전 학술 논문과 경쟁 프로젝트를 먼저 분석하는 '연구 우선(Research-First)' 코딩 에이전트의 효용성을 입증했다. 이 에이전트는 llama.cpp의 CPU 추론 최적화 작업에 투입되어 Intel Xeon에서 15%, ARM Graviton3에서 5%의 성능 향상을 달성했다. 연구 단계 없이 코드만 수정했을 때는 성과가 미미했으나, 문헌 조사를 통해 실제 병목 지점이 연산이 아닌 메모리 대역폭임을 파악한 것이 결정적이었다. 약 3시간 동안 29달러의 비용으로 Softmax Fusion 등 5가지 핵심 최적화를 성공적으로 구현하며 에이전트의 연구 능력이 성능 차별화의 핵심임을 보여주었다.