Shopify CEO, 코딩 에이전트를 활용해 Liquid 엔진 성능 53% 향상

섹션별 상세

Tobias Lütke는 Andrej Karpathy의 'Autoresearch' 시스템에서 영감을 받아 코딩 에이전트가 수백 개의 실험을 독립적으로 수행하도록 설정했다. autoresearch.md 프롬프트 파일과 autoresearch.sh 스크립트를 통해 에이전트가 테스트 스위트를 실행하고 벤치마크 점수를 보고하는 워크플로우를 구축했다.

이번 최적화 과정에서 120개 이상의 자동화된 실험이 수행되었으며, 그중 93개의 커밋이 최종 PR에 포함되었다. 주요 기술적 개선 사항으로는 정규 표현식 기반의 StringScanner를 String#byteindex로 교체하여 파싱 시간을 12% 단축하고, 0-999 사이의 작은 정수를 문자열로 미리 캐싱하여 렌더링당 267개의 메모리 할당을 제거한 것 등이 포함된다.

ruby

# Replaced StringScanner tokenizer with String#byteindex
# Single-byte byteindex searching is ~40% faster than regex-based skip_until

def parse_tag_token(string)
  pos = string.byteindex(PERCENT_SIGN, @offset)
  # ... (manual byte scanning logic)
end

정규 표현식 기반의 StringScanner를 더 빠른 String#byteindex 메서드로 교체하여 파싱 성능을 개선하는 예시

ruby

# Cached small integer to_s
INT_TO_S_CACHE = (0..999).map(&:to_s).map(&:freeze)

def render_integer(int)
  return INT_TO_S_CACHE[int] if int >= 0 && int < 1000
  int.to_s
end

자주 사용되는 작은 정수를 미리 문자열로 변환하여 캐싱함으로써 메모리 할당을 줄이는 기법

코딩 에이전트의 성공적인 활용에는 974개의 유닛 테스트로 구성된 견고한 테스트 스위트가 결정적인 역할을 했다. 에이전트가 제안한 수많은 변경 사항의 안정성을 즉각적으로 검증할 수 있는 환경이 갖춰져 있었기에 대규모 자동화 실험이 가능했다.

이번 사례는 코딩 에이전트가 고도로 전문화된 최적화 영역에서도 실질적인 성과를 낼 수 있음을 증명한다. 특히 20년 동안 수백 명의 기여자가 다듬어온 성숙한 코드베이스에서 50% 이상의 성능 향상을 끌어냈다는 점이 주목할 만하다.

Simon Willison은 2025년 11월을 기점으로 코딩 에이전트의 성능이 급격히 향상되었으며, 이로 인해 CEO와 같이 업무 중단이 잦은 직책의 사람들도 다시 생산적으로 코딩에 참여할 수 있게 되었다고 분석한다.

Shopify CEO Tobias Lütke의 지난 1년간 GitHub 기여 그래프 — Chart2025년 말부터 기여도가 급격히 증가하는 모습을 보여주며, 이는 코딩 에이전트의 성능 향상(2025년 11월 변곡점)과 CEO의 실무 복귀 사이의 상관관계를 시각적으로 증명한다.

용어 해설

오토리서치(Autoresearch): — Andrej Karpathy가 제안한 개념으로, 코딩 에이전트가 특정 목표를 달성하기 위해 수백 개의 실험을 자율적으로 수행하고 결과를 보고하는 시스템이다. 인간의 개입 없이도 최적의 해결책을 찾기 위해 반복적인 벤치마킹과 코드 수정을 수행하는 것이 핵심이다.
리퀴드(Liquid): — Shopify에서 개발한 오픈 소스 Ruby 템플릿 엔진으로, 웹 페이지에 동적 콘텐츠를 로드하는 데 사용된다. 2005년에 처음 만들어진 이후 전 세계 수많은 전자상거래 사이트의 뼈대를 구성하는 핵심 기술로 자리 잡았다.
바이트 인덱스(byteindex): — 문자열 내에서 특정 바이트의 위치를 찾는 프로그래밍 메서드이다. 정규 표현식 기반의 검색보다 연산 비용이 훨씬 낮아, 대규모 텍스트 파싱 작업에서 성능을 최적화할 때 주로 사용된다.
메모리 할당(Allocation): — 프로그램 실행 중에 데이터를 저장하기 위해 메모리 공간을 확보하는 과정이다. 불필요한 할당을 줄이면 가비지 컬렉션의 빈도가 낮아져 전반적인 애플리케이션의 실행 속도와 효율성이 향상된다.

기술

Ruby
Liquid
Pi (AI Agent)
GitHub

활용 사례

오픈 소스 라이브러리 최적화
자동화된 성능 실험
레거시 코드 리팩터링

언급된 리소스

GitHubShopify/liquid GitHub Repository