Anthropic의 성능 엔지니어 채용 테스트 진화기: Claude를 앞서기 위한 여정

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Anthropic은 자사 LLM인 Claude의 성능이 급격히 향상됨에 따라 성능 엔지니어 채용을 위한 과제 테스트(Take-home test)를 세 차례나 전면 재설계했다. 초기 시뮬레이터 기반의 하드웨어 최적화 문제는 Claude Opus 4.5가 인간 최고 수준의 성과를 내면서 변별력을 잃었다. 이를 해결하기 위해 Anthropic은 AI가 학습 데이터에서 접하기 어려운 '분포 외(Out-of-distribution)' 문제인 제약 조건이 극심한 퍼즐 형태의 테스트로 전환했다. 이 과정은 AI 보조 환경에서 인간의 고유한 문제 해결 능력과 도구 구축 역량을 어떻게 평가할 것인가에 대한 깊은 통찰을 제공한다.

배경

컴퓨터 아키텍처 기초 (VLIW, SIMD, 캐시 계층), 성능 프로파일링 및 최적화 기법, Python 및 저수준 언어 이해

대상 독자

LLM 성능 최적화 엔지니어, AI 채용 담당자, 시스템 아키텍트

의미 / 영향

AI가 코딩 및 최적화 능력을 갖추게 됨에 따라 전통적인 기술 면접 방식은 한계에 직면했다. 앞으로의 평가는 정답 유무보다 문제 해결을 위한 도구 설계 능력과 AI가 학습하지 못한 새로운 환경에서의 적응력을 측정하는 방향으로 진화할 것이다.

섹션별 상세

Anthropic은 2023년부터 TPU와 유사한 가상 가속기 시뮬레이터를 활용한 성능 엔지니어 채용 과제를 운영해왔다. 이 테스트는 VLIW, SIMD, 멀티코어, 수동 메모리 관리 등 실제 하드웨어 최적화 역량을 측정하며, Perfetto 트레이싱 도구를 통해 명령어 실행 흐름을 시각화하여 분석하는 능력을 평가한다.

Perfetto 트레이싱 도구를 통해 가상 가속기의 명령어 실행 흐름을 시각화한 화면이다. — Screenshot지원자들이 과제를 수행할 때 사용하는 핵심 도구로, ALU, 로드/스토어, 메모리 흐름 등을 타임라인별로 보여준다. 이를 통해 병목 지점을 파악하고 VLIW 패킹이나 SIMD 최적화의 효율성을 시각적으로 확인할 수 있음을 설명한다.

Claude 모델의 진화로 인해 기존 테스트의 변별력이 빠르게 상실되었다. Claude Opus 4는 4시간 제한 내에서 대부분의 지원자를 앞질렀고, Claude Opus 4.5는 2시간 만에 인간 최고 수준의 점수를 기록했다. 특히 AI는 반복적인 마이크로 최적화와 디버깅 작업에서 인간보다 압도적인 속도를 보였다.

Claude 모델별 및 하네스 설정에 따른 최적화 점수(Best Score) 변화를 나타낸 그래프이다. — ChartClaude Opus 4.1부터 4.5까지 모델이 진화함에 따라 최적화 점수가 계단식으로 상승하는 것을 보여준다. 특히 새로운 하네스를 적용한 Opus 4.5가 인간의 최고 기록에 근접하거나 추월하는 과정을 수치적으로 증명한다.

현실적인 최적화 문제인 데이터 전치(Data transposition)나 뱅크 충돌(Bank conflict) 해결 등은 AI가 학습 데이터에서 이미 접했을 가능성이 높아 변별력이 낮다. Anthropic은 이를 확인하기 위해 Claude의 'Ultrathink' 기능을 테스트한 결과, AI가 기존 지식을 활용해 복잡한 최적화 기법을 스스로 찾아내는 것을 확인했다.

AI의 경험치를 무력화하기 위해 Anthropic은 Zachtronics 게임 스타일의 극도로 제약된 명령어 세트를 사용하는 생소한 퍼즐 형태의 과제로 전환했다. 이 새로운 테스트는 시각화나 디버깅 도구를 기본 제공하지 않아, 지원자가 직접 디버깅 도구를 구축하고 전략을 세우는 능력까지 종합적으로 평가한다.

Anthropic은 기존의 시뮬레이터 기반 테스트를 GitHub에 공개하며 오픈 챌린지를 제안했다. 무제한 시간이 주어질 경우 인간 전문가는 여전히 최신 AI 모델의 최적화 성능을 능가하는 결과를 낼 수 있으며, Claude Opus 4.5의 최고 기록인 1487 사이클을 경신하는 인재를 찾고 있다.

실무 Takeaway

AI 시대의 기술 평가는 학습 데이터에 존재하지 않는 '생소한 문제(Out-of-distribution)'를 설계하여 모델의 지식이 아닌 순수 추론 능력을 측정해야 한다.
성능 엔지니어링에서 디버깅 도구를 직접 구축(Tooling)하고 시스템을 분석하는 능력은 AI 보조 환경에서 인간의 역량을 차별화하는 핵심 지표이다.
단기 과제에서는 AI가 인간을 압도할 수 있으나, 장기적인 호흡이 필요한 복잡한 최적화 영역에서는 여전히 인간 전문가의 창의적 접근이 우위를 점한다.

언급된 리소스

GitHubAnthropic Performance Engineering Take-home Challenge