2025년 말 AI는 개발 속도를 높였으나, 선택 편향으로 인해 정확한 측정이 어려워졌다

핵심 요약

METR은 2025년 초 AI 도구가 개발 속도를 20% 늦춘다는 초기 연구에 이어, 최신 도구를 활용한 후속 연구를 진행했다. 후속 연구의 원시 데이터는 개발 속도가 약 4%에서 18% 향상되었음을 시사하지만, 연구진은 이 결과가 실제보다 과소평가되었을 가능성이 높다고 판단한다. 이는 개발자들이 AI 없이 작업하는 것을 강력히 거부하거나 AI 효율이 높은 작업만 선별적으로 제출하는 '선택 효과(Selection Effects)'가 발생했기 때문이다. 결과적으로 AI의 실제 생산성 향상 효과는 관측치보다 클 것으로 예상되나, 기존의 실험 설계로는 이를 정확히 측정하기 어려워진 상황이다.

배경

실험 설계(Experimental Design) 기초, 선택 편향(Selection Bias)의 개념

대상 독자

AI 도구 도입 효과를 측정하려는 기업 관리자 및 AI 에이전트 연구자

의미 / 영향

AI가 개발 프로세스에 깊숙이 침투하면서 기존의 생산성 측정 방법론이 무력화되고 있으며, 이는 AI 에이전트 시대에 맞는 새로운 평가 프레임워크가 필요함을 시사한다.

섹션별 상세

2025년 초 연구 결과와 후속 연구의 수치를 직접 비교했다. 초기 연구에서는 AI 사용 시 작업 시간이 19% 증가하는 결과가 나왔으나, 후속 연구에서는 기존 참여자 그룹에서 18%의 속도 향상이 관찰되었다. 새로 모집된 개발자 그룹에서도 4%의 속도 향상이 나타나 AI 도구의 성능 개선과 숙련도 향상이 생산성 지표에 긍정적인 변화를 주고 있음을 보여준다.

개발자들이 AI 없이 작업하는 환경을 기피하는 현상이 데이터 왜곡의 핵심 원인으로 지목되었다. 설문 조사 결과 참여자의 30~50%가 AI 없이 수행하기 고통스러운 작업을 의도적으로 실험에 제출하지 않았다고 답했다. 이는 AI의 실제 속도 향상 효과를 데이터상에서 과소평가하게 만드는 '선택 편향'을 야기했다.

실험 설계의 변화와 기술적 환경의 변화가 데이터 신뢰도에 영향을 미쳤다. 연구 참여 수당이 시간당 150달러에서 50달러로 감소하면서 참여 동기가 약화되었고, 이는 특정 성향의 개발자들만 남게 되는 결과를 초래했다. 또한 Claude Code와 같은 에이전트 도구의 확산으로 개발자가 여러 작업을 병렬로 처리하게 되면서 단일 작업에 소요된 시간을 측정하는 것이 어려워졌다.

METR은 기존 실험 방식의 한계를 인정하고 새로운 측정 방법론을 모색하고 있다. 더 짧고 집중적인 실험을 통해 순응도를 높이거나, GitHub 커밋 데이터와 같은 실제 관찰 데이터를 분석하는 방향을 검토 중이다. 또한 모든 참여자에게 동일한 과제를 부여하는 방식이나 AI 에이전트의 자율 과제 수행 능력을 직접 평가하는 도구(Evals)를 통해 생산성 영향을 다각도로 분석할 계획이다.

이미지 분석

Chart
초기 연구(Feb-Jun 2025)에서는 AI 사용 시 작업 시간이 늘어났으나(Slowdown), 후속 연구(Aug 2025-Feb 2026)에서는 기존 및 신규 참여자 모두 속도 향상(Speedup) 경향을 보임을 시각화한다. 선택 효과로 인해 실제 속도 향상은 관측된 점보다 더 높을 것으로 예상된다는 주석이 포함되어 있다.
2025년 초와 2025년 말 사이의 AI 사용에 따른 작업 시간 변화를 보여주는 타임라인 차트.

실무 Takeaway

AI 도구의 발전으로 인해 개발자들이 AI 없는 환경에서 작업하는 것에 대해 심각한 심리적 저항과 생산성 저하를 느끼고 있다.
단순한 시간 측정 방식의 실험은 AI 에이전트의 병렬 작업 특성으로 인해 실제 생산성 향상을 포착하기 어려워지고 있다.
AI 생산성 측정 시 '어떤 작업을 AI에게 맡길 것인가'에 대한 개발자의 선택 편향을 반드시 고려해야 한다.

언급된 리소스

문서METR Early 2025 Study Dataset

문서METR Late 2025 Study Dataset