2025년 말 AI는 오픈소스 개발을 가속화하지만, 선택 편향으로 인해 후속 연구 결과의 신뢰성이 낮아짐

섹션별 상세

METR의 2025년 초 초기 연구에서는 숙련된 오픈소스 개발자들이 AI를 사용할 때 오히려 작업 시간이 19% 더 걸리는 것으로 나타났으나, 2025년 말 진행된 후속 연구에서는 가속 효과가 관찰되기 시작했다.

후속 연구 데이터에 따르면 초기 연구 참여자 중 재참여한 개발자들은 -18%, 신규 참여자들은 -4%의 시간 단축을 보였으며, 연구진은 이 수치가 선택 편향으로 인해 실제 가속 효과를 과소평가하고 있는 것으로 본다.

2025년 초와 2025년 말 사이의 AI 사용에 따른 작업 시간 변화를 비교한 타임라인 차트이다. — Chart초기 연구에서는 AI 사용 시 작업 시간이 늘어나는 결과가 나왔으나, 후속 연구에서는 시간 단축 경향이 확인되었다. 연구진은 선택 편향을 고려할 때 실제 가속 효과는 관찰된 수치보다 더 높을 것으로 추정하고 있다.

가장 큰 문제는 선택 편향으로, 많은 개발자가 AI 없이 작업할 때의 생산성 저하와 고통을 우려하여 AI 미사용 조건이 할당될 수 있는 실험 참여 자체를 거부하거나 특정 과제 제출을 피하는 현상이 발생했다.

Claude Code나 Codex 같은 에이전트 도구의 확산으로 인해 개발자가 에이전트의 작업을 기다리는 동안 다른 일을 병행하게 되면서, 단일 과제에 투입된 정확한 시간을 측정하는 것이 기술적으로 어려워졌다.

연구진은 이러한 한계를 극복하기 위해 보상 체계 강화, 고정된 과제 부여 방식, 에이전트의 자율적 과제 수행 능력을 직접 측정하는 평가 등 연구 방법론의 다각화를 추진하고 있다.

용어 해설

선택 편향(Selection Effect): — 연구 대상자가 특정 조건에 따라 스스로 참여 여부를 결정함으로써 표본이 전체 집단을 대표하지 못하고 결과가 왜곡되는 현상이다. 본 연구에서는 AI의 가속 효과를 크게 체감하는 개발자들이 AI 없이 일해야 하는 실험 조건을 기피하며 이탈하여, 실제 AI의 생산성 향상 효과가 데이터상에서 과소평가되는 원인이 되었다.
무작위 대조 실험(RCT): — 실험 대상을 무작위로 두 집단으로 나누어 한 집단에는 처치를 가하고 다른 집단은 대조군으로 두어 효과를 정밀하게 측정하는 방법론이다. 개발자 생산성 연구에서는 특정 과제를 AI 사용 가능 그룹과 불가능 그룹으로 무작위 배정하여 시간 차이를 비교함으로써 AI의 순수 기여도를 파악하는 데 활용된다.
에이전트형 도구(Agentic Tool): — 단순한 코드 완성을 넘어 사용자의 목표를 이해하고 스스로 계획을 세워 코드를 작성, 실행, 디버깅까지 수행하는 자율형 AI 도구이다. Claude Code와 같은 도구가 대표적이며, 개발자가 에이전트에게 작업을 맡기고 다른 일을 병행할 수 있게 함으로써 기존의 단순 시간 측정 방식으로는 생산성을 정의하기 어렵게 만든다.
가속도(Speedup): — 작업을 완료하는 데 걸리는 시간이 기존 대비 얼마나 줄어들었는지를 나타내는 비율이다. 본 연구에서는 AI를 사용했을 때의 작업 시간을 사용하지 않았을 때와 비교하여 측정하며, 음수(-) 백분율은 그만큼 시간이 단축되어 생산성이 향상되었음을 의미한다.

기술

Claude Code
Codex
Python
GitHub

활용 사례

개발자 생산성 벤치마킹
AI 에이전트 도입 효과 분석
연구 실험 설계 최적화