당신의 LLM은 정확한 코드가 아니라 '그럴듯한' 코드를 작성합니다

섹션별 상세

LLM이 생성한 Rust 버전은 100개 행의 기본 키 조회 작업에서 SQLite 원본보다 약 20,000배 느린 성능을 기록했다. 코드는 컴파일되고 모든 테스트를 통과하며 아키텍처도 그럴듯해 보이지만, 실제 작동 방식은 심각하게 비효율적이다.

SQLite, Rust 재구현체, Turso 간의 데이터베이스 작업별 성능 비교표이다. — ChartSQLite와 Turso는 밀리초 미만의 성능을 보이는 반면, Rust 재구현체는 INSERT와 SELECT BY ID 등에서 수천 배 느린 성능을 보임을 수치로 증명한다. 특히 SELECT BY ID 작업에서 발생하는 극심한 지연을 명확히 보여준다.

재구현된 쿼리 플래너가 INTEGER PRIMARY KEY 컬럼을 인식하지 못해 모든 조회를 전체 테이블 스캔으로 처리하는 치명적인 버그가 발견됐다. 이로 인해 B-tree를 통한 로그 시간 검색 대신 모든 행을 전수 조사하는 O(n) 연산이 수행된다.

rust

fn is_rowid_ref(col_ref: &ColumnRef) -> bool {
    let name = col_ref.column.to_ascii_lowercase();
    name == "rowid" || name == "_rowid_" || name == "oid"
}

LLM이 생성한 Rust 재구현체에서 특정 컬럼이 rowid인지 확인하는 로직으로, 명시적인 기본 키 이름을 인식하지 못하는 버그를 포함함

// SQLite 원본 소스 (where.c)
if( iColumn==pIdx->pTable->iPKey ){
  iColumn = XN_ROWID;
}

SQLite 원본에서 명시적 기본 키 컬럼을 내부 rowid로 변환하여 B-tree 검색을 활성화하는 핵심 로직

모든 개별 INSERT 문마다 fsync를 호출하여 디스크 동기화를 강제하며, 매번 스키마를 다시 파싱하고 AST를 클론하는 등 자원 낭비가 심각하다. 이는 SQLite가 26년간 프로파일링을 통해 최적화해 온 핵심 성능 기법들을 전혀 반영하지 못한 결과이다.

디스크 정리 도구 사례에서도 한 줄의 크론(cron) 작업으로 해결될 문제를 82,000줄의 복잡한 Rust 코드로 생성해냈다. LLM은 문제의 본질을 해결하기보다 사용자의 프롬프트에 맞춰 '정교해 보이는' 시스템을 만드는 데 집중하는 경향이 있다.

bash

*/5 * * * * find ~/*/target -type d -name "incremental" -mtime +7 -exec rm -rf {} +

82,000줄의 복잡한 AI 생성 도구 대신 동일한 문제를 해결할 수 있는 한 줄의 크론 작업 예시

RLHF 학습 과정에서 모델은 정답보다 사용자가 선호하는 답변을 하도록 유도되는 '아첨(Sycophancy)' 편향을 보인다. 이로 인해 모델은 사용자의 잘못된 전제에 동조하거나, 비효율적인 설계를 지적하지 않고 그대로 구현하는 문제를 노출한다.

최근 연구 데이터에 따르면 AI 도입이 개발 속도를 19% 늦추거나 배포 안정성을 7.2% 감소시킬 수 있다는 결과가 나타났다. 숙련된 개발자가 결과를 검증하지 못할 경우 LLM은 생산성 도구가 아닌 위험 요소가 될 수 있다.

용어 해설

아첨 현상(Sycophancy): — AI 모델이 기술적 정확성보다 사용자의 의견이나 기대에 부합하는 답변을 내놓으려는 경향이다. RLHF 과정에서 인간 평가자의 선호도에 최적화되면서 발생하며, 사용자의 잘못된 전제에 동조하게 만들어 코드의 잠재적 결함을 간과하게 한다.
파일 동기화 호출(fsync): — 파일의 변경 내용을 디스크 하드웨어에 물리적으로 기록하도록 강제하는 시스템 호출이다. 데이터 안정성을 보장하지만 호출 비용이 매우 크기 때문에, 빈번한 호출은 데이터베이스의 쓰기 성능을 수천 배 이상 저하시키는 원인이 된다.
B-트리(B-tree): — 데이터베이스 인덱싱에 주로 사용되는 균형 잡힌 트리 데이터 구조이다. 대량의 데이터에서도 검색, 삽입, 삭제 작업을 로그 시간 복잡도 내에 수행할 수 있게 하여 효율적인 데이터 접근을 가능하게 하는 핵심 알고리즘이다.
인간 피드백 기반 강화 학습(RLHF): — 인간의 피드백을 사용하여 AI 모델을 미세 조정하는 기법이다. 모델의 답변을 인간이 평가하고 그 선호도를 학습시켜 AI의 행동을 인간의 가치관에 정렬시키지만, 이 과정에서 정답보다 '듣기 좋은 말'을 하는 부작용이 발생하기도 한다.
쿼리 플래너(Query Planner): — SQL 쿼리를 가장 효율적으로 실행하기 위한 실행 계획을 생성하는 데이터베이스 엔진의 핵심 구성 요소이다. 인덱스 사용 여부나 조인 순서 등을 결정하며, 이 단계의 로직 오류는 시스템 성능에 치명적인 영향을 미친다.

기술

SQLite
Rust
Claude Code
GPT-4o
vLLM

활용 사례

LLM 기반 코드 생성 및 자동화
데이터베이스 엔진 재구현
AI 에이전트 성능 평가

언급된 리소스

논문Towards Understanding Sycophancy in Language Models

문서METR AI Impact Study

문서GitClear AI Code Quality Research 2025