2025년 'Leaders of Code'가 전하는 AI 도입의 핵심 교훈과 실무 인사이트

섹션별 상세

데이터 품질이 AI 프로젝트의 성패를 결정한다. InterSystems의 Don Woodlock은 조율되지 않은 기타에 비유하며, 데이터 인프라가 파편화되어 있고 거버넌스가 부재한 상태에서는 아무리 뛰어난 모델도 가치 있는 결과를 낼 수 없음을 지적했다.

많은 조직이 데이터 준비도를 과대평가하고 있다. JPMorgan Chase의 Ram Rai는 단순히 데이터를 보유한 것과 'AI-ready' 상태인 것을 혼동하여 초기 파일럿 프로젝트에서 실패를 경험하는 사례가 많으며, 중앙 집중화된 지식 베이스 구축이 선행되어야 한다고 분석했다.

내부 지식 체계가 AI 환각(Hallucination)의 해결책이다. 범용 AI 모델은 기업 고유의 IDP 설정이나 인증 패턴 등을 알지 못하기 때문에 오류를 범하며, Stack Overflow와 같은 구조화된 Q&A 데이터를 활용해 내부 컨텍스트를 주입함으로써 정확도를 높일 수 있다.

개발자들의 AI 신뢰도가 급격히 하락하고 있다. 2025년 설문 결과 AI를 불신하는 개발자가 46%로 신뢰하는 비중(33%)보다 높게 나타났으며, 이는 '거의 맞지만 완벽하지 않은' 코드의 디버깅에 소요되는 시간적 손실 때문이다.

AI 에이전트 시대를 위해 API 설계 방식이 변화해야 한다. Postman의 Abhinav Asthana는 AI 에이전트가 자율적으로 동작하기 위해서는 인간 중심의 문서화를 넘어 기계 읽기 가능한 스키마와 명확한 행동 규칙을 갖춘 API 설계가 필수적임을 강조했다.

AI는 팀 구조와 개발자의 역할을 재정립하고 있다. 단순 코드 생성이 자동화됨에 따라 개발자의 역할은 아키텍처 설계, 비판적 판단, 전략적 의사결정 중심으로 이동하고 있으며, 이는 2025년 설문에서 '아키텍트' 역할의 인기가 급상승한 결과로 나타났다.

용어 해설

환각 현상(Hallucination): — AI 모델이 학습 데이터에 없는 내용을 사실인 것처럼 그럴듯하게 생성해내는 오류이다. 모델이 내부 데이터나 특정 맥락에 접근하지 못할 때 발생하며, 기업 환경에서는 심각한 신뢰성 문제를 야기한다.
내부 개발자 플랫폼(IDP): — Internal Developer Platform의 약자로, 개발자가 애플리케이션을 배포하고 운영하는 데 필요한 인프라와 도구를 셀프 서비스로 이용할 수 있게 구축한 시스템이다. AI가 기업 내부 인프라를 이해하기 위해 반드시 파악해야 하는 핵심 컨텍스트이다.
확률론적 AI(Probabilistic AI): — 데이터의 통계적 패턴을 기반으로 다음 단어나 결과를 확률적으로 예측하는 AI 방식이다. 결정론적 시스템과 달리 결과가 매번 달라질 수 있어 금융이나 의료 등 규제가 엄격한 분야에서는 신뢰성 확보를 위한 추가 검증이 필수적이다.
데이터 거버넌스(Data Governance): — 데이터의 품질, 가용성, 보안 및 무결성을 관리하기 위한 조직 차원의 정책과 프로세스이다. AI 모델이 신뢰할 수 있는 결과를 내기 위해서는 데이터의 형식을 통일하고 접근 권한을 관리하는 거버넌스 체계가 선행되어야 한다.
API 기반 에이전트(API Agent): — 단순히 대화만 하는 것이 아니라 API를 통해 외부 시스템과 상호작용하며 실제 작업을 수행하는 AI 에이전트이다. 기계가 읽을 수 있는 명확한 스키마와 규칙을 가진 API가 뒷받침되어야 자율적인 작업 수행이 가능하다.

기술

LLM
RAG
API
IDP
Postman
Stack Overflow

활용 사례

기업용 AI 지식 베이스 구축
AI 에이전트 기반 워크플로 자동화
개발팀 생산성 관리

언급된 리소스

문서Stack Overflow 2025 Developer Survey

문서Postman 2025 State of the API report

DemoStack Internal Webinar