비싼 LLM 호출을 일반 코드로 대체한 후의 모습

비정형 텍스트에서 이름·회사·가격·날짜 등 구조화 필드를 뽑기 위해 매 문서마다 LLM을 호출하면 지속 비용과 응답 일관성 문제에 직면한다. 이 게시물은 LLM에게 일회성으로 추출기 프로그램을 작성하게 한 뒤 그 코드를 로컬에서 반복 실행하는 워크플로를 소개해 매 호출 비용과 변동성을 제거하는 방법을 제시한다. 라벨 단계에서 저비용 모델로 예제를 태깅하고 캐싱해 재라벨링을 피하며, 빌드 단계에서 강한 모델이 TypeScript(정규식·단어 목록·문맥 휴리스틱)를 생성해 검증셋으로 자체 테스트·패치하고 여러 후보를 비교·선발하는 방식으로 추출기를 자동화한다. 최종적으로 생성된 코드를 네트워크나 API 키 없이 로컬에서 실행하면 문서당 처리 시간이 마이크로초 단위로 줄고 결과가 결정론적이 된다. 결과적으로 초기 생성 과정에서는 LLM 호출이 필요하지만 그 후 운영 단계에서는 LLM 호출이 완전히 사라져 비용과 응답 변동성이 크게 줄어든다. 구현체는 npm과 GitHub에 공개되어 있어 실제 코드와 파이프라인을 바로 확인·적용할 수 있다.