Lightfeed Extractor: LLM과 브라우저 자동화를 활용한 강력한 웹 데이터 추출 도구

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

웹 데이터 추출 과정에서 발생하는 복잡한 HTML 파싱과 봇 차단 문제는 전통적인 스크래핑의 주요 병목이다. Lightfeed Extractor는 Playwright 기반의 브라우저 자동화와 LangChain 호환 LLM을 결합하여 이 문제를 해결한다. 사용자는 Zod 스키마를 정의하고 자연어 프롬프트를 입력함으로써 웹 페이지에서 즉시 구조화된 JSON 데이터를 얻을 수 있다. 특히 손상된 JSON 출력을 복구하는 기능과 토큰 효율을 위한 본문 추출 옵션을 제공하여 프로덕션 환경에서의 안정성을 높였다.

배경

TypeScript/JavaScript 기본 지식, Playwright 브라우저 자동화에 대한 이해, OpenAI, Gemini 등 LLM API 키, Zod 라이브러리 사용법

대상 독자

프로덕션 환경에서 웹 데이터 추출 파이프라인을 구축하는 TypeScript 개발자 및 AI 엔지니어

의미 / 영향

이 라이브러리는 LLM을 활용한 데이터 추출의 실용성을 극대화하여 기존의 복잡한 스크래핑 코드를 자연어 프롬프트와 스키마 정의로 대체한다. 특히 JSON 복구와 토큰 최적화 기능은 소규모 팀도 대규모 웹 데이터를 저비용으로 안정적으로 수집할 수 있게 한다.

섹션별 상세

전통적인 웹 스크래핑은 사이트 구조 변경에 취약하며 봇 탐지 시스템에 의해 쉽게 차단된다. Lightfeed Extractor는 스텔스 모드와 프록시 설정을 지원하는 Playwright 브라우저를 사용하여 로컬, 서버리스, 원격 환경에서 안정적인 접속을 보장한다. 이를 통해 개발자는 복잡한 우회 로직 구현 없이 데이터 수집에 집중할 수 있다.

typescript

const productCatalogSchema = z.object({
  products: z.array(
    z.object({
      name: z.string().describe("Product name or title"),
      brand: z.string().optional().describe("Brand name"),
      price: z.number().describe("Current price"),
      productUrl: z.string().url().describe("Link to product detail page"),
    })
  ).describe("List of bread and bakery products"),
});

const result = await extract({
  llm: new ChatGoogleGenerativeAI({ model: "gemini-2.5-flash" }),
  content: html,
  format: ContentFormat.HTML,
  schema: productCatalogSchema,
});

Zod 스키마를 정의하고 LLM을 사용하여 HTML에서 구조화된 상품 데이터를 추출하는 기본 예시

LLM의 응답은 때때로 정의된 스키마를 벗어나거나 불완전한 JSON 형식을 반환하여 시스템 오류를 유발한다. 이 라이브러리는 safeSanitizedParser를 탑재하여 잘못된 타입의 값을 제거하거나 필수 필드가 누락된 객체를 정제함으로써 유효한 데이터만 복구한다. 실제 구현에서 비정상적인 데이터가 포함된 경우에도 전체 파이프라인의 중단 없이 최대한의 데이터를 확보한다.

typescript

const agent = new BrowserAgent({ browserProvider: "Local" });
const page = await agent.newPage();
await page.goto("https://amazon.com");
await page.ai("Search for 'organic coffee' and go to the second page of results");

const html = await page.content();
const result = await extract({
  llm: myLLM,
  content: html,
  schema: mySchema,
  prompt: "Extract all product listings from the search results",
});

Browser Agent를 사용하여 자연어 명령으로 웹을 탐색한 후 데이터를 추출하는 예시

대규모 웹 페이지의 전체 HTML을 LLM에 전달하는 것은 과도한 토큰 비용과 지연 시간을 발생시킨다. extractMainHtml 옵션은 휴리스틱 알고리즘을 통해 네비게이션, 헤더, 푸터 등 불필요한 요소를 제거하고 핵심 본문만 마크다운으로 변환하여 전달한다. 내부 테스트 결과 Amazon 상품 페이지 등에서 추적 파라미터를 제거하는 URL 클리닝 기능과 결합하여 데이터 가독성과 처리 효율이 크게 향상됐다.

실무 Takeaway

이커머스 가격 비교 시스템 구축 시 Zod 스키마와 LLM을 결합하면 복잡한 셀렉터 작성 없이도 정확한 상품 정보를 JSON 형태로 추출할 수 있다.
데이터 파이프라인의 안정성을 위해 safeSanitizedParser 기능을 활용하여 LLM의 불안정한 출력을 실시간으로 보정하고 런타임 에러를 방지해야 한다.
API 비용 절감을 위해 extractMainHtml 옵션을 활성화하여 불필요한 HTML 태그를 사전에 제거하고 핵심 컨텍스트만 LLM에 입력하는 것이 효율적이다.

언급된 리소스

GitHubLightfeed Extractor GitHub

DemoLightfeed Platform

const productCatalogSchema = z.object({ products: z.array( z.object({ name: z.string().describe("Product name or title"), brand: z.string().optional().describe("Brand name"), price: z.number().describe("Current price"), productUrl: z.string().url().describe("Link to product detail page"), }) ).describe("List of bread and bakery products"), }); const result = await extract({ llm: new ChatGoogleGenerativeAI({ model: "gemini-2.5-flash" }), content: html, format: ContentFormat.HTML, schema: productCatalogSchema, });

const agent = new BrowserAgent({ browserProvider: "Local" }); const page = await agent.newPage(); await page.goto("https://amazon.com"); await page.ai("Search for 'organic coffee' and go to the second page of results"); const html = await page.content(); const result = await extract({ llm: myLLM, content: html, schema: mySchema, prompt: "Extract all product listings from the search results", });

Lightfeed Extractor: LLM과 브라우저 자동화를 활용한 강력한 웹 데이터 추출 도구

핵심 요약

배경

대상 독자

의미 / 영향

섹션별 상세

실무 Takeaway

언급된 리소스

Lightfeed Extractor: LLM과 브라우저 자동화를 활용한 강력한 웹 데이터 추출 도구

핵심 요약

배경

대상 독자

의미 / 영향

섹션별 상세

실무 Takeaway

언급된 리소스

관련 토론

댓글

관련 피드

관련 토론

댓글

관련 피드