Qwen-Coder 기반 로컬 PHP 액션 에이전트를 활용한 Project Gutenberg 웹 크롤링 구현

섹션별 상세

Qwen-Coder 30B 모델을 기반으로 한 로컬 액션 에이전트 시스템을 구축했다. 이 모델은 코딩 및 태스크 수행 능력이 뛰어나 에이전트의 의사결정 엔진으로 활용되며 복잡한 명령을 수행한다.

PHP 언어를 사용하여 에이전트의 액션을 정의하고 실행하는 구조를 채택했다. App 클래스의 init 메서드에서 Tool 객체를 통해 정형화된 도구 호출을 수행하여 웹 데이터를 가져온다.

php

class App {
  init() {
    Tool.getProjectGutenbergNewReleasesInfo()
  }
}

PHP를 사용하여 Project Gutenberg의 신규 도서 정보를 가져오는 도구를 호출하는 에이전트 초기화 코드 예시이다.

Project Gutenberg 웹사이트에서 신규 도서 정보를 크롤링하는 구체적인 유스케이스를 구현했다. 에이전트는 자연어 프롬프트를 해석하여 필요한 도구를 실행하고 결과를 반환하는 과정을 자동화한다.

모든 프로세스가 로컬 환경에서 이루어지는 쉘 스크립트를 통해 실행된다. 이는 클라우드 LLM API를 사용하지 않고도 고성능 모델을 통해 복잡한 웹 자동화 작업을 수행할 수 있음을 입증한다.

bash

sh agents/local_action_agent.sh examples/web_clawing_project_gutenberg

로컬 액션 에이전트를 실행하여 웹 크롤링 예제를 수행하는 쉘 스크립트 명령어이다.

액션 에이전트(Action Agent): — LLM이 단순히 텍스트를 생성하는 것을 넘어, 외부 도구나 함수를 실행하여 특정 과업을 완수하는 자율적 시스템이다. 사용자의 의도를 파악하고 필요한 도구를 선택하여 실행한 뒤 그 결과를 다시 처리하는 능력을 갖춘다.
로컬 대형 언어 모델(Local LLM): — 클라우드 제공업체의 서버가 아닌 사용자의 개인 컴퓨터나 로컬 서버 인프라에서 직접 실행되는 대형 언어 모델이다. 데이터 프라이버시를 보호하고 인터넷 연결 없이도 추론이 가능하며 API 비용을 절감할 수 있다.
도구 호출(Tool Calling): — LLM이 사용자의 요청을 해결하기 위해 미리 정의된 외부 함수나 API를 호출해야 한다고 판단하고, 해당 함수에 필요한 인자값을 생성하는 기술적 과정이다. 에이전트가 외부 세계와 상호작용하는 핵심 메커니즘이다.

php

class App {
  init() {
    Tool.getProjectGutenbergNewReleasesInfo()
  }
}

PHP를 사용하여 Project Gutenberg의 신규 도서 정보를 가져오는 도구를 호출하는 에이전트 초기화 코드 예시이다.

bash

sh agents/local_action_agent.sh examples/web_clawing_project_gutenberg

로컬 액션 에이전트를 실행하여 웹 크롤링 예제를 수행하는 쉘 스크립트 명령어이다.

액션 에이전트(Action Agent): — LLM이 단순히 텍스트를 생성하는 것을 넘어, 외부 도구나 함수를 실행하여 특정 과업을 완수하는 자율적 시스템이다. 사용자의 의도를 파악하고 필요한 도구를 선택하여 실행한 뒤 그 결과를 다시 처리하는 능력을 갖춘다.
로컬 대형 언어 모델(Local LLM): — 클라우드 제공업체의 서버가 아닌 사용자의 개인 컴퓨터나 로컬 서버 인프라에서 직접 실행되는 대형 언어 모델이다. 데이터 프라이버시를 보호하고 인터넷 연결 없이도 추론이 가능하며 API 비용을 절감할 수 있다.
도구 호출(Tool Calling): — LLM이 사용자의 요청을 해결하기 위해 미리 정의된 외부 함수나 API를 호출해야 한다고 판단하고, 해당 함수에 필요한 인자값을 생성하는 기술적 과정이다. 에이전트가 외부 세계와 상호작용하는 핵심 메커니즘이다.