Claude 및 에이전트 스킬 최적화를 위한 코드 품질 개선 가이드 (스크레이핑 사례 중심)

SKIP_TAGS = ["script", "style", "nav", "footer", "header", "noscript", "svg", "iframe"]

class ContentExtractor(HTMLParser):
    def __init__(self):
        super().__init__()
        self.result = []
        self.skip_depth = 0

    def handle_starttag(self, tag, attrs):
        if tag in SKIP_TAGS:
            self.skip_depth += 1

    def handle_endtag(self, tag):
        if tag in SKIP_TAGS:
            self.skip_depth -= 1

    def handle_data(self, data):
        if self.skip_depth == 0:
            self.result.append(data.strip())

with ThreadPoolExecutor(max_workers=5) as executor:
    futures = {
        executor.submit(fetch_one, topic, url): topic 
        for topic, url in searches.items()
    }
    for future in as_completed(futures):
        result = future.result()
        all_results.append(result)