Scrapling은 단일 요청부터 대규모 크롤링까지 모든 것을 처리하도록 설계된 적응형(adaptive) 웹 스크래핑 프레임워크입니다. 이 프레임워크는 웹사이트 변경에 따라 파서(parser)가 스스로 학습하여 요소(element)의 위치를 자동으로 재조정하며, Cloudflare Turnstile과 같은 anti-bot 시스템을 기본적으로 우회할 수 있는 Fetcher를 제공합니다. 또한, 동시성(concurrent) 및 다중 세션(multi-session) 크롤링을 지원하는 Spider 프레임워크는 일시정지/재개(pause/resume) 기능과 자동 프록시 로테이션(proxy rotation) 기능을 내장하고 있습니다.

주요 특징 및 핵심 방법론은 다음과 같습니다:

1. Spider (크롤링 프레임워크)
   • Scrapy-like Spider API: start_urls, 비동기 parse 콜백, Request/Response 객체 등 Scrapy와 유사한 API를 제공하여 스파이더 정의를 용이하게 합니다.
   • Concurrent Crawling: 설정 가능한 동시성 제한, 도메인별 스로틀링(throttling), 다운로드 지연(download delays)을 통해 효율적인 동시 크롤링을 지원합니다.
   • Multi-Session Support: HTTP 요청과 스텔스(stealthy) headless 브라우저 요청을 단일 스파이더 내에서 통합 관리하며, sid (session ID)를 통해 다른 세션으로 요청을 라우팅할 수 있습니다.
   • Pause & Resume: 체크포인트(checkpoint) 기반의 크롤링 지속성(persistence)을 제공하여, Ctrl+C로 종료 시 진행 상황을 저장하고 나중에 다시 시작할 수 있습니다.
   • Streaming Mode: async for item in spider.stream() 구문을 통해 실시간 통계와 함께 스크래핑된 항목을 스트림으로 받아볼 수 있습니다.
   • Blocked Request Detection: 차단된 요청을 자동으로 감지하고 사용자 정의 가능한 로직으로 재시도(retry)합니다.
   • Built-in Export: result.items.to_json() 또는 result.items.to_jsonl()를 통해 JSON/JSONL 형식으로 결과를 내보낼 수 있습니다.

2. Advanced Website Fetching (세션 지원)
   • HTTP Requests (Fetcher): 브라우저의 TLS fingerprint, 헤더를 모방하고 HTTP/3를 지원하여 빠르고 스텔스한 HTTP 요청을 수행합니다.
   • Dynamic Loading (DynamicFetcher): Playwright의 Chromium 및 Google Chrome을 통해 전체 브라우저 자동화(full browser automation)를 제공하여 동적 웹사이트를 가져옵니다.
   • Anti-bot Bypass (StealthyFetcher): 고급 스텔스 기능과 fingerprint 스푸핑(spoofing)을 통해 Cloudflare Turnstile/Interstitial과 같은 다양한 anti-bot 시스템을 우회합니다.
   • Session Management: FetcherSession, StealthySession, DynamicSession 클래스를 통해 쿠키(cookie) 및 상태 관리(state management)를 위한 영구적인 세션 지원을 제공합니다.
   • Proxy Rotation: ProxyRotator를 내장하여 순환(cyclic) 또는 사용자 정의 로테이션 전략을 지원하며, 요청별 프록시 재정의도 가능합니다.
   • Async Support: 모든 fetcher 및 전용 비동기 세션 클래스에 걸쳐 완전한 비동기 지원을 제공합니다.

3. Adaptive Scraping & AI Integration (핵심 방법론)
   • Smart Element Tracking: 이 기능은 Scrapling의 핵심적인 적응 메커니즘으로, 웹사이트 디자인 변경 후에도 "지능형 유사성 알고리즘(intelligent similarity algorithms)"을 사용하여 이전에 식별된 요소를 재배치합니다. 이는 CSS 셀렉터나 XPath가 웹사이트 구조 변경으로 인해 무효화될 경우, 시각적 또는 구조적 특징의 유사성을 기반으로 목표 요소를 다시 찾아내는 방식입니다. 예를 들어, 요소의 텍스트 내용, 주변 요소와의 관계, 속성(attributes) 등을 종합적으로 분석하여 변화된 페이지 내에서 가장 유사한 대상을 식별합니다.
   • Smart Flexible Selection: CSS 셀렉터, XPath 셀렉터, 필터 기반 검색, 텍스트 검색, 정규식(regex) 검색 등 다양한 선택 방법을 지원합니다. find_all, find_by_text와 같은 메서드를 제공하여 유연한 요소 탐색이 가능합니다.
   • Find Similar Elements: 발견된 요소와 유사한 다른 요소를 자동으로 찾아냅니다. 이는 웹 페이지에서 반복되는 구조(예: 상품 목록)를 스크래핑할 때 매우 유용합니다.
   • MCP Server to be used with AI: 내장된 MCP(Minimum Cost Page) 서버는 AI(Claude/Cursor 등)와 연동하여 AI 보조 웹 스크래핑 및 데이터 추출을 가능하게 합니다. 이 서버는 Scrapling을 활용하여 특정 콘텐츠를 추출한 후 AI에 전달함으로써, AI의 토큰 사용량을 최소화하고 비용을 절감하며 작업 속도를 향상시킵니다. 이는 스크래핑된 데이터를 AI 모델에 최적화된 형태로 전처리하는 역할을 합니다.

4. High-Performance & Battle-tested Architecture
   • 최적화된 성능과 효율적인 메모리 사용을 자랑하며, 다른 Python 스크래핑 라이브러리보다 빠른 성능을 제공합니다. 특히, JSON 직렬화(serialization)는 표준 라이브러리보다 10배 빠릅니다. 92%의 테스트 커버리지와 완벽한 타입 힌트(type hints) 커버리지를 통해 높은 안정성을 보장합니다.

5. Developer/Web Scraper Friendly Experience
   • 대화형(interactive) 웹 스크래핑 셸, curl 요청을 Scrapling 요청으로 변환하는 기능, extract 명령어를 통한 코드 없는 스크래핑 등 다양한 개발자 편의 기능을 제공합니다. parent, sibling, child와 같은 DOM 트래버스(traverse) 메서드와 향상된 텍스트 처리 기능을 포함합니다. 또한, Scrapy/BeautifulSoup와 유사한 친숙한 API를 제공합니다.

설치 및 배포는 pip install scrapling 명령어로 가능하며, fetcher, AI, 셸 기능 등을 위한 추가 의존성(dependencies)은 scrapling[fetchers], scrapling[ai], scrapling[shell], scrapling[all]과 같이 설치할 수 있습니다. Docker 이미지도 제공하여 즉시 사용 가능한 환경을 구축할 수 있습니다. Scrapling은 교육 및 연구 목적으로 제공되며, 데이터 스크래핑 및 개인 정보 보호법을 준수해야 합니다.