기술 스택
Playwright
헤드리스 브라우저 엔진Chromium 기반 브라우저 자동화. JavaScript 렌더링 페이지, SPA, 동적 콘텐츠 완벽 지원.
Chromium/Firefox/WebKit
JavaScript 렌더링
네트워크 인터셉트
멀티 브라우저 컨텍스트
FastAPI
API 서비스 레이어비동기 Python 웹 프레임워크로 크롤링 작업을 API로 제공. Laravel과 연동하여 작업을 트리거.
비동기 처리
OpenAPI 문서 자동 생성
Pydantic 데이터 검증
WebSocket 지원
APScheduler
작업 스케줄링Cron 기반 정기 수집 스케줄러. 데이터 소스별 개별 주기를 설정하고 자동 실행.
Cron 표현식
작업 큐 관리
실패 재시도
동시성 제어
PostgreSQL + asyncpg
데이터 저장소JSONB 기반 유연한 스키마로 다양한 소스의 데이터를 통합 저장. 비동기 DB 드라이버로 고성능 처리.
JSONB 유연한 스키마
비동기 커넥션 풀
추이 분석 인덱스
테넌트 격리
기술 역량
🌐
데이터 수집 (Crawling)
- 포털 검색 결과 수집 (네이버, 구글)
- 쇼핑몰 상품 정보 수집 (가격, 순위, 리뷰)
- 판매지수/트렌드 지표 추적
- JavaScript 렌더링 페이지 완벽 지원
- 페이지네이션/무한 스크롤 자동 처리
⚡
웹 자동화 (Action)
- 폼 자동 입력 및 제출
- 로그인 세션 관리
- 파일 업로드/다운로드 자동화
- 스크린샷/PDF 캡처
- API 연동 자동 데이터 전송
🛡️
안정성 & 확장성
- 요청 간 랜덤 딜레이 (Rate Limiting)
- User-Agent/헤더 로테이션
- 실패 시 자동 재시도 (Exponential Backoff)
- 프록시 풀 관리
- 멀티 브라우저 인스턴스 병렬 처리
📊
데이터 파이프라인
- HTML 파싱 → 정형 데이터 변환
- JSONB 기반 유연한 스키마 저장
- 날짜별 스냅샷으로 추이 추적
- CSV/Excel 내보내기
- REST API로 외부 시스템 연동
활용 사례
🛒
이커머스 모니터링
경쟁 제품 가격, 순위, 리뷰 변동을 매일 추적
🔍
키워드 순위 추적
포털/쇼핑몰에서 키워드별 노출 순위 모니터링
📈
판매지수 분석
YES24, 알라딘 등 판매지수 일별 수집 및 추이 분석
📋
콘텐츠 수집
뉴스, 블로그, 카페 등에서 브랜드 언급 모니터링
💰
가격 비교
여러 쇼핑몰의 동일 상품 가격을 수집하여 비교 분석
📊
정기 리포트
수집 데이터 기반 일간/주간 리포트 자동 생성