[InConcert] 스크래핑 비동기 처리(1)
·
Projects
1. Selenium을 선택한 이유웹 스크래핑을 할 때 대표적으로 Selenium과 Jsoup이 사용된다.이번 프로젝트에서는 PlayDB에서 공연 정보를 스크래핑하는 과정에서 Selenium을 선택했다. Selenium vs Jsoup 비교 장점단점Selenium- 동적 콘텐츠(JavaScript 렌더링) 처리 가능- 로그인, 버튼 클릭 등 브라우저 자동화 가능- 실행 속도 느림 (브라우저 직접 실행)- CPU/메모리 사용량 높음Jsoup- 빠르고 가벼움- HTML 문서 파싱 및 데이터 추출이 간편- JavaScript로 생성된 콘텐츠는 크롤링 불가- 브라우저 상호작용 불가능 PlayDB에서 공연 목록과 상세 정보는 JavaScript를 통해 동적으로 로드된다. 즉, 단순한 정적 HTML을 가져오는 Js..