[Airflow] Airflow 주요 컨포넌트
·
Airflow
1. Airflow 주요 컨포넌트Webserver(사용자 인터페이스, 모니터링) ↔ Scheduler(워크플로우 엔진, 스케줄링) ↔ Executor(실행 엔진, 리소스 관리) ↔ Metadata DB(정보 저장소)사용자가 DAG 실행 요청 → Webserver가 Scheduler에 스케줄링 요청 전달 → Scheduler가 DAG 정보를 저장하고 DB에 실행가능한 Task 조회 후 반환 받기 → Scheduler가 Executor에게 Task 실행 지시한 후 Executor가 Worker에게 작업 배정 → 완료 후 Executor가 DB에 저장하게 → UI 업데이트2. Webserver 특징역할: 시각화, 실시간 상태 동기화, 메타데이터 관리(쿼리, 로그)Flask 사용, WSGI 서버 사용하는게 좋음..