1. 기본 용어
- DAG: 작업(Task) 간의 실행 순서나 의존성을 설정하는 방법
- Task: 실제 수행되는 작업 단위
- Operator: Task를 수행하는 실행기
- Scheduler: 정의된 DAG를 주기적으로 실행하는 트리거
- Executor: Task가 실행되는 엔진 역할 수행
2. Airflow 장점
- 작업 의존성 관리
- 분기 처리
- 재시도/에러 처리
- 모니터링
3. Airflow 단점
- 자원 소모
- 실시간 처리에 부적합
- 의존성 관리 주의하기
- 플러그인 연동(버전 관리) 주의하기
✍️ 출처: [인프런] 토스 시니어 개발자와 함께하는 Data Workflow Management 기반의 대용량 데이터 처리 설계 패턴
'Airflow' 카테고리의 다른 글
| [Airflow] 병렬 처리 및 분산 처리와 대용량 재처리 (0) | 2025.11.06 |
|---|---|
| [Airflow] Dag & Task 설계 패턴 (2) (0) | 2025.11.05 |
| [Airflow] Dag & Task 설계 패턴 (0) | 2025.10.26 |
| [Airflow] Airflow 주요 컨포넌트 (0) | 2025.10.22 |